AIに何かを聞くと、文章で答えが返ってくる。それはもう当たり前になりました。でも今、その一歩先——答えを返すだけでなく、画面の中で自分で手を動かして、最後までやってしまうAIが動き始めています。検索して、ボタンを押して、保存する。人間が指でやっていた最後の一手を、AIが画面の上で代わりに行う。「答えるAI」から、「やるAI」へ。
この記事では、その代表的なやり方——開発元が「ディスパッチ」と呼ぶ仕組み——を、初心者向けにゼロから解き明かします。放っておくと「すごい新機能の紹介」で終わりかねない話ですが、読み解くと役割の違う三つの層でできていて、しかも一番の「なるほど」は、意外なほど素朴なところにありました。動画と対になる、自分用の勉強ノートです。
※以下は公式に公開されている情報をもとに、自分の言葉で再構成した勉強ノートです。図はすべて自作の再構成で、実在サービスの画面・ロゴ・商標は使用していません。ここで扱う”画面を見て操作する”やり方は、まだ研究プレビュー／ベータの段階です。仕様や提供状況は変わることがあるので、使うときは公式の最新情報をご確認ください。
「答えるだけのAI」と「手を動かすAI」の境目
まず、境目をはっきりさせます。同じ「AI」と呼んでいても、ここには決定的な違いがあります。
-
答えるだけのAI＝やり方を言葉で教えてくれる。「地図アプリを開いて、お店を検索して、保存を押してください」と手順は言える。でも、手は動かさない。動かすのはあなたです。
-
画面で手を動かすAI＝カーソルがひとりで動く。検索欄に文字が入り、保存の窓が自動で開く。人がやっていた操作そのものを、画面の上で代わりに行う。
この記事で扱うのは、後者の”向こう側”です。なぜそんなことができるのか、そしてなぜ暴走しないのか。そこまで構造で降りていきます。
今日ほどく三つの問い
道に迷わないよう、先に地図を置きます。この三つに答え終えたら、「ディスパッチ」が何者かが構造で分かる、という並びです。
-
何が違う？──普通のチャットAIと、画面の中で手を動かすAIの境目はどこか。
-
なぜ何でも操作できる？──専用の連携窓口が用意されていないサービスにも、なぜ手が届くのか。
-
なぜ”自分の”ブラウザ？──遠くで動いているはずのAIが、なぜ今あなたが開いている画面を触れるのか。
三つの層でできている──脳・手・渡し方
画面の中でPCを操作する仕組みは、役割の違う三つの層でできています。バラバラに見える機能を、この三層に当てはめると一気に見通せます。
-
脳＝考える本体。あなたのPCの中ではなく、**遠くのサーバー（クラウド）**で動いています。
-
手＝画面を操作する能力。マウス・キーボード・画面を直接動かす。この記事の主役です。
-
渡し方＝会話をつなぐやり方。別のデバイスから頼めて、一本の会話が端末をまたいで続きます。
ここで一段深い理屈に降ります。なぜスマホで頼んで、パソコンで続きを受け取れるのか。答えは、脳（クラウド）と手（手元の操作）を切り離したからです。考える場所と、実際に手を動かす場所を分けたので、「頼む端末」と「動く画面」を別にできる。続いていくのは会話であって、手が動くのは画面が起きている間だけ——この分業が、後の全部の土台になります。
混同しやすい三つの軸を、一度だけ整理する
ここで用語の交通整理を一度だけしておきます。「Claude Code」「ディスパッチ」——名前が並ぶと対立概念のように見えますが、実は別々の軸の言葉です。混ぜると分からなくなるので、三つの軸に分けます。
-
どこで頼むか──プログラム開発の入口もあれば、暮らし・PC操作の入口もある（この記事はこちら）。
-
どう渡すか──その場で頼むか、預けて端末をまたいで会話を続けるか（＝ディスパッチ）。
-
どうやるか──用意された専用窓口を使うか、画面を直接操作するか（次の話の主役）。
だから「Claude Code とディスパッチ、どっちが上？」という問いは、そもそも軸違いなんです。今回映しているのは、”暮らしの入口 ×（その場で）× 画面を直接操作”という一つの経路にすぎません。
なぜ”何でも”操作できるのか──人が触れる画面を、共通の入口にした
この記事でいちばんの「なるほど」は、ここでした。
普通の自動化には、専用の連携窓口が要ります。開発者向けに用意された、いわば”蛇口”です。蛇口があるサービスは繋げるけれど、蛇口が無ければ手が出せない。対象が限られます。
ディスパッチのやり方は、発想がひっくり返っています。蛇口の有無に縛られず、“人が見て触れる画面”そのものを、最後の共通の入口にした。人間がマウスとキーボードでやっている手順を、画面の上でそのまま代行する。だから地図でも、入力フォームでも、管理画面でも、対象を選ばない。「賢いから何でもできる」のではなく、入口を人間の画面に置いたから対象を選ばない——ここが構造のキモです。
念のため補助線を一本。なんでも力ずくで画面操作する、という話ではありません。専用窓口があるなら、まずそちらを使うほうが速くて正確です。画面操作は、窓口が無い場所でも人間の手順をなぞれる最後の共通手段として効いてくる、という順序で捉えるのが正確です。
なぜ”自分の”ブラウザを触れるのか
遠くのクラウドで動く”脳”が、なぜ今あなたのPCで開いている、ログイン済みのブラウザを触れるのか。ここも分解すると素直です。
-
クラウドの脳が指示を出す。
-
今あなたが開いているブラウザに接続する。
-
それはログイン済みの、自分の画面。
-
だから、そのまま読んで、書き込める。
接続が始まると、画面には「Claudeがこのブラウザのデバッグを開始しました」といった帯が出ます。「デバッグ」と聞くと身構えますが、これは開発者向けの接続の呼び名で、要は”外から操作できる状態でつながった”という合図です。ポイントは、別の新しいブラウザを立ち上げるのではなく、あなたが今ログインしている画面にそのままつなぐこと。だからログインし直す必要がなく、あなたが見ているのと同じ画面で作業が進みます。裏を返せば、それだけ強い接続なので、後で出てくる「手綱」の話が効いてきます。
何を頼めるのか──二つの型
具体的に何を頼めるのか。細かなユースケースは無数にありますが、畳むと二つの型に収まります。
型① 手順ごとに、代わりに指を動かす
人が手でやる並びを、そのまま画面の上でなぞる型です。たとえば「調べる→選ぶ→保存する→仕分ける」という並びを、一段ずつ代行してもらう。
なぜこれが強いか。人の手順は、たいてい画面の上の操作に分解できるからです。だから地図に限らず、入力フォームの下書きにも、同じ型がそのまま効く。ただし、送信・確定など後戻りできない一手だけは、自分で押す——ここは型に組み込んでおくのが安全です。
型② 見て、直して、また回す
もう一つは、結果を見ながら近づけていくループ型です。
「頼む→直す→見る→また回す」。この型のキモは”見る”にあります。直した結果を自分で確かめられるから、次の一手を決められる。だから一発で完璧に言い当てなくてよい。ざっくり任せて、見比べながら少しずつ近づける——調べて、下書きして、試して、直す。その手前までは、対象を選ばず頼めます。
一本の線──どこまで任せ、どこを握るか
二つの型で「かなり任せられる」ことは見えました。では、どこまで任せるのか。ここに一本、線を引きます。
-
手前まで＝大きく任せる。調べる・下書きする・試す・直す。対象を選ばず頼める領域です。
-
最後の一手＝自分で握る。お金を”確定”させる操作——決済のボタン、注文の確定。ここは仕組みに任せきりにしない。
なぜここで線を引くのか。取り消せない操作だからです。下書きは後で直せるけれど、支払いの確定は後戻りできない。だから、取り消せる作業は大きく任せ、取り消せない一手だけ自分の指で押す。この線引きは、AIの性能の話ではなく、使う人が引く線です。
なぜ暴走しないのか──手綱は人間
「そんなに手を動かせるなら、暴走しないの？」——当然の心配です。ここには、いくつもの安全弁が重なっています。
-
範囲を先に決める──どこまで自動で許すかを、人間が先に決めておく。既定で触らせない領域もあります。
-
一つずつ承認──踏み込んだ操作は、その都度あなたが承認してから進む。
-
いつでも止める──途中でいつでも止められる。
ここは正直に留保も置きます。この許可は主に「どのアプリに、どこまで任せるか」という単位で効くもので、「決済ボタンの直前で必ず止まる」ところまでを約束するものではありません。だからこそ、前の章の”お金の一線は自分の指で”が要る。そして、まだ研究プレビュー／ベータの段階です。最後の責任と手綱は、いつも使う人が握る——強力な道具ほど、そこを人間の側に残しておくのが誠実な設計だと思います。
最初の一歩の頼み方
では、実際に触ってみるなら。最初の一歩は、段取りを言葉にすることに尽きます。
-
アプリで開く。
-
ブラウザ接続を許可する（さっきの”接続”の合図が出ます）。
-
やることを手順で頼む。「まず○○して、次に△△して」と、人に頼むように分解して伝えるほど、うまく動きます。
-
承認しながら見守る。踏み込んだ操作の承認を挟みつつ、様子を見る。
コツは一つだけ。あなたが手でやる手順を、そのまま言葉にすること。仕組みは、その手順を画面の上でなぞってくれます。
まとめ──答えるAIから、やるAIへ
最後に、三つの問いの答えを一枚に畳みます。
-
三つの層──遠くで考える脳、画面を動かす手、会話をつなぐ渡し方。脳と手を分けたから、頼む端末と動く画面を切り離せた。
-
人の画面が入口──専用窓口の有無に縛られず、人が触れる画面そのものを共通の入口にした。だから対象を選ばない。
-
手綱は人間──どこまでやらせるか、最後のどの一手を自分で押すかは、こちらが決める。
専用窓口（API）の壁を、人間のUI（画面）で越える。答えるAIから、やるAIへ——ただし手綱は握ったまま。この一本の線を引けるかどうかが、”やるAI”を安心して使えるかの分かれ目だと思います。
図はすべて自作の再構成です。実在サービスの画面・ロゴ・商標は使用していません。声はVOICEVOX（四国めたん／雨晴はう）による合成音声です。
