THE SCHOOL OF KAMOS
現場の開発から学ぶ、世界一やさしい日刊AIスクール新聞
「自由に画面を動かす」と「ムダなく精密に操る」を両立するハイブリッド操作の仕組み
Computer Useの動画収録から無音待機カット、Illustratorの公式MCP連携までを一本化する
「どんなアプリもブラウザも、人間と同じようにAIに操作させて、その様子を解説動画として残したい」。現場からそんな要望が上がった一方で、別の厳しい現実が立ちはだかりました。AIに画面を見てマウスを動かさせると、読み込み待ちの長い空白が動画に丸ごと残り、専門ソフトの緻密な作業では少しの操作ズレが致命的なミスに繋がります。かといって裏側のプログラム通信だけに頼れば、ボタン一つの操作動画すら撮れません。自由な汎用性と、ムダのない精密さ。二つの相反する正義の板挟みから、新たな開発が始まりました。
なぜ片方を選ぶだけではうまくいかないのでしょうか。自動車で景色を撮影しながら車体を調整する場面を思い浮かべてみてください。工場の図面と遠隔スイッチだけで済ませようとすれば、実際の公道を走る映像は撮れず、専用スイッチのない旧型車には手が出せません。反対に、運転席から分厚いドライビンググローブをはめたまま、景色を撮るついでにエンジンの極小ネジまで手作業で回そうとすればどうなるでしょうか。信号待ちの退屈な停車時間が録画テープを埋め尽くし、繊細な部品は手元が狂って壊れてしまいます。「何でも見ながら手で触れる自由」だけでは、待ち時間のロスと手先の不器用さから逃れられないのです。現場でも同様に、汎用的な画面クリックとプロ仕様の精密作業を一つのやり方で押し通そうとすれば、必ずどこかで破綻が起きます。
そこで現場がたどり着いたのが、二つの長所を掛け合わせる二層構造のハイブリッド設計です。まず汎用的な画面操作や録画(/recordや/computer)では、Gemini Computer UseとmacOSのCoreGraphicsドライバを組み合わせ、AIが実際に画面を操作しながら全工程を時刻付きで記録します。その直後、書き出しツールが操作ログを参照し、映像から「信号待ち」にあたる無操作の待機時間を自動で切り落として、Premiere Pro用の編集データと軽快なMP4動画を出力します。さらにAdobe Illustrator 2027のような緻密さが求められる専用ソフトでは、あえてマウス操作に頼らず、公式MCPサーバーへ直接つなぐ専用の橋渡し役(illustrator-mcp-bridge.js)を用意しました。公道を走って記録する力と、ピットの診断端子に直結して正確に操る力。両者を役割分担させたことで、柔軟性と精度の両立を実現しました。
"画面を見る汎用性と、裏口から直結する精密さ。どちらか一方を捨てるのではなく、役割を分けて繋ぐことでAIの手足は完成する。"本日の重要ポイント
📖 今日の1分AI単語辞典
AIが人間と同じように画面の画像を見ながら、マウスやキーボードを操作してパソコンを動かす技術。
AIと外部ソフトを安全かつ統一された手順で直接つなぎ、正確な命令やデータのやり取りを行うための共通規格。
自由な画面操作と精密な直接連携を繋ぐハイブリッド自律操作
直近のAI世界観測:現場とつながる最新トレンド
「AIくさい」なぜSNSで批判過熱
SNS上でAI生成コンテンツ特有の違和感や画一的な表現に対して「AIくさい」と批判や敬遠の声が強まっている現状を報じたニュースです。技術が普及するにつれ、単に出力できるだけでなく、受け手にとって自然で違和感のない品質や表現の工夫が問われる段階に入っていることがうかがえます。
サカナAIが27年秋にも上場へ スタートアップ国内最大級、生成AI初
国内の生成AIスタートアップであるサカナAIが、2027年秋にも株式上場を目指していることが報じられました。生成AIを手掛ける企業としては国内初、スタートアップとしても国内最大級の規模になる見通しで、日本のAI産業が実用化と市場評価の大きな節目を迎えつつあることを示しています。
世界の最新研究とどう繋がってる?
この論文は、基盤モデルを搭載したロボットを数年間にわたり実社会で運用する中で見つかった、人間とロボットの相互作用における失敗パターンを分析した研究です。現実の空間でモデルが環境を認識しながら自律的に動く場面では、応答の遅れやわずかな認識のズレが積み重なり、思わぬ動作不良を招きやすいことが報告されています。今回の開発でも、AIにパソコン画面の見た目だけを頼りに操作させると、待機時間の間延びや細かな操作ミスが起きるという共通の課題に直面しました。研究が示す「現実の環境では認識任せにせず、構造化された制御と組み合わせる重要性」は、動画の自動カットやMCPによる直接接続という現場の解決策と深く響き合っています。
AIにパソコン画面の操作を任せる際、今回の現場ではなぜ「画面クリック」と「専用ソフトへの直接接続(MCP)」を使い分けたのでしょうか?
過去のスクール新聞バックナンバー
『今年の確実』と『来年の先読み』を両立する。予定を混ぜずに未来を予約するシステム設計
「再生ボタン」のレントゲン写真。AIが5分超の長文を息切れせず朗読する裏側の調律技術
AIを止めれば、記録は生き続ける。維持費ゼロへ導く「完結の設計」
画面のネオンと専門計器を外して見えたもの。WebGPU全11作品の案内板を平易に整える技術
20,000字を1枚の4象限図解へ。最新画像モデル「Nano Banana 2.1」が拓く長文要約の現在地
なぜAIは同じモノを描き続けられない? 5枚組スケッチの「形の崩れ」を防ぐ視覚の基準点
100の型紙を手放し、窓口をひとつに。AIの迷いを消した「引き算」の設計術
もしブラウザで『1,000本の腕』を動かしたら? AIとWebGPUが叶えた軽やかな3D展示の実験
変わらない前半は鉄枠に固め、思考のための長い巻紙を――Gemini 4統一と95%節約の印刷術
表示中
「自由に画面を動かす」と「ムダなく精密に操る」を両立するハイブリッド操作の仕組み
「追加でお願い」の裏側で何が動くのか? AIが直前の記憶と道具を引き継ぐ内部配線
言葉を飾るほどAIは迷子になる:情緒を削ぎ落とす「無骨な説明文」の逆説
チャット画面に情報を埋もれさせない! 会話から成果物を紡ぎ出す「4段階カスケード同期」の設計