THE SCHOOL OF KAMOS
▲ ● ■ ✖
ISSUE #76 2026.11.13
The School of Kamos Emblem

THE SCHOOL OF KAMOS

現場の開発から学ぶ、世界一やさしい日刊AIスクール新聞

TODAY'S TOPIC ハイブリッド自律操作(Hybrid GUI-MCP Engine)
【1面トップ】現場の大解剖

「自由に画面を動かす」と「ムダなく精密に操る」を両立するハイブリッド操作の仕組み

Computer Useの動画収録から無音待機カット、Illustratorの公式MCP連携までを一本化する

💻 開発現場で実際に起きたこと

「どんなアプリもブラウザも、人間と同じようにAIに操作させて、その様子を解説動画として残したい」。現場からそんな要望が上がった一方で、別の厳しい現実が立ちはだかりました。AIに画面を見てマウスを動かさせると、読み込み待ちの長い空白が動画に丸ごと残り、専門ソフトの緻密な作業では少しの操作ズレが致命的なミスに繋がります。かといって裏側のプログラム通信だけに頼れば、ボタン一つの操作動画すら撮れません。自由な汎用性と、ムダのない精密さ。二つの相反する正義の板挟みから、新たな開発が始まりました。

なぜ片方を選ぶだけではうまくいかないのでしょうか。自動車で景色を撮影しながら車体を調整する場面を思い浮かべてみてください。工場の図面と遠隔スイッチだけで済ませようとすれば、実際の公道を走る映像は撮れず、専用スイッチのない旧型車には手が出せません。反対に、運転席から分厚いドライビンググローブをはめたまま、景色を撮るついでにエンジンの極小ネジまで手作業で回そうとすればどうなるでしょうか。信号待ちの退屈な停車時間が録画テープを埋め尽くし、繊細な部品は手元が狂って壊れてしまいます。「何でも見ながら手で触れる自由」だけでは、待ち時間のロスと手先の不器用さから逃れられないのです。現場でも同様に、汎用的な画面クリックとプロ仕様の精密作業を一つのやり方で押し通そうとすれば、必ずどこかで破綻が起きます。

そこで現場がたどり着いたのが、二つの長所を掛け合わせる二層構造のハイブリッド設計です。まず汎用的な画面操作や録画(/recordや/computer)では、Gemini Computer UseとmacOSのCoreGraphicsドライバを組み合わせ、AIが実際に画面を操作しながら全工程を時刻付きで記録します。その直後、書き出しツールが操作ログを参照し、映像から「信号待ち」にあたる無操作の待機時間を自動で切り落として、Premiere Pro用の編集データと軽快なMP4動画を出力します。さらにAdobe Illustrator 2027のような緻密さが求められる専用ソフトでは、あえてマウス操作に頼らず、公式MCPサーバーへ直接つなぐ専用の橋渡し役(illustrator-mcp-bridge.js)を用意しました。公道を走って記録する力と、ピットの診断端子に直結して正確に操る力。両者を役割分担させたことで、柔軟性と精度の両立を実現しました。

💡
"画面を見る汎用性と、裏口から直結する精密さ。どちらか一方を捨てるのではなく、役割を分けて繋ぐことでAIの手足は完成する。"
本日の重要ポイント

📖 今日の1分AI単語辞典

Computer Use コンピューターユース

AIが人間と同じように画面の画像を見ながら、マウスやキーボードを操作してパソコンを動かす技術。

MCP(Model Context Protocol) えむしーぴー

AIと外部ソフトを安全かつ統一された手順で直接つなぎ、正確な命令やデータのやり取りを行うための共通規格。

VISUAL NOTE

自由な画面操作と精密な直接連携を繋ぐハイブリッド自律操作

「自由に画面を動かす」と「ムダなく精密に操る」を両立するハイブリッド操作の仕組み
PULSE WATCH

直近のAI世界観測:現場とつながる最新トレンド

Live Telemetry
Yahoo!ニュース / 2026-11-11 News Pickup
「AIくさい」なぜSNSで批判過熱

SNS上でAI生成コンテンツ特有の違和感や画一的な表現に対して「AIくさい」と批判や敬遠の声が強まっている現状を報じたニュースです。技術が普及するにつれ、単に出力できるだけでなく、受け手にとって自然で違和感のない品質や表現の工夫が問われる段階に入っていることがうかがえます。

💡 現場の開発への示唆: 【現場への示唆】操作収録の待機時間を自動で削り、専用ソフトは公式MCPで正確に扱う設計は、AI特有のぎこちなさを消し、人が見て心地よい品質へ仕上げる鍵になります。
日本経済新聞 / 2026-11-09 News Pickup
サカナAIが27年秋にも上場へ スタートアップ国内最大級、生成AI初

国内の生成AIスタートアップであるサカナAIが、2027年秋にも株式上場を目指していることが報じられました。生成AIを手掛ける企業としては国内初、スタートアップとしても国内最大級の規模になる見通しで、日本のAI産業が実用化と市場評価の大きな節目を迎えつつあることを示しています。

💡 現場の開発への示唆: 【現場への示唆】市場の期待が高まる中、単発の実験にとどまらず、録画編集や既存ツール連携まで一気通貫で現場に定着する堅実な仕組みづくりがますます重要になります。
ACADEMIC LENS

世界の最新研究とどう繋がってる?

When 'No Worries' Went Wrong: HRI Lessons for Foundation-Model Robots 論文リンクを見る

この論文は、基盤モデルを搭載したロボットを数年間にわたり実社会で運用する中で見つかった、人間とロボットの相互作用における失敗パターンを分析した研究です。現実の空間でモデルが環境を認識しながら自律的に動く場面では、応答の遅れやわずかな認識のズレが積み重なり、思わぬ動作不良を招きやすいことが報告されています。今回の開発でも、AIにパソコン画面の見た目だけを頼りに操作させると、待機時間の間延びや細かな操作ミスが起きるという共通の課題に直面しました。研究が示す「現実の環境では認識任せにせず、構造化された制御と組み合わせる重要性」は、動画の自動カットやMCPによる直接接続という現場の解決策と深く響き合っています。

QUICK QUIZ

AIにパソコン画面の操作を任せる際、今回の現場ではなぜ「画面クリック」と「専用ソフトへの直接接続(MCP)」を使い分けたのでしょうか?

THE SCHOOL OF KAMOS

Powered by Kamos OS & Gemini 4 Hydrogen

ARCHIVE

過去のスクール新聞バックナンバー

『今年の確実』と『来年の先読み』を両立する。予定を混ぜずに未来を予約するシステム設計
2026-11-22 時間軸の分離と冪等繰越

『今年の確実』と『来年の先読み』を両立する。予定を混ぜずに未来を予約するシステム設計

案件管理の年度跨ぎ問題を解決した、別枠集計と2段...
「再生ボタン」のレントゲン写真。AIが5分超の長文を息切れせず朗読する裏側の調律技術
2026-11-21 TTS段落並列合成と音声連結(Audio Stitching & Prefetch)

「再生ボタン」のレントゲン写真。AIが5分超の長文を息切れせず朗読する裏側の調律技術

一発生成の「早口暴走」を防ぎ、並列合成とミリ秒の...
AIを止めれば、記録は生き続ける。維持費ゼロへ導く「完結の設計」
2026-11-20 静的完結アーカイブ(運用コストの引き算)

AIを止めれば、記録は生き続ける。維持費ゼロへ導く「完結の設計」

定期実行の電源を落とし、静的ファイルと完結フラグ...
画面のネオンと専門計器を外して見えたもの。WebGPU全11作品の案内板を平易に整える技術
2026-11-19 構造と表層の分離(UI純化と日英同期)

画面のネオンと専門計器を外して見えたもの。WebGPU全11作品の案内板を平易に整える技術

開発者目線の派手なHUDから、誰でも迷わず作品に...
20,000字を1枚の4象限図解へ。最新画像モデル「Nano Banana 2.1」が拓く長文要約の現在地
2026-11-18 長文構造化グラレコ(Nano Banana 2.1)

20,000字を1枚の4象限図解へ。最新画像モデル「Nano Banana 2.1」が拓く長文要約の現在地

断片の切り貼りから一括の視覚化へ――3つのメディ...
なぜAIは同じモノを描き続けられない? 5枚組スケッチの「形の崩れ」を防ぐ視覚の基準点
2026-11-17 Visual SSOT(視覚的基準参照)

なぜAIは同じモノを描き続けられない? 5枚組スケッチの「形の崩れ」を防ぐ視覚の基準点

毎朝プロトタイプを自律発行する『The Auto...
100の型紙を手放し、窓口をひとつに。AIの迷いを消した「引き算」の設計術
2026-11-16 スキル統合と引き算の設計

100の型紙を手放し、窓口をひとつに。AIの迷いを消した「引き算」の設計術

重複するスキルを統合し固定ルールを廃することで、...
もしブラウザで『1,000本の腕』を動かしたら? AIとWebGPUが叶えた軽やかな3D展示の実験
2026-11-15 WebGPUと3Dモデル圧縮

もしブラウザで『1,000本の腕』を動かしたら? AIとWebGPUが叶えた軽やかな3D展示の実験

巨大な3Dデータを小さく畳み、並列描画で一気に広...
変わらない前半は鉄枠に固め、思考のための長い巻紙を――Gemini 4統一と95%節約の印刷術
2026-11-14 暗黙のコンテキストキャッシュ(Implicit Context Caching)

変わらない前半は鉄枠に固め、思考のための長い巻紙を――Gemini 4統一と95%節約の印刷術

固定順序のスナップショット先頭注入と出力枠の余裕...
「自由に画面を動かす」と「ムダなく精密に操る」を両立するハイブリッド操作の仕組み 表示中
2026-11-13 ハイブリッド自律操作(Hybrid GUI-MCP Engine)

「自由に画面を動かす」と「ムダなく精密に操る」を両立するハイブリッド操作の仕組み

Computer Useの動画収録から無音待機カ...
「追加でお願い」の裏側で何が動くのか? AIが直前の記憶と道具を引き継ぐ内部配線
2026-11-12 コンテキスト継承パイプライン(Contextual Lineage Pipeline)

「追加でお願い」の裏側で何が動くのか? AIが直前の記憶と道具を引き継ぐ内部配線

2,000文字の限界を越え、2万4,000文字の...
言葉を飾るほどAIは迷子になる:情緒を削ぎ落とす「無骨な説明文」の逆説
2026-11-11 機能記述の純化(Functional Plaintext Purge)

言葉を飾るほどAIは迷子になる:情緒を削ぎ落とす「無骨な説明文」の逆説

61個のアプリカタログからポエムを全撤去して見え...
チャット画面に情報を埋もれさせない! 会話から成果物を紡ぎ出す「4段階カスケード同期」の設計
2026-11-10 4フェーズ連鎖同期(Temporal Cascading Pipeline)

チャット画面に情報を埋もれさせない! 会話から成果物を紡ぎ出す「4段階カスケード同期」の設計

おしゃべり相手から航海士へ。AIとの対話をそのま...
スマホが落ちても音声は消えない! ブラウザで2時間録音する「5秒の命綱」と修復技術
2026-11-09 耐久メディア退避(Progressive Media Resilience)

スマホが落ちても音声は消えない! ブラウザで2時間録音する「5秒の命綱」と修復技術

画面ロックやクラッシュの脅威に立ち向かう、ブラウ...