Mac版GeminiにComputer Useを追加
Googleは2026年11月19日、Gemini Macのcomputer useを発表した。デスクトップアシスタントでアプリケーションをまたぐタスクを可能にする一方、ユーザーが引き続き画面を制御できるとしている。computer useとは、クリック、スクロール、入力といった操作を通じてソフトウェアを操作する機能を指す。Googleによると、Geminiは独立したバックグラウンドウィンドウ内でその作業を実行する。
この発表によって、アシスタントが手順を提案できるかではなく、ユーザーの注意を占有せずに作業を完了できるかが問われることになる。Google LabsのエグゼクティブであるJosh Woodwardがこの機能を共有し、Googleの製品発表でその提供範囲が示された。初期提供は米国での英語に限定され、アカウントとハードウェアの制約がある。
Anthropicは2024年10月に先行するcomputer-use機能を導入しており、Googleはすでに確立されたカテゴリーに参入することになる。中心にある緊張関係は、作業の委任と監督の両立だ。カーソルが自由になることは有用だが、ユーザーにはなお信頼できる結果が必要となる。ナレッジワーカーにとって重要なのは、アシスタントの作業を確認・修正することを含め、タスク管理に費やす時間が減るかどうかだ。
Gemini MacのComputer Useはチャットウィンドウの枠を超える
Googleは、質問に答えるGeminiを、実際に仕事が行われるソフトウェアを操作する存在へと拡張している。
GoogleのMac task automation発表によると、この機能はローカルファイル、デスクトップアプリケーション、ウェブサイトにまたがる。ユーザーが求める結果を説明すると、Geminiがインターフェース上の操作を処理する。Googleは、隔離されたバックグラウンドウィンドウがライブプレビューを提供し、メイン画面とカーソルを自由に使える状態に保つとしている。
これは、依頼と結果の関係を変える。ワークフローを説明するアシスタントでは、実行はユーザーに委ねられる。アプリケーションを操作するアシスタントは、情報を場所から場所へ移すことを含め、中間段階の責任を担う。
プレゼンテーションを説明することと、実際に組み立てることの違いを考えてみればよい。文章によるアウトラインは役立つが、資料を集めてスライドに配置する作業は依然として誰かが行う必要がある。アプリケーションをまたぐ操作は、そうした実行上の隔たりに対応する。
Googleの例には、プレゼンテーション向けにダッシュボードの資料を集めること、文書の詳細を配送フォームに転記すること、写真から再販用の出品情報を作成することが含まれる。これらは、完了の成功を独立して測定したものではなく、想定される用途だ。
その幅広さが重要なのは、オフィスワークが単一のアプリケーション内で完結することはまれだからだ。タスクはローカル文書から始まり、ブラウザを経由し、別のプログラムで完了することがある。こうした引き継ぎのたびに、有用な自動化とミスの両方が生じる可能性がある。
この発表には、具体的な利用条件もある。Googleの発表では、Apple siliconとmacOS Sequoia 15.0以降が指定されている。また、対象となる有料サブスクリプションを持つ成人の個人アカウントが挙げられている。
Googleのヘルプ文書では、現時点の提供対象から職場・学校アカウントを除外している。この区別により、例示されたワークフローが業務タスクに似ている場合でも、即時の企業導入可能性は限定される。個人アカウント向けの提供は、管理された企業環境への対応準備を示すものではない。
したがって、Gemini Macのcomputer useは、すべてのMacやGoogleアカウントで利用できる機能ではなく、具体的な製品拡張である。初期市場の外にいる読者は、発表と実際の利用可能性を分けて考える必要がある。11月19日のイベント日も、すべての対象アカウントがいつ機能を受け取るかを示すものではない。
バックグラウンドウィンドウは、最も重要な設計上の詳細だ。アシスタントがタスクを進める間、ユーザーは別の活動を続けられることを示唆している。この仕組みは、委任における明白な障害、すなわち同じ可視ワークスペースを取り合う問題を取り除く。
ただし、実行と注意力は異なるリソースである。アシスタントはメイン画面から離れた場所で操作できても、判断、承認、トラブルシューティングが必要になる可能性はある。プレビューは作業を可視化するが、観察が不要になることを意味しない。
ユーザーにとって実務上の問いは、完了したタスクがレビュー可能な状態で届くのか、それとも別の問題の待ち行列を生むのかだ。この違いが、デスクトップアシスタンスが日常業務で有用に感じられるかを左右する。また、Googleの例を評価する基準にもなる。
この発表は、意図された操作モデルを示している。それ自体は、代表的なワークロード全体でどれだけ時間を節約できるかを立証するものではない。その証拠は、ローンチ資料を超えた反復可能な利用から得られる必要がある。
作業をユーザーに戻すアシスタントへの圧力が高まる
競争上の圧力は、従来のアシスタントが人に残してきた引き継ぎを含め、ワークフローを完了させることから生まれる。
会話型アシスタントは、正しい回答を生成しても、その基盤となる仕事の多くを未完了のまま残すことがある。情報を特定しても、それをどこかに入力するとは限らない。編集を提案しても、対象ファイルに適用するとは限らない。
アシスタントが行動を起こすと提案するにつれ、その境界はより明確になっている。ユーザーは、回答の後に必要な労力と、実行済みタスクの後に必要な労力を比較できる。この比較には、後処理を含む仕事全体が関わる。
ソフトウェア企業にとっては、支援がどこで始まり、どこで終わるかに関する圧力が生じる。アプリケーション専用のアシスタントは、自らの環境を深く理解できる。デスクトップアシスタントは、複数の環境をまたいで作業を運ぶことを目指す。
どちらのアプローチも自動的に優位になるわけではない。特化型アシスタントは、狭いタスクの範囲でより明確な制御と予測可能な動作を提供できる。アプリケーション横断型アシスタントは、より広い到達範囲を提供する一方、管理すべきインターフェースと判断も増える。
Anthropicのcomputer-use researchは、歴史的な参照点となる。2024年10月、同社はClaudeがスクリーンショットを解釈し、開発者が用意した設定を通じてマウスとキーボードの操作を実行する仕組みを説明した。また、その初期リリースにおけるエラーと制限も認めていた。
こうした過去の制限を、現在のClaudeの性能に関する主張にしてはならない。それらは、コンピューター操作には長らく、説得力のある実演と信頼できる実行との隔たりが伴ってきたことを示している。Googleのローンチも、この継続的な取り組みの一部に位置づけられる。
したがって、重要な比較はGoogleとAnthropicの対比にとどまらない。指示を返す支援と、その指示を既存ソフトウェア内で実行に移す支援の比較である。製品パッケージ、権限、復旧手段は、モデル能力と並んでこの比較を形作る。
ナレッジワーカーにとって、アプリケーション間の境界は大きな認知負荷になり得る。人は情報の所在を覚え、どのバージョンを使うかを決め、あるプログラムの出力を別のプログラムの入力へと変換する。クリックの自動化は、その調整の一部にしか対応しない。
アシスタントには、引き継ぎの過程で意味を保つことも求められる。誤ったフィールドにコピーされた数値は、もっともらしく見える可能性がある。プレゼンテーションに挿入されたグラフは正確でも、対象の聴衆には無関係かもしれない。
これは、ベンダーに対して活動量だけでなく、完成した成果物を示すよう圧力をかける。忙しく動くプレビューは動作を示す。有用な結果は、その動作がユーザーの目的に資したことを示す。
Geminiのデスクトップ自動化は、すべてのワークフローに専用統合が必要だという前提にも疑問を投げかける。インターフェース操作は、プログラムが人に必要な操作部を公開している場合の別の経路を提供する。この柔軟性には、曖昧さを処理する責任が伴う。
統合では、期待されるフィールドや応答を明示的に定義できる。可視インターフェースには、予期しないダイアログ、見慣れないレイアウト、不完全な情報が含まれることがある。こうした違いは、タスクにどれだけの監督が必要かに影響する。
アプリケーション開発者にとって、対応はデスクトップアシスタントにユーザーとの関係を委ねることである必要はない。誰がインターフェースを操作するかにかかわらず、明確な権限、理解しやすい操作、復元可能な変更には価値がある。人間のユーザーもこうした性質から利益を得る。
購入者にとって、当面の圧力は評価にある。洗練された回答は、複数プログラムにまたがる一連の操作よりも評価しやすい。組織がアプリケーション横断の実行を信頼できる能力として扱う前に、自らのワークフローに結び付いた証拠が必要となる。
この発表は、アシスタントが完了すべき作業への期待を高める。作業を減らせるかどうかは、アシスタントが停止した後に何が残るかで決まる。
バックグラウンド実行が委任のコストを変える
ユーザーのワークスペースを使える状態に保つことは中断への対応となるが、より大きな機会は、タスク完了に必要な注意力を減らすことにある。
通常の委任には調整コストがある。誰かが目的を説明し、アクセスを提供し、進捗を確認し、結果を受け入れなければならない。AIアシスタントでも、短いプロンプトから対話が始まる場合であっても、同じ基本的な問いが生じる。
バックグラウンドウィンドウは、その調整が行われる場所を変える。ユーザーは、必ずしもメインのデスクトップを明け渡さずに進行状況を確認できる。これにより、他の活動と並行してワークフローを進めやすくなる。
この違いは、待機時間を伴うタスクで重要になる。通常なら、ソフトウェアの読み込み、ページ更新、エクスポート完了を待つ間、人が関わり続けることになるかもしれない。有用なバックグラウンド実行であれば、その人は別のことに注意を向けられる。
それでも、画面への途切れないアクセスは、思考の中断がないことを保証しない。繰り返される確認依頼は、カーソルを奪われるのと同じくらい効果的に集中を妨げ得る。重要な指標は、ユーザーがどの程度の頻度で、なぜ戻らなければならないかだ。
ローンチ画像では、蝶のスケッチがBlenderでモデリングされ、リギングされている。リギングとは、モデルを動かせるようにするコントロールを加えることを指す。Googleの例は、複数の依存関係を持つクリエイティブなワークフローを示している。
この例が説得力を持つのは、専門的なソフトウェアの中で編集可能な成果物を生み出すためだ。視覚的な依頼とアプリケーション内での操作を結び付けている。そのため、クリエイターを支援するという一般的な約束よりも、提案された機能が具体的に見える。
しかし、見栄えのよいモデルと、実用的な制作アセットは異なる成果である。クリエイターは、結果がブリーフに合致し、正しく動作するかを確認する必要がある。ローンチ時の例は、任意のプロジェクト全体でこうした品質を立証するものではない。
適切な解釈は限定的だ。Googleは、自社製品が実行することを意図したタスクを提示している。この例は、一般的な完了率、一貫した出力品質、失敗の修正に必要な労力を示すものではない。
この区別は、日常的な管理業務にも同様に当てはまる。フォームは完成しているように見えても、住所が誤っている可能性がある。プレゼンテーションは完成しているように見えても、古いスクリーンショットを使っているかもしれない。
検証は、意図した結果に沿って行う必要がある。フォームであれば、元の詳細と入力先のフィールドを確認することを意味する。クリエイティブファイルであれば、成果物を開き、その動作を調べることを意味する。
ここでGeminiのデスクトップ自動化は、最も有用な試練に直面する。アシスタントは、実行と検証を合わせた負担を減らす必要がある。入力時に労力を節約しても、レビューが大幅に難しくなるなら意味は薄い。
同じ考え方はタスク指示にも当てはまる。簡潔な依頼は便利に感じられるが、隠れた前提が消えるわけではない。アシスタントはそれらを解決するか、確認するか、望ましくない結果を選ぶリスクを負う必要がある。
たとえばプレゼンテーションを準備するという依頼には、対象者、強調点、情報源の鮮度に関する問いが残る。こうした判断は、スライドを作成する作業そのものより重要になる可能性がある。委任を成功させるには、適切な停止点が必要となる。
知識作業は、アシスタントの行動と区別できる文脈にも依存します。ソース資料、解釈、そして最終成果物はそれぞれ異なる役割を果たします。それらのつながりを保つことで、レビュー担当者は何がどのような理由で変わったのかを把握しやすくなります。
この区別は、パーソナルナレッジベースと実行ツールの違いに似ています。一方は情報を検索可能な状態に整理し、もう一方は情報に基づいて行動します。どちらの役割も、もう一方の品質を自動的に保証するものではありません。
したがって、Gemini Mac computer useを評価する読者にとって最も重要なのは、具体的な問いです。より少ない中断で、レビュー可能な成果を届けられるのか。この問いは、バックグラウンドウィンドウの設計と、依然として残る監督負担の両方を捉えています。
また、より長い操作手順をより良い結果と取り違えることも避けられます。アシスタントの価値は、有用な作業を完了させることにあります。
アプリ権限は正しい判断を保証しない
権限管理はGeminiが行動できる範囲を定めますが、その境界内で適切な行動を選ぶという信頼は、依然としてユーザーに必要です。
Googleのアプリ権限管理に関するドキュメントでは、許可・ブロックされるアプリケーション、機密性の高い操作に対する確認、タスク停止の操作について説明されています。また、Geminiが誤りを犯す可能性があることも警告しています。
ドキュメントは、ログイン済みのデスクトップセッションと、アプリケーションと共有される情報に伴うリスクを指摘しています。信頼できない画面上のコンテンツが、許可されたアプリ全体での操作に影響を与える可能性があると警告しています。特定の開発者ツールへのアクセスは、より広範な変更を可能にすることもあります。
こうした警告が重要なのは、デスクトップが他者のコンテンツを含む環境だからです。ウェブページ、メッセージ、文書には、ユーザーが指示として意図していないテキストが表示されることがあります。アシスタントは作業中、この区別を維持する必要があります。
プロンプトインジェクションとは、信頼できないコンテンツを指示として扱うようアシスタントを誘導する試みです。アシスタントが行動できる場合、そのリスクはより重大になります。誤解を招く文章は、回答をゆがめるだけでなく、実際の操作を引き起こそうとする可能性があります。
したがって、許可されたアプリケーションは、承認された操作と同義ではありません。ブラウザの使用権限があっても、どのアクセス先が適切かは決まりません。文書の編集権限があっても、ユーザーが意図した変更内容までは決まりません。
同じ区別は認証にも当てはまります。アシスタントが作業を始める時点で、すでにログインしている場合があります。既存のアクセスは実行を容易にする一方で、タスクを正しく解釈する重要性を高めます。
Googleは一時的なファイルバックアップについても説明していますが、常に可能とは限らないとしています。したがって、復旧は設定ラベルから推測するのではなく、製品の挙動として評価すべきです。影響は保存済みファイルの範囲を超える可能性があります。
これは、Geminiが日常的に境界を越えたり作業を失ったりすることを示すものではありません。Google自身のガイダンスが、誤りや意図しない操作を関連する懸念として扱っていることを示すものです。製品評価では、存在しない事案を作り上げずに、こうした懸念を真剣に受け止めるべきです。
バックグラウンドウィンドウに関する表現にも注意が必要です。独立した作業領域は、ユーザーが画面操作の主導権を維持できる仕組みを説明します。しかし、それだけではデータ処理、アプリケーションアクセス、セキュリティ分離がどのように機能するかを示しません。
同様に、ライブプレビューは可視性を提供しますが、継続的な人間の監督を証明するものではありません。別の作業に集中しているユーザーは、たまにしか確認しないかもしれません。設計は、その現実的な注意パターンに対応する必要があります。
有用な確認には、判断を支えるのに十分な文脈が必要です。結果が不明確なまま進めるか尋ねられても、役に立ちません。ユーザーは、機密性の高い手順を承認する前に、何が変わるのかを理解できるべきです。
確認が多すぎることにも別の問題があります。通常の進行に何度も承認が必要なら、ユーザーはアシスタントの操作担当者になってしまいます。確認が少なすぎれば、重要な判断が長いワークフローの中に埋もれてしまう可能性があります。
このバランスは、委任作業という約束の中心にあります。優れた監督は、人間の注意を判断が重要な場面に集中させます。誰かにすべての操作を確認させたり、すべての操作を盲目的に信頼させたりすべきではありません。
独立系メディアによるローンチ報道は、信頼性の隔たりを埋めることなく文脈を補います。デスクトップエージェントへのアクセスについて報じたThe Vergeは、Geminiの登場を、Macアクセス制限をめぐるAppleの取り組みと結び付けました。同誌の報道も、コア機能をGoogleによるものとしています。
この帰属は重要です。企業が機能を公開したと報じることと、その性能を独立して検証することは異なります。読者は、発表内容の説明が繰り返されているからといって、別個の実験的確認とみなすべきではありません。
最も説得力のある懐疑的な立場は、具体的です。バックグラウンド実行は操作モデルを改善しますが、正確性、権限の境界、復旧については、なお実用的な証拠が必要です。これらは仮想的な完全性ではなく、製品の有用性に関わる問いです。
信頼できるアシスタントでも、不確実な状況に遭遇することはあります。重要なのは、不確実性を明示し、適切に停止し、ユーザーが最終状態を理解できるようにするかどうかです。
次に必要な証拠は日常業務から得られる
次の段階では、日常的なタスク全体にわたり、再現性、管理可能な監督、信頼できる境界を確立する必要があります。
最初に注目すべき指標は、日常的で反復可能なワークフローにおける独立したテストです。選ばれたローンチ事例は、想定された用途を示します。反復テストは、同じタスクが許容可能な結果にどの程度の頻度で到達するかを明らかにします。
有用な評価では、成功した完了と部分的な完了を区別すべきです。また、アシスタントがどのような支援を必要としたかも説明すべきです。明確な初回指示で完了したタスクと、繰り返し修正した末に完了したタスクでは、その意味合いが異なります。
成果物は、プロセスの記録と同じくらい重要です。レビュー担当者は、ファイルが正しく開くか、情報がソースと一致しているか、要求された変更が保存後も維持されているかを確認すべきです。目に見える活動だけでは、これらの問いに答えられません。
異なる開始条件でも結果が有用であり続けるなら、この指標はGoogleの提案を強化します。小さな変更でも一貫して大幅な介入が必要になるなら、その提案は弱まります。重要なのは、単発の誤りではなく再現性です。
第二の指標は、通常利用における監督の仕組みです。ユーザーが妥当に別の作業へ集中できるとき、バックグラウンド実行は価値を持ちます。そのためには、明確なステータス、適切なタイミングの質問、理解しやすい停止地点が必要です。
評価では、アシスタントが支援を求める理由を説明すべきです。必要な判断を求めることと、日常的なインターフェースに混乱することは異なります。これらを単一の中断回数にまとめると、有用な違いが見えなくなります。
復旧もこの評価に含まれます。明確な説明とともに停止するタスクは、ユーザーの信頼を維持できます。成功を主張しながら不確かな結果を残すタスクは、追加の調査作業を生みます。
Gemini Mac computer useは、完了済み、保留中、失敗した操作をユーザーがすぐ理解できるなら、より説得力のあるケースを示せます。進捗のレビュー自体がもう一つの大きな仕事になるなら、そのケースは弱まります。バックグラウンド操作には、それに対応する監督労力の軽減が必要です。
第三の指標は、アクセス境界と展開の方向性に関する証拠です。より広い言語、地域、またはアカウントで利用可能になれば、この機能を評価できる人は増えます。しかし、拡大だけで信頼性が証明されるわけではありません。
より有益な証拠は、許可されたアプリケーションや既存セッション全体で、管理機能がどのように振る舞うかを示すものです。予期しないコンテンツへの明確な対応は、委任モデルを支えるでしょう。分かりにくい権限や説明不足の操作は、より多くの責任をユーザーに戻すことになります。
仕事用・学校用アカウントへの対応が導入される場合は、別途評価が必要です。ビジネス向けの提供は、管理、説明責任、データ処理に関する問いを生みます。現在の個人アカウント向け提供を、将来の要件への答えとみなすべきではありません。
これらの指標全体において、読者は人気を証拠の代わりにすることを避けるべきです。魅力的なデモは、日常的な性能を測定することなく注目を集められます。同様に、苛立たしい逸話は失敗を示しても、その頻度を確立するわけではありません。
有用な中間地点は、明確なタスク境界を備えた記録済みの体験です。依頼内容、開始条件、介入、結果を記述します。これにより、すべてのワークフローが同じ難易度であると仮定せずに比較が可能になります。
開発者にとって、この発表は、操作が理解しやすく復旧可能なアプリケーションの価値を浮き彫りにします。ナレッジワーカーにとっては、反復的な引き継ぎを見直す理由になります。企業の購買担当者にとっては、直ちに導入する結論ではなく、評価の論点を提示します。
より広い意義は、ユーザーがアシスタントに適用する基準にあります。流暢な応答だけが、もはや評価対象ではありません。ファイル、フォーム、プレゼンテーション、既存ソフトウェア内の変更も、評価の一部になります。
結果を確認でき、誤りを元に戻せる、範囲を限定したタスクから始めてください。委任する前に完了の定義を決め、その定義と最終成果物を比較します。アシスタントがどれほど注意を求めるか、未完了の作業をどれだけ明確に説明するかに注目してください。検証が別の調査プロジェクトにならないよう、ソース資料を手元に置いてください。成功例とともに失敗例も公開する独立評価を、特に注視してください。Gemini Mac computer useについて有用な問いは実践的です。バックグラウンド実行は、完了した作業と余裕のある注意力を残してくれるのか。カーソルが動くことや魅力的なデモを完成した証拠として扱うのではなく、この基準で展開を判断してください。



