記事一覧へ戻る

GeminiのMacアプリ、複数アプリを操作する機能を追加

読了目安 3 分

Googleは、GeminiのMacアプリにコンピューター操作機能を追加する。ユーザーが自然な言葉で作業内容を伝えると、Geminiがメニューの操作や文字入力、フォーム記入を行い、ローカルファイル、デスクトップアプリ、ウェブサイトをまたぐ手順を進める。複数のツールを行き来しながら同じ操作を繰り返すような作業を減らす狙いだ。回答や文章の生成にとどまらず、画面上の操作を実行するアシスタントへと機能を広げる。

主なポイント

  • **複数の作業環境に対応:**ローカルに保存した資料、Macアプリ、ウェブサイトを組み合わせる作業を、ユーザーが一つずつ手動で進めずに済む可能性がある。
  • **独立したウィンドウで動作:**Geminiは分離されたバックグラウンドウィンドウ内で動き、チャットにはライブプレビューが表示される。Googleによると、メイン画面やカーソルは別の作業に使い続けられる。
  • **ユーザーが操作を管理:**アクセスを許可するアプリはユーザーが選択でき、処理を確認して必要に応じて一時停止できる。重要な操作には承認が必要だ。ただし、発表はすべての操作を毎回承認する仕組みだとは説明していない。
  • **繰り返し作業が想定例:**写真の一括編集、ローカルPDFから配送情報を抜き出して見積もりフォームに入力する作業、ダッシュボードのデータを使ったプレゼン作成、中古品の出品準備などが例として挙げられている。あらゆるアプリや作業での動作を保証するものではない。

提供は米国の英語ユーザー向けにGeminiのMacアプリで始まり、Googleの展開条件やサブスクリプションの対象資格が適用される。対応アプリの一覧、作業の成功率、他地域・他言語への展開時期は発表されていない。そのため、Mac全体を制限なく任せられる機能ではなく、新たな操作機能として捉えるのが適切だ。

この発表の意味は、AIアシスタントが「何をすべきか助言する」段階から「実際の作業を試みる」段階へ進む点にある。アプリをまたぐ自動化でコピーや転記の手間を減らせる一方、権限の範囲や失敗時の対応はより重要になる。ユーザーはアクセス対象を把握し、進行状況を確認したうえで、情報の送信や外部の状態変更につながる操作を慎重に承認する必要がある。実際の時間短縮につながるかは、作業の確実性、誤りを修正できるか、ローカル資料へのアクセスを信頼できるかに左右される。

Web Search

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
自由生成を避ける「System 1 Agents」、選択式でツール呼び出し
AIエージェント
cctest.ai
AIエージェント

自由生成を避ける「System 1 Agents」、選択式でツール呼び出し

System 1 Agentsは、ツールの仕様とユーザーの依頼から選択式の質問を作り、ローカルモデルに回答させることで、ツール呼び出しでの値の捏造を抑えようとする手法です。生物医学ツールを使った評価では、比較対象のローカルLLMエージェントを上回る結果を報告しました。

続きを読む