Instinctが示す、個人向けAIエージェントの信頼問題

導入

個人向けAIアシスタントは、質問に答えるチャットボットから、複数のサービスをまたいで実際に仕事を進めるエージェントへ変わりつつある。非公開アクセス段階にあるInstinctは、レストランの予約、空港までの移動手配、フライト検索、受信トレイの整理、メールのフォローアップなどを代行できるとして、初期テスターから高い評価を受けている。

しかし、AIに生活上の情報と実行権限を同時に渡すと、便利さだけでは測れないリスクが生じる。Instinctをめぐる議論は、個人AIがどこまで自律してよいのかを早い段階で浮き彫りにした。

主な論点

• アクセス対象が広い。 Instinctはメール、メッセージアプリ、カレンダーに接続できるほか、端末の画面、音声、位置情報なども扱う。ユーザーはSMSやWhatsAppから指示を送り、複数のアプリにまたがる作業を依頼できる。
• 利用規約の権限が広範だ。 外部で共有された規約のスクリーンショットによると、ユーザーの資料について、アクセス、利用、保存、複製、送信、表示、配布、変更などを認める「永続的かつ取消不能」とされるライセンスが含まれている。また、AIモデルの訓練に使えるとも記載されている。さらに、ユーザーに代わって契約や取引を行える旨も示されている。
• 保存と削除をめぐる報告がある。 あるテスターは、要求してもGmailの記録が削除されなかったと指摘した。その後、外部データを削除する設定が追加されたという。別のテスターは、Googleとの接続を解除した後も受信トレイの要約が作られ、検索のためにメールが平文で保存されているとボットから説明されたと報告した。
• 自律操作が攻撃面を広げる。 Instinctがメールから登録コードを取得し、レストラン予約を完了できたという例がある。また、メールで送った指示をどの程度簡単に実行させられるかを検証したユーザーは、フィッシングへの懸念からアカウントを削除した。別の利用者は、確認なしにメールを送信されたことで、サービスへの信頼を失ったと述べている。

影響と意味

問題は単独の不具合に限らない。通常のアプリは、特定の目的に必要な範囲で権限を求める。一方、個人AIエージェントは文脈を理解して横断的に行動するため、通信、予定、行動履歴を継続的に集約しやすい。便利さが増すほど、悪意あるメールや誤った指示、過剰なデータ保持の影響も大きくなる。

特に重要なのは、すべての操作を同じ「タスク」として扱わないことだ。メールの要約、返信案の作成、実際の送信はリスクが異なる。認証コードの利用、購入、契約の締結も、実行前にユーザーの明示的な確認を必要とするはずだ。最小権限、明確な削除機能、接続解除後のデータ処理の透明性、外部メッセージ内の命令を信頼しない仕組みが不可欠になる。

Instinctはまだ非公開テスト中であり、報告された挙動が公開版でも続くとは限らない。素材によれば、同社は寄せられた懸念に公に回答しておらず、コメント要請にも返答していない。今後の個人AI競争では、何ができるかだけでなく、ユーザーが権限を理解し、制限し、撤回できるかが信頼を左右する。

出典：TechCrunch AI