OpenAI、AIエージェントの不整合事例6件を公開 隠密アップロードや自己生成プロンプト
OpenAIは、モデルの意図しない行動を報告する新たな枠組みを示し、過去6カ月に社内で確認した6件の事例を公開した。通常の作業を完了しようとする過程で、エージェントが隔離を越えたり、情報を作り出したりする可能性が浮かび上がる。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読OpenAIは、モデルの意図しない行動を報告する新たな枠組みを示し、過去6カ月に社内で確認した6件の事例を公開した。通常の作業を完了しようとする過程で、エージェントが隔離を越えたり、情報を作り出したりする可能性が浮かび上がる。
続きを読むファーウェイは次世代AIチップ「Ascend 960DT」を2027年第1四半期に準備する見通しを示した。従来の予定より早い投入で、独自の接続アーキテクチャを使った大規模AI計算基盤の構築も進める。
続きを読む37カ国、4万2151人を対象にしたピュー・リサーチ・センターの調査では、多くの国で、AIは今後20年間に新たな仕事を生むより多くの仕事を失わせると考えられている。一方で、人々の反応は悲観一色ではなく、期待と不安が併存している。
続きを読むEmerald AIはGoogle、Nvidia、Anthropicや複数の電力会社とAI Energy Management Allianceを設立した。需要応答によって、新たなデータセンター向けに最大100GWの系統容量を生み出すことを狙う。
続きを読むMicrosoft Researchは、完全に動作する参考アプリを操作し、その挙動を不完全なコードベースで再現できるかを測るベンチマーク「ProgramDistill」を発表しました。再実行可能で検証できる挙動を用いて、従来とは異なるソフトウェア開発能力を評価します。
続きを読むAgoraは、自律型エージェントの研究過程をGit上の追記型DAGとして保存し、実験や仮説、検証結果を追跡・再現できるようにする。約12日間の運用では、中央プランナーなしで13の言語モデルワーカーが重み転送問題に取り組んだ。
続きを読むScienceIDE は、分散した科学ソフトウェアを、タスク生成・実行・科学的検証に対応するプログラム可能な環境へ変換する基盤です。検証済みの相互作用軌跡を使い、PhAI-IDE 系列モデルも訓練されています。
続きを読む小米はMiMo-V2.6のFlashとProについて、強化学習の進行状況を公開した。報酬曲線や費用、GPU障害まで確認でき、エージェント強化学習を拡張する三つの方向も示されている。
続きを読むStepAudio 3 Realtimeは、「聴く・会話する・考える・行動する」という連続ループを中心に設計された音声言語基盤モデルです。深い音響理解、全二重対話、発話中の並列推論、非同期ツール実行を組み合わせています。
続きを読むImpossibleRubricsは、言語モデルが生成した評価基準が、正直な不確実性ではなく根拠のない断定を報いる可能性を検証する。不可解な課題を使った実験で、多くのrubricが最適化された回答に悪用され得ることを示した。
続きを読むDecoy Direction Optimization(DDO)は、モデル内部に非線形のおとり信号を注入し、攻撃者が安全機構の拒否方向を誤って推定するよう誘導する。基盤モデルの安全性ファインチューニングをやり直さず、RFAや重み編集攻撃への耐性を高める手法だ。
続きを読むAppleが、将来のM8 Ultraチップを2基または4基搭載する企業向けAIサーバーを開発していると報じられています。実現すれば、Xserve終了後の同社が企業向けサーバー市場に戻る動きになります。
続きを読むAnthropicとOpenAIが、第三者の安全評価者を最先端AI企業の内部に受け入れる構想を示した。訓練過程まで調べられる可能性がある一方、アクセス権と公表の自由がなければ、独立監視は形骸化しかねない。
続きを読むBasel Action Networkの新たな報告書は、AIによる電子廃棄物がこれまで過小評価されてきたと指摘しています。データセンターの拡大が続けば、2050年までにAI関連の廃棄機器は数億トン規模に達する可能性があります。
続きを読むPyTorchチームはFlashAttention-4の前向き・後ろ向き計算にMXFP8を導入し、量子化融合、TMEMの再利用、可変長入力向けのゼロGather設計を組み合わせました。
続きを読むGoogle Homeの新しいMCP連携により、ClaudeやOpen Clawなど対応するAIエージェントが、接続機器のデータやイベント履歴を分析し、操作できるようになります。便利さが増す一方、プライバシーや誤操作への懸念も強まります。
続きを読むAnthropicはClaudeのチャットから文書やプレゼンテーションを作成できるDocsとSlidesのベータ版を開始した。通常のチャットとCoworkを統合する「one Claude」も導入し、生産性機能への入り口を一本化する。
続きを読む複数の出会い系アプリが、AI生成の人格や偽の反応、報酬を受け取る作業員を組み合わせ、ユーザーを有料チャットへ誘導していたと報じられています。支払った相手の大半が人間ではなく、AIによって運営されていた可能性があります。
続きを読むジョンズ・ホプキンス大学の研究チームは、100個の連続した質問応答タスクで複数の継続学習機構を組み合わせ、最終平均保持率を1.2%から34.9%へ引き上げました。
続きを読むEmergence Worldは、記憶やツール、協調、共有状態を持つマルチエージェント環境を継続稼働させ、安全性を検証した。脅威を検知できても、封じ込められるとは限らないことが示された。
続きを読むHuawei GTSは、AIエージェントが複雑なネットワークの空間関係を維持できるよう、対話可能なトポロジー基盤NetCanvasを提案した。CTBenchでは、タスク達成率と探索効率の改善が報告されている。
続きを読む