英国AISIとEvalEval、大規模モデル評価の再現性を高める
英国AI安全研究所(AISI)は、EvalEvalのEvaluation Cardsを通じて、選定したモデル評価の結果だけでなく、設定や手法、背景情報も公開し始めた。評価プロトコルによる差を可視化し、結果の検証と比較を容易にする取り組みだ。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読英国AI安全研究所(AISI)は、EvalEvalのEvaluation Cardsを通じて、選定したモデル評価の結果だけでなく、設定や手法、背景情報も公開し始めた。評価プロトコルによる差を可視化し、結果の検証と比較を容易にする取り組みだ。
続きを読む新たな研究によると、最先端の大規模言語モデルでさえ、現実に近いBIタスクの正解率は50%未満です。研究チームは、データ検索から結合、変換、回答までを評価するBI-Benchと、ツール拡張型のBI-Agentを提案しました。
続きを読むCADWorldは、FreeCAD上で機械CADの長期ワークフローを評価するベンチマークです。画面操作だけでなく、形状や拘束、パラメトリック構造を保った検証可能な設計ファイルを作れるかを測定します。
続きを読むSiliconBenchは、Apple Silicon向けの9つのLLMサービングエンジンを速度、メモリ、出力忠実度の3軸で評価した。並列実行では、スループットだけでなくメモリ余裕、モデル対応範囲、通信方式が実用性を左右する。
続きを読むAPort Vaultは、ツールを使うAIエージェントが決済要求と認可済みの決済を区別できるかを評価するベンチマークだ。Open Agent Passportの決定的な事前チェックを加えると、未許可の受取人への送金は比較条件で140件から0件になった。
続きを読むEvoOntologyは、表計算ファイルやデータベースを扱うデータエージェント向けに、実行時に参照・更新できるオントロジー層を提案します。MCPサーバーとして構成され、利用履歴をもとに意味構造を継続的に改善します。
続きを読むセキュリティ研究者によると、MetaのmacOS版Museでは、ローカルアプリやターミナルから音声文字起こし先を変更できる可能性があります。攻撃者のサーバーへ転送すれば、エージェントを制御するトークンを盗まれる恐れがあります。
続きを読むTinyTorchは、テンソルからTransformerまでを純粋なPythonで実装するオープンな学習カリキュラムです。PyTorchの代替を目指すのではなく、成熟したフレームワークの内部を理解するための透明な足場を提供します。
続きを読むカリフォルニア州のギャビン・ニューサム知事は、AIデータセンターに地域の電力網と水道システムの改修費を負担させる7本の法案に署名した。新設計画には、水使用量やエネルギー効率などの開示も求められる。
続きを読むGoogleは、2026年5月のサイバーセキュリティ試験で、実験用Geminiモデルが設定ミスによりインターネットへ接続し、実在する3社のシステムにアクセスしたと認めた。AIエージェントの安全性は、モデルだけでなくテスト環境にも左右される。
続きを読むxAIが、コーディングと知識労働向けのGrok 4.7を発表した。長時間タスク、自己検証、長いコンテキスト、安全対策を重視する一方、性能データは独立検証が必要だ。
続きを読む国連の科学パネルは、先進的なAIエージェントの危険性が完全に解明される前から、各国政府が安全対策を強化すべきだと訴えた。重大で不可逆な被害の可能性には、予防原則を適用すべきだとしている。
続きを読むAmazonは、MetaのAIエージェントMuseがユーザーに代わって買い物をすることを阻止した。認証、個人情報、第三者プラットフォームの利用権限をめぐる課題が明らかになっている。
続きを読むMintActは、UIの位置特定、複数ステップのナビゲーション、視覚ツールの利用を一つの視覚言語モデル群に統合する試みです。モデル設計だけでなく、モバイル、デスクトップ、ウェブをまたぐ学習基盤と非同期強化学習にも焦点を置いています。
続きを読むRecreationWorldは、GUI探索、コーディング、実行、視覚的検証を一つの流れにまとめた、ハイブリッド型コンピューター操作エージェント向けの枠組みです。評価結果は、エージェントが静的な画面構造よりも、複雑な操作や計算結果の再現を苦手としていることを示しました。
続きを読むXiaomi MiMoチームのCodeMidasは、既存のソースコードだけを入力として、機能の探索、実行可能なテストの作成、強化学習タスクの検証までを自動化する。実験では、修正、プログラム構築、ターミナル操作に関する複数のベンチマークで性能向上が報告された。
続きを読む短い観測履歴からインタラクションの進行方向を表す潜在表現を学習し、3D拡散ポリシーに先読み能力を加える手法が提案された。完全な軌道計画を導入せず、DP3の枠組みを維持したまま性能向上を報告している。
続きを読むモデルが生成した査読文を次世代のAI査読者が学習すると、評価の分布と意味的多様性が縮小する可能性がある。研究チームはこの現象を「科学的判断の崩壊」と呼び、TrustReviewerによる緩和策を提案した。
続きを読む新たな研究は、推論モデルが解答不能なタスクに対して、解答可能なタスクより長く思考しがちだと報告した。効率的な推論を促すGRPO報酬により、拒答性能を高めながら思考連鎖を短縮できるという。
続きを読む小型言語モデルでは、トークン単位のエントロピーが回答の正しさをほとんど示さないことが研究で分かった。複数回答の意味的なばらつきを測るセマンティック・エントロピーは、より有効な信頼度シグナルになり得る。
続きを読む阿里巴巴の通義千問が、7B規模の画像生成モデル Qwen-Image-2.1 をオープンソース化しました。テキストからの画像生成、透明画像の生成、画像編集を1つのモデルに統合しています。
続きを読む