CCTest · Blog
英国AISIとEvalEval、大規模モデル評価の再現性を高める
モデル評価
cctest.ai
モデル評価

英国AISIとEvalEval、大規模モデル評価の再現性を高める

英国AI安全研究所(AISI)は、EvalEvalのEvaluation Cardsを通じて、選定したモデル評価の結果だけでなく、設定や手法、背景情報も公開し始めた。評価プロトコルによる差を可視化し、結果の検証と比較を容易にする取り組みだ。

続きを読む
CCTest · Blog
BI-AgentとBI-Benchが目指すエンドツーエンドBIの自動化
モデル評価
cctest.ai
モデル評価

BI-AgentとBI-Benchが目指すエンドツーエンドBIの自動化

新たな研究によると、最先端の大規模言語モデルでさえ、現実に近いBIタスクの正解率は50%未満です。研究チームは、データ検索から結合、変換、回答までを評価するBI-Benchと、ツール拡張型のBI-Agentを提案しました。

続きを読む
CCTest · Blog
SiliconBenchが示す、速度だけでは測れないローカルLLM推論
推論・デプロイ
cctest.ai
推論・デプロイ

SiliconBenchが示す、速度だけでは測れないローカルLLM推論

SiliconBenchは、Apple Silicon向けの9つのLLMサービングエンジンを速度、メモリ、出力忠実度の3軸で評価した。並列実行では、スループットだけでなくメモリ余裕、モデル対応範囲、通信方式が実用性を左右する。

続きを読む
CCTest · Blog
APort Vault、AIエージェントの決済認可境界を検証
モデル評価
cctest.ai
モデル評価

APort Vault、AIエージェントの決済認可境界を検証

APort Vaultは、ツールを使うAIエージェントが決済要求と認可済みの決済を区別できるかを評価するベンチマークだ。Open Agent Passportの決定的な事前チェックを加えると、未許可の受取人への送金は比較条件で140件から0件になった。

続きを読む
CCTest · Blog
EvoOntology:データエージェントのための自己進化型オントロジー
AIエージェント
cctest.ai
AIエージェント

EvoOntology:データエージェントのための自己進化型オントロジー

EvoOntologyは、表計算ファイルやデータベースを扱うデータエージェント向けに、実行時に参照・更新できるオントロジー層を提案します。MCPサーバーとして構成され、利用履歴をもとに意味構造を継続的に改善します。

続きを読む
CCTest · Blog
MetaのAIアシスタントMuseに重大なゼロデイ、ローカルプロセスで乗っ取りの恐れ
AIセーフティ
cctest.ai
AIセーフティ

MetaのAIアシスタントMuseに重大なゼロデイ、ローカルプロセスで乗っ取りの恐れ

セキュリティ研究者によると、MetaのmacOS版Museでは、ローカルアプリやターミナルから音声文字起こし先を変更できる可能性があります。攻撃者のサーバーへ転送すれば、エージェントを制御するトークンを盗まれる恐れがあります。

続きを読む
CCTest · Blog
カリフォルニア州、AIデータセンターの電力・水利用規制を強化
政策・規制
cctest.ai
政策・規制

カリフォルニア州、AIデータセンターの電力・水利用規制を強化

カリフォルニア州のギャビン・ニューサム知事は、AIデータセンターに地域の電力網と水道システムの改修費を負担させる7本の法案に署名した。新設計画には、水使用量やエネルギー効率などの開示も求められる。

続きを読む
CCTest · Blog
Gemini、テスト環境の設定ミスで実在3社のシステムにアクセス
AIセーフティ
cctest.ai
AIセーフティ

Gemini、テスト環境の設定ミスで実在3社のシステムにアクセス

Googleは、2026年5月のサイバーセキュリティ試験で、実験用Geminiモデルが設定ミスによりインターネットへ接続し、実在する3社のシステムにアクセスしたと認めた。AIエージェントの安全性は、モデルだけでなくテスト環境にも左右される。

続きを読む
CCTest · Blog
国連、AIの安全対策はリスクの確定を待てないと警告
AIセーフティ
cctest.ai
AIセーフティ

国連、AIの安全対策はリスクの確定を待てないと警告

国連の科学パネルは、先進的なAIエージェントの危険性が完全に解明される前から、各国政府が安全対策を強化すべきだと訴えた。重大で不可逆な被害の可能性には、予防原則を適用すべきだとしている。

続きを読む
CCTest · Blog
Amazon、MetaのMuseを遮断 AIショッピング代理人の限界が浮き彫りに
AIエージェント
cctest.ai
AIエージェント

Amazon、MetaのMuseを遮断 AIショッピング代理人の限界が浮き彫りに

Amazonは、MetaのAIエージェントMuseがユーザーに代わって買い物をすることを阻止した。認証、個人情報、第三者プラットフォームの利用権限をめぐる課題が明らかになっている。

続きを読む
CCTest · Blog
MintAct:デジタル環境を横断する統合型ビジュアルエージェント
AIエージェント
cctest.ai
AIエージェント

MintAct:デジタル環境を横断する統合型ビジュアルエージェント

MintActは、UIの位置特定、複数ステップのナビゲーション、視覚ツールの利用を一つの視覚言語モデル群に統合する試みです。モデル設計だけでなく、モバイル、デスクトップ、ウェブをまたぐ学習基盤と非同期強化学習にも焦点を置いています。

続きを読む
CCTest · Blog
RecreationWorld、ソフトウェア再現でコンピューター操作エージェントを評価
AIエージェント
cctest.ai
AIエージェント

RecreationWorld、ソフトウェア再現でコンピューター操作エージェントを評価

RecreationWorldは、GUI探索、コーディング、実行、視覚的検証を一つの流れにまとめた、ハイブリッド型コンピューター操作エージェント向けの枠組みです。評価結果は、エージェントが静的な画面構造よりも、複雑な操作や計算結果の再現を苦手としていることを示しました。

続きを読む
CCTest · Blog
CodeMidas、ソースコードそのものからコーディングAIの強化学習環境を構築
コーディングAI
cctest.ai
コーディングAI

CodeMidas、ソースコードそのものからコーディングAIの強化学習環境を構築

Xiaomi MiMoチームのCodeMidasは、既存のソースコードだけを入力として、機能の探索、実行可能なテストの作成、強化学習タスクの検証までを自動化する。実験では、修正、プログラム構築、ターミナル操作に関する複数のベンチマークで性能向上が報告された。

続きを読む
CCTest · Blog
明示的な軌道なしで先読みする3D拡散ポリシー
ロボティクス・フィジカルAI
cctest.ai

明示的な軌道なしで先読みする3D拡散ポリシー

短い観測履歴からインタラクションの進行方向を表す潜在表現を学習し、3D拡散ポリシーに先読み能力を加える手法が提案された。完全な軌道計画を導入せず、DP3の枠組みを維持したまま性能向上を報告している。

続きを読む
CCTest · Blog
AIがAI査読者を訓練するとき、科学的判断はどう縮小するのか
モデル評価
cctest.ai
モデル評価

AIがAI査読者を訓練するとき、科学的判断はどう縮小するのか

モデルが生成した査読文を次世代のAI査読者が学習すると、評価の分布と意味的多様性が縮小する可能性がある。研究チームはこの現象を「科学的判断の崩壊」と呼び、TrustReviewerによる緩和策を提案した。

続きを読む
CCTest · Blog
小型言語モデルは「自分の無知」を知っているのか
モデル評価
cctest.ai
モデル評価

小型言語モデルは「自分の無知」を知っているのか

小型言語モデルでは、トークン単位のエントロピーが回答の正しさをほとんど示さないことが研究で分かった。複数回答の意味的なばらつきを測るセマンティック・エントロピーは、より有効な信頼度シグナルになり得る。

続きを読む