モデル評価

Hugging Face Blog の記事は、より新しい汎用OCRモデルが常に優位とは限らないことを示している。ブラジル・ポルトガル語に特化した DharmaOCR は、専用ベンチマークで Mistral OCR4 と Unlimited-OCR を上回った。

Hindcast は、解決済みの Polymarket 市場を過去の時点から再生し、LLM が結果を知らない状態でどれだけ予測できるかを評価する枠組みです。検索や学習データを通じた答えの漏えいを抑える点が特徴です。

arXiv の新論文は、アスペクトベース感情分析向けに反事実サンプルを生成・検証する CAVE-ABSA を提案している。文全体の極性ではなく、対象アスペクトの感情だけを反転させる点が特徴だ。

arXivの新論文は、LLMシステムで使われる直列型の検証ゲートについて、検証器同士に相関がある場合の限界を理論化している。独立性を仮定した場合のような指数的改善ではなく、多項式的改善や盲点による上限が現れる可能性がある。

第2回 International StepUP Competition は、足圧に基づく本人確認を、未知ユーザー、履物や歩行速度の変化、左右足の統合という条件で評価した。最良チームは等誤り率 8.00% を達成したが、未観測の個人用履物は依然として難題だ。

AIMO Interpretability Challenge は、数学問題の最終正答率だけでなく、モデル内部の推論メカニズムが頑健かどうかを評価しようとする競技です。前線的な数学言語モデルが安定した推論をしているのか、脆弱な近道に頼っているのかを見極めます。

新しい arXiv 論文は、因果推論において「識別できるか」だけでなく、「与えられた式が本当に識別しているか」を検証する必要があると主張している。

arXiv の新しい研究は、胸部X線分類で使われる入力が診療のどの時点で得られるものかを検証した。Clinical Indication は予測性能を高める一方、Findings や Impression など事後的なレポート文はラベル漏洩を招く可能性が高い。

EgoProceVQA は、一人称視点動画における日常作業の手順理解を、動画質問応答として評価する新しいタスクだ。論文ではデータ生成基盤 EgoProceGen と、自己スキル探索型の EgoProceAgent も提案されている。

arXiv に投稿された研究は、思考連鎖の生成前・生成中・生成後という三段階で、大規模言語モデルの信頼度を分析している。結論は、信頼度は使う段階と位置を選ばなければならないというものだ。

この arXiv 論文は、ネットワークの表現可能な関数クラスが有限次元の代数的対象に縮む極限で、grokking がどう見えるかを調べている。

arXiv の新論文は、心エコー動画から左室駆出率を推定するモデルの帰属説明を検証した。モデルは左心室という空間的領域には注目していたが、臨床的に重要な収縮末期・拡張末期フレームは十分に捉えていなかった。

Hume AI は Hugging Face Blog で Real World VoiceEQ を紹介した。転写精度や遅延だけでなく、感情、話者の一貫性、会話の自然さを評価する音声AIベンチマークだ。

AgentCompass は、LLM/VLM エージェント評価における断片化したパイプラインと再現性の低さを解消するためのオープンソース基盤です。Benchmark、Harness、Environment を分離し、柔軟な評価構成を可能にします。