模型评测

Hugging Face 博客文章用葡萄牙语 OCR 基准说明：更新、更通用的模型并不必然胜过面向单一语言深度训练的模型。DharmaOCR 在巴西葡萄牙语文档上领先 Mistral OCR4 与 Unlimited-OCR，关键在于领域专门化与 DPO 稳定性训练。

一篇新论文提出 Hindcast，通过“回到过去”的方式重放已结束的 Polymarket 市场，评估大模型在结果尚不可知时能否做出有效预测。它重点解决了检索和训练数据带来的答案泄漏问题。

一篇 arXiv 新论文提出 CAVE-ABSA，用约束感知的生成与验证流程，为方面级情感分析构造更可靠的反事实样本。它关注的不是整句情绪翻转，而是只改变目标方面的情感，同时尽量保留其他方面与句子结构。

这篇 arXiv 论文讨论了 LLM 系统中常见的“连续验证门”问题：同一个答案必须通过多次 verifier 才被返回。作者指出，一旦验证器之间存在部分相关性，可靠性提升会从指数级变成多项式级，甚至出现无法突破的盲区上限。

第二届 International StepUP Competition 将足步生物识别评测从单个脚印推进到左右脚成对的步幅验证，并强化了鞋类、速度等跨域挑战。最佳队伍在未公开测试集上取得 8.00% 等错误率，但个人鞋履场景仍是主要瓶颈。

AIMO Interpretability Challenge 试图把数学推理评测从“最终答案正确率”推进到“内部机制是否可靠”。它将围绕奥赛级数学题、符号化变体和对抗鲁棒性，检验前沿模型是真会推理还是依赖脆弱捷径。

一篇新的 arXiv 论文提出，因果推断不只要问“有没有可识别公式”，还应判断“给定公式是否真的识别目标干预分布”。作者将这一任务形式化，并提出面向实践的 falsifier 与 gateway test。

一篇 arXiv 新研究重新审视了胸部 X 光多图像分类中的多模态输入：哪些信息在诊疗前可用，哪些其实来自报告生成之后。结果显示，临床指征能显著提升模型表现，但 Findings、Impression 等报告文本会带来严重标签泄漏风险。

一篇新论文提出 EgoProceVQA，用视频问答方式评估多模态大模型对第一视角日常流程的关键步骤理解能力。研究还给出数据生成平台 EgoProceGen 和自我技能探索框架 EgoProceAgent，试图补上穿戴式程序型 AI 助手评测与推理能力的短板。

一篇 arXiv 新论文提出三阶段校准框架，分析大模型在思维链生成前、生成中和生成后的置信度变化。研究发现，不同后训练方法的置信度信号各有适用位置，不能简单全程使用。

这篇 arXiv 论文把模块算术中的 grokking 推到一个极端：当网络可表达函数类被压缩成有限维代数对象时，问题不再是“何时泛化”，而是“能否表示”。

一篇 arXiv 新论文审计了用于超声心动图射血分数估计的视频模型解释性：模型的热力图确实落在左心室上，却没有突出临床上关键的收缩末期与舒张末期帧。

Hume AI 在 Hugging Face 发布 Real World VoiceEQ，试图把语音 AI 的评测重点从“听写是否准确、响应是否够快”扩展到真实对话中的情绪、身份一致性、鲁棒性与互动质量。

AgentCompass 试图解决 LLM/VLM 智能体评测流程碎片化、重复工程多、难以复现的问题。它通过 Benchmark、Harness、Environment 三层解耦，为多任务、多环境评测提供更统一的开源框架。