脑机接口解码被“时间捷径”高估了吗?一项研究给出修正方案
一项新研究发现,非侵入式脑到文本系统的部分效果可能来自词语时长这一隐性线索,而非脑信号本身。研究者通过独立处理窗口、结合重复观测与语言模型,获得了更可靠的解码结果。
阅读全文一项新研究发现,非侵入式脑到文本系统的部分效果可能来自词语时长这一隐性线索,而非脑信号本身。研究者通过独立处理窗口、结合重复观测与语言模型,获得了更可靠的解码结果。
阅读全文WorldAuditBench将3D环境审计转化为一项可评测任务,要求多模态智能体一边探索场景,一边发现并验证漂浮物体、可穿越墙体等异常。实验显示,当前模型在行动规划与视觉判断的衔接上仍明显落后于人类。
阅读全文MaLiang-Harness针对代码驱动图像与视频生成中的“程序到视觉”鸿沟,引入持续保存、过程追踪和版本感知的检查修订机制。研究显示,通用能力评分并不能充分预测模型完成视觉生成任务的能力。
阅读全文APM-Bench 将流式视频助手的记忆问题从单段连续视频扩展到跨时段、多会话的生活轨迹,重点考察模型能否长期保存、检索并正确使用过往视觉证据。
阅读全文EngiWorld 将 CAD、CAE、CAM、BIM、EDA 和 3D 可视化纳入同一套工程智能体基准。七个前沿模型的测试显示,模型能够操作软件并不等于能够交付合格的工程成果。
阅读全文VoxMem 对大型音频语言模型的多会话记忆能力进行系统评测。结果显示,模型对“说了什么”的记忆明显强于对说话人、语气以及背景声音的记忆。
阅读全文一项覆盖九大视觉领域的评测显示,通用大模型正在接管越来越多传统计算机视觉任务。但在精确几何、真实重建、时序一致性和专业细粒度识别上,专用模型仍有明显优势。
阅读全文将机器学习决策迁移到隐私保护设备,并不只是改变推理位置,也会改变竞价系统获取预算信息的方式。最新研究显示,设备间的预算同步延迟可能导致严重超支,而不恰当的支付规则还会诱发策略性操纵。
阅读全文北京大学团队提出 Duplex-MPE,用连续多人对话音频测试语音助手何时该回答、保持安静或停止说话。评测显示,多说并不等于更准确,选择性参与正成为全双工语音模型的新考题。
阅读全文TraceDance尝试把智能体在真实部署中暴露的问题,自动转化为可针对性测试的行为基准。它不要求重放完整环境,而是在记录的决策点上评估模型下一步行动是否符合特定行为规范。
阅读全文IndicBankBench为印度零售银行场景构建了799个测试案例,把安全、工具调用、响应质量和建议能力拆开评估。研究显示,模型偶尔答对并不代表能够稳定、可靠地处理银行业务。
阅读全文TRACE 提出一套面向流式视频理解的条件化评测框架,把证据何时生效、模型如何维护历史以及何时触发回答纳入统一审计。研究显示,接近的问答准确率背后,可能隐藏着截然不同的完成度、响应有效性和计算负载。
阅读全文AgentWorld 通过 MMORPG 沙盒中的长期、多角色任务,评估大语言模型智能体是否真的能够协作,而不只是分别完成各自目标。实验显示,当前模型在沟通、分工和共享计划方面仍存在明显短板。
阅读全文Kaggle Game Arena尝试用国际象棋、扑克和狼人杀等竞争性游戏,评估大语言模型在规划、适应与不确定性处理方面的能力。它希望以持续对战替代一次性的静态测试,构建更接近真实决策场景的评测体系。
阅读全文ScopeBench 将“会不会攻击”与“是否遵守授权范围”拆开评估,测试安全代理在目标与边界冲突时的行为。结果显示,能力更强并不必然意味着更可靠的范围遵循。
阅读全文一项针对生产级Text-to-SQL流程的研究发现,部署中的LLM-as-Judge与人工标注的一致性可能远低于预期。研究还显示,更换模型和设计裁决路由,比简单堆叠多个裁判更有效。
阅读全文BioEVAL 汇集 22 个研究团队,尝试用更接近博士阶段研究任务的方式评估大语言模型和多模态模型。结果显示,模型在选择题、文献综合和实验图像解读之间存在明显能力差异。
阅读全文参数量和FLOPs能衡量模型大小与计算成本,却难以区分同等预算下的不同结构。Neural Spectral Capacity(NSC)尝试仅根据网络规格评估架构,并用动态规划直接寻找预算内的最优设计。
阅读全文ExplorationBench试图解决一个长期难题:如何判断AI是真的通过实验发现新规律,而不是从训练数据中回忆答案。研究者构建了两个规则可执行、又有意违背常识的虚拟环境,用可验证任务评估模型的探索过程与结果。
阅读全文WhatWorkedBench 为 AI 研究代理设计了一套实验理解基准:代理需要在有限预算下选择测量、分析代码,并预测不同组件组合的结果。研究显示,高斯过程、成对效应建模和代码等价性信息都能显著提升预测效果。
阅读全文