MIT科技评论：传统AI基准失效，评估体系亟待转向人本框架

2026年3月31日，《麻省理工科技评论》刊发专栏作者Angela Aristidou的专项研究文章指出，已沿用数十年的传统AI基准测试体系已全面失效，单次标准化测试无法匹配当下通用大模型的多场景落地需求，行业需转向更以人为中心、匹配具体应用场景的新型评估方法，为AI产品的真实效用测算提供可落地的参考框架。

如果你关注近一年的大模型发布节奏就会发现，几乎每款新品对外官宣时，都会标注自己在MMLU、GSM8K等通用基准测试中刷新了行业纪录，但不少用户拿到手用的时候却频频踩坑：写代码漏关键逻辑、做方案脱离业务实际，甚至连基础的事实性错误都屡见不鲜。这种“刷分无敌、实际无用”的反差，正是传统AI基准测试失效的直观体现。

从上世纪70年代AI产业萌芽阶段开始，标准化基准测试就是衡量AI能力的核心标尺。针对图像分类任务的ImageNet、针对自然语言理解的GLUE系列测试，都曾为窄人工智能的技术迭代提供了清晰的方向。

但随着2023年以来通用大模型的快速落地，AI的应用场景早已从实验室的特定任务延伸到了医疗、教育、工业生产、公共服务等几十个垂直领域，单一的标准化测试根本无法覆盖AI在不同场景下的多元能力要求。有行业统计显示，当前大模型在通用基准测试中的得分，和其实际解决用户问题的满意度相关性已经不足30%，传统评估体系的参考价值已经大打折扣。

Angela Aristidou在文章中提出，下一代AI评估体系要完全跳出“刷题刷分”的传统逻辑，转向两个核心方向：一是评估场景与实际落地场景完全对齐，比如面向基层医疗的AI辅诊工具，就要把测试放到真实的社区医院诊室中，由一线医生结合真实病例评估其参考价值，而非仅测试其医学知识库的背诵准确率。