GAIA评测基准：AI迈向自主执行的里程碑

GAIA评测基准：AI迈向自主执行的里程碑

一、GAIA：重新定义AI助手能力评估

由Meta AI、Hugging Face等团队于2023年联合推出的GAIA（General AI Assistants）评测基准，标志着人工智能评估体系从单一知识问答向复杂任务执行的重大跨越。该基准通过466个多步骤现实问题，构建了覆盖推理能力、多模态处理、工具调用的立体评估框架：

• 问题设计革命：将任务划分为Lv.1至Lv.3三级难度，每个问题看似概念简单，实则需要AI系统整合网络检索（如抓取实时数据）、文件解析（如处理Excel表格）、代码生成（如数据可视化）等多模态能力。例如"根据指定企业财报生成投资建议报告"这类任务，需调用搜索引擎获取数据、解析PDF文件、编写Python代码生成图表，最终整合结论。

• 评估范式突破：与传统基准（如MMLU、MATH）聚焦学科知识不同，GAIA引入"任务完成度"核心指标，模拟真实场景中的端到端执行能力。例如在"筛选符合要求的简历"任务中，AI需自主完成文件解压、PDF内容提取、条件匹配、结果汇总全流程。

• 人类对比实验：2023年数据显示人类平均成功率高达92%，而同期最强AI系统（GPT-4+插件）仅在Lv.1获得15%成功率，揭示AI在基础任务执行层面与人类的巨大鸿沟。

</