MMDeepResearch 模型排名 — 可排序表格(含说明)

点击列标题进行排序(首次点击降序排列;再次点击切换顺序)。悬停标题可查看快速提示。

English
排名模型模态检索方式综合分可读性洞察力结构完整性视觉忠实度一致性覆盖率文本忠实度视觉语义数据准确性视觉推理
1Gemini Deep Research (Gemini 3 Pro)深度研究智能体49.4184.5389.5670.8635.7156.1752.8431.2941.2987.5428.45
2Gemini 3 Pro多模态网络搜索44.6858.0575.3949.8546.4337.9841.856.4640.6980.4423.15
3Gemini 3 Flash多模态网络搜索44.4381.2290.2252.0045.7131.9535.0715.4236.6187.3118.99
4DeepSeek-V3.2单模态离线43.7175.3787.8258.1619.2833.3445.4818.7742.1983.8512.88
5GPT-5 mini多模态离线38.4970.0681.7347.1839.2920.0226.6432.6133.9094.2315.60
6Gemini 2.5 Flash多模态网络搜索38.4056.2268.5855.4432.8625.3527.7738.3040.6775.9625.49
7Gemini 2.5 Pro多模态网络搜索38.0480.0485.9451.4438.5730.1828.7714.9819.4792.8612.50
8Perplexity Sonar Deep Research深度研究智能体37.5562.2964.3547.8027.8633.1241.5116.6850.7987.7521.22
9GPT-4.1多模态离线36.9579.3489.0453.0039.2915.9010.065.6129.6680.5619.92
10Kimi K2 (Thinking)单模态离线36.9171.3477.2747.3417.1423.5424.6227.2042.0090.009.50
11Grok-4 (Fast Reasoning)多模态离线36.1060.6280.4952.9936.4317.3014.626.1228.4687.4519.34
12Qwen3 235B (A22B)单模态离线36.0477.5685.7454.0517.1435.6045.7322.9820.4353.094.95
13Qwen 3 VL 235B (A22B)多模态离线35.0877.0186.4852.2143.5718.3415.2510.6830.5893.5216.98
14GPT-4.1 mini多模态离线34.2371.2583.6249.6012.8624.2025.4412.3332.6289.9113.21
15Claude 4.5 Opus多模态网络搜索33.8477.8183.8650.7035.0030.6441.1421.9721.3077.2114.75
16Claude 4.5 Haiku多模态网络搜索33.6774.6081.8053.2228.5717.9014.1018.5625.9876.9011.70
17Claude 4.5 Sonnet多模态网络搜索33.6177.6382.3151.6532.1414.3615.0916.1120.7370.1314.41
18GPT-5.2多模态离线32.7669.7583.9254.3146.4314.001.435.3012.8350.009.16
19GPT-5.1多模态离线32.6979.3489.0453.0035.7115.902.3013.6722.0384.2914.32
20OpenAI o3-mini单模态离线31.9653.7552.6537.1113.5728.4533.7448.3515.4790.0012.60
21Grok-3多模态离线29.8975.1786.1352.2420.0012.575.792.8022.1868.3913.89
22ChatGPT Deep Research (o3-mini)深度研究智能体29.5052.4063.6137.3029.2910.194.1611.0727.3273.4421.75
23Tongyi Deep Research (30B-A3B)深度研究智能体29.0254.2762.6740.0712.8625.9930.8724.2520.3993.3320.39
24GPT-4o多模态离线28.6252.5268.4140.9010.0410.944.6111.8924.1071.4318.72
25GPT-4.1 nano多模态离线28.0749.7764.8237.2810.7918.9919.8624.4227.0276.3013.04
这些列代表什么? (点击折叠)

所有分数均为 0-100 分制(越高越好),并在各任务中取平均。表格可排序:点击任意表头进行排序(首次点击降序)。

综合得分

综合分:单一汇总分数(0-100;越高越好)。它结合三组指标:FLAE(报告质量)、TRACE(引用依据)和 MOSAIC(视觉依据),采用 0.2·FLAE + 0.5·TRACE + 0.3·MOSAIC 加权。

FLAE — 报告质量

FLAE 使用三项维度评估写作质量:

  • READ(可读性):报告是否清晰、连贯、易读。
  • INSH(洞察力):报告是否提供有意义的分析与可用结论(而非简单复述事实)。
  • STRU(结构完整性):报告结构是否完整(章节组织、覆盖请求项、内容完整度)。

重要性:这反映报告的可读性与完整性,但文字写得好并不代表引用或视觉依据正确。

TRACE — 引用依据

TRACE 检查引用来源是否真实支撑结论,以及报告是否忠实于任务(包括视觉要求):

  • VEF(视觉证据忠实度):依赖图像的表述是否与提供的视觉内容一致。在 TRACE 中,这被视为严格的“提示一致性”检查(按通过/不通过阈值)。
  • CON(一致性):论断是否与引用来源一致(无矛盾或错配)。
  • COV(覆盖率):报告中的关键内容是否有引用支持(避免关键点缺乏证据)。
  • FID(文本忠实度):论断与引用内容的匹配程度——会惩罚过度具体化、因果方向错误等问题。

重要性:TRACE 高通常意味着结论可验证、引用更规范(减少“看似有依据但实际上没有”)。

MOSAIC — 视觉依据

MOSAIC 评估引用图像(图表、表格、图示、照片)时的文字陈述是否与视觉内容匹配:

  • SEM(视觉语义一致性):引用图像的文字是否在语义层面与图像一致。
  • ACC(视觉数据解读准确性):对图像中的数字、标签、表格单元等细节读取是否正确。
  • VQA(复杂视觉问答/推理):对图像进行更复杂的多步推理(如比较、趋势、推导量)。

重要性:如果误读图表或无法进行多步视觉推理,报告可能看似合理却是错误的。

行标签

每行还包含:

  • 模态
    • 单模态 = 仅文本。
    • 多模态 = 文本 + 图像。
    • 深度研究 = 面向多步研究/写作的智能体系统。
  • 检索方式
    • 离线 = 无网络访问。
    • 网络搜索 = 可浏览/搜索网页。
    • 智能体 = 使用工具的研究智能体流程。

快速解读提示

  • FLAE 高 + TRACE 低:文笔好,但引用可能并未真正支撑结论。
  • 覆盖率(Cov.)高 + 忠实度(Fid.)低:引用很多,但可能错配或过度延伸。
  • 语义一致性(Sem.)高 + 准确性(Acc.)低:抓住图像大意,但具体数字/细节有误。
  • VEF 低:可能误解视觉证据或违反关键视觉要求。

参考文献:MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents (arXiv:2601.12346).