“百模”实力哪家强？研究机构测评的国内外140+大模型综合能力对比来了

《科创板日报》5月18日讯（记者 李明明） “百模大战”到现在，已有多款大模型上线并面向公众提供服务。而这些产品在性能、易用性等方面都有所不同，那么究竟哪家更好用？

近日，北京智源研究院举办大模型评测发布会，发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。

同时，北京智源研究院院长王仲远告诉《科创板日报》记者，本次评测，研究院首次联合了北京海淀教委进行大模型K12学科测试，对于理解当下大模型发展有非常强的指导意义，也是与以往的各种大模型评测最主要的区别。

《科创板日报》记者注意到，评测对比显示，模型在综合学科能力上与北京海淀学生平均水平仍有差距。

文生视频评测前三名：OpenAI Sora、Runway、爱诗科技

北京智源人工智能研究院是人工智能领域的新型研发机构，于2018年11月，在科技部和北京市支持下，联合北京人工智能领域优势单位共建。去年6月，智源发布悟道3.0大模型系列，宣布进入全面开源的新阶段

《科创板日报》记者了解到，本次智源评测，分别从主观、客观两个维度考察了语言模型的简单理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观七大能力；针对多模态模型则主要评估了多模态理解和生成能力。

据介绍，在中文语境下，国内头部语言模型的综合表现已接近国际一流水平，但存在能力发展不均衡的情况。在多模态理解图文问答任务上，开闭源模型平分秋色，国产模型表现突出。国产多模态模型在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上，对比各家公布的演示视频长度和质量，Sora有明显优势，其他开放评测的文生视频模型中，爱诗科技旗下国产模型PixVerse表现优异。

语言模型主观评测结果显示，在中文语境下，字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二，国产大模型更懂中国用户。在语言模型客观评测中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。

多模态理解模型客观评测结果显示，图文问答方面，阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4，LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。

多模态生成模型文生图评测结果显示，OpenAI DALL-E3位列第一，智谱华章CogView3、Meta-Imagine分居第二、第三，百度文心一格、字节跳动doubao-Image次之。多模态生成模型文生视频评测结果显示，OpenAI Sora、Runway、PixVerse、Pika、腾讯VideoCrafter-V2位列前五。

由此可见，在文生视频领域，OpenAI Sora仍然占据第一，那么，国内外文生视频之间的差距有多大？国内大模型何时能追平？

王仲远回应《科创板日报》记者称，目前国内对于多模态理解、多模态生成模型的评测尚处早期。评测方法、评测标准体系、评测技术会随着大模型发展速度进行不断迭代，此次测评结果仅代表当下。

“多模态模型的发展还处在非常初期的阶段，还不能代表中美多模态模型的真实差距。这个差距有可能短期之内会被拉大。此外，现在多模态模型评测的任务还比较单一，比如，只考察了图文理解和问答，文生图、文生视频也只是从生成的质量的有限维度进行评价“。王仲远称

关于多模态模型的未来发展，王仲远进一步表示，真正的多模态模型离不开语言模型，并且未来和语言模型的界限会越来越模糊，最终有可能融合成一个模型，因为人类就是一套多模态的理解和生成机制的集合体。这意味着，如果将来的多模态模型没有很高的知识水平、理解和创作能力，在未来就有可能被淘汰。当下文生图、文生视频还处在美学、图文一致的层面，未来可能要重点考察的是其世界模型的能力，即其能否捕捉住世界的运行规律，能否真的去理解世界背后的科学原理、数理逻辑等，所以对大模型的评测也需要快速迭代。

首次进行大模型K12学科测试

当前，大模型的发展具备了通用性，在逻辑推理能力上有显著提升，日趋接近人脑的特征。

因此，在北京海淀区教委支持下，智源研究院联合与海淀区教师进修学校对齐学生测验方式，考察大模型与人类学生的学科水平差异，其中，答案不唯一的主观题，由海淀教师亲自评卷。

智源评测发现，模型在综合学科能力上与海淀学生平均水平仍有差距，普遍存在文强理弱的情况，并且对图表的理解能力不足，大模型未来有很大的提升空间。

北京市海淀区教师进修学校校长姚守梅解读大模型K12学科测试结果时指出，在语文、历史等人文学科的考试中，模型欠缺对文字背后的文化内涵以及家国情怀的理解。面对历史地理综合题时，模型并不能像人类考生一样有效识别学科属性。相较于简单的英语题，模型反而更擅长复杂的英语题。解理科题目时，模型会出现以超出年级知识范围外的方法解题的情况。当出现无法理解的考题时，模型依然存在明显的“幻觉”。

投资界普遍认为，目前有三个最核心的AI+行业，一是医疗，二是金融，三是游戏。因为这三个行业公域数据量不大，都具备私域化的数据，能够基于私有化来部署。

那么，本次智源联合教育机构进行大模型K12学科测试，是否认为教育大模型是一个很好的赛道？

王仲远对《科创板日报》记者表示，大模型K12学科测试是为了评测大模型跨学科的能力，并不是为教育行业服务。AI+金融行业考察大模型的语文能力，医疗则需要大模型对数学、化学等学科的理解能力，而K12则是上述所有学科的综合。当K12来考察大模型时，反而可以检测出其在哪些行业里具有潜力，比如某些模型在数理化上很强，那就可以判断出其能够为材料学、医疗等行业提供很好的服务。

文章转载自：互联网，非本站原创

免责声明：本文由用户上传，如有侵权请联系删除！