由 editor 
引言
人工智能大模型的发展正处于一个风起云涌的阶段。每一次新模型的发布，每一次性能榜单的刷新，都能激起千层浪。从OpenAI的GPT系列到Anthropic的Claude，再到Meta的Llama家族，以及中国本土涌现出的百川、通义、文心一言、智谱清言，直至近期备受瞩目的DeepSeek V2，这场全球性的技术竞赛正以前所未有的速度和烈度进行着。
榜单之争：谁是开源世界的王者？
在开源大模型的生态中，各种排行榜扮演着重要的角色。例如，Hugging Face的Open LLM Leaderboard、OpenCompass（浦源）等，通过在MMLU（大规模多任务语言理解）、C-Eval（中文综合能力评估）、GSM8K（小学数学问题）、HumanEval（代码生成）等一系列基准测试集上的得分，为模型的综合能力提供了一个直观的排序。这些榜单的出现，一方面降低了普通用户和开发者了解模型性能的门槛，为选择合适的模型提供了参考；另一方面，也成为了各大机构展示其研发实力、吸引社区关注和贡献的舞台。
近年来，Meta的Llama系列模型一直是开源社区的中坚力量，特别是Llama 2和Llama 3的发布，极大地推动了开源大模型的发展和应用。与此同时，来自中国的DeepSeek（深度求索）团队推出的DeepSeek V2模型，凭借其创新的MLP-MoE（混合专家）架构、高效的推理能力以及在多个开源榜单上的优异表现，迅速成为了社区的新焦点。在一些关键的基准测试中，DeepSeek V2甚至展现出了与Llama 3 70B这样量级更大的模型相媲美，甚至在某些指标上有所超越的能力，这自然引发了社区将其与Llama模型进行直接对比的热潮。
扎克伯格的“不服”：榜单的缺陷与局限
马克·扎克伯格（小扎）针对Meta的Llama模型与DeepSeek V2在开源榜单上的表现对比发表了自己的看法，他的回应如同在平静的水面投下一颗石子，再次引发了关于大模型评估标准和未来发展方向的讨论。扎克伯格承认了DeepSeek V2在某些开源榜单上的突出表现，但他同时也明确指出，当前的开源榜单存在“缺陷”（flawed）。他的观点是，这些榜单并不能全面、准确地反映模型的真实能力，特别是那些更深层次的、更接近人类智能的“深度思考”能力。
测试集的局限性
大多数基准测试集是静态的，模型可能通过在类似数据上进行训练而“记住”答案，而非真正理解和推理。这就像学生刷题一样，高分不一定代表真才实学。
能力覆盖不全
当前的基准测试往往侧重于知识问答、逻辑推理、编程等特定领域，但对于模型的创造力、多模态理解、长文本处理、复杂指令遵循、伦理判断等能力，评估得还不够充分或准确。
真实世界差异
榜单上的高分不等于在实际应用中表现优异。模型在开放域对话、个性化服务、专业领域应用等场景下的表现，往往难以通过标准化的测试集来衡量。
“刷榜”的可能性
随着模型的不断迭代，开发者可能会根据榜单的具体测试内容来调整训练策略或模型架构，这使得模型在榜单上表现出色，但通用性或泛化能力可能并不强。
对“深度思考”的忽视
扎克伯格特别强调的“深度思考”能力，可能指的是模型进行多步骤推理、规划、抽象、联想，甚至具备一定“心智理论”（theory of mind）的能力。这些高级认知能力是构建真正通用人工智能的关键，而当前的基准测试往往难以有效捕捉这些维度的差异。
DeepSeek的崛起：不可忽视的力量
尽管扎克伯格对榜单提出了质疑，但这并不能否定DeepSeek V2的成功和其对开源社区的贡献。DeepSeek V2的崛起，是开源大模型领域一股不可忽视的力量。其采用的MLP-MoE架构，在保持相对较小激活参数（约21B或16B）的情况下，实现了与更大规模密集模型相媲美甚至超越的性能，极大地提高了模型的效率和可扩展性。这不仅是技术上的创新，也为开源社区提供了一个高性能、高效率的新选择，降低了部署和应用的门槛。
DeepSeek V2在开源榜单上的出色表现，是对其技术实力和研发能力的有力证明。它打破了过去由少数几家大型机构主导开源头部模型的局面，展现了中国在基础AI模型研发上的进步。DeepSeek的贡献在于，它不仅提供了一个强大的模型本身，还通过其技术细节和架构创新，为整个开源社区提供了新的思路和灵感，推动了MoE等架构的进一步探索和优化。
未来的焦点：Meta的17B深度思考模型
扎克伯格的回应中，最引人遐想的部分莫过于他提到的“等17B深度思考模型出来再比”。这句话传达了几个关键信息：
如果Meta真的能够推出一个在17B参数规模上展现出强大“深度思考”能力的模型，那将是对整个行业的重要贡献。这意味着AI模型可以在相对较小的规模上实现更高级的智能，这对于模型的部署成本、推理速度以及在边缘设备上的应用都具有重要意义。扎克伯格的期待，实际上是为未来设立了一个新的性能标杆和评估维度——不仅仅是“能记住多少”或“能答对多少题”，更是“能思考多深”。
评判的艺术：如何更公平地评估大模型
扎克伯格对榜单的质疑，以及他对未来“深度思考”模型的强调，再次将大模型评估这个复杂的问题摆在了台前。显然，仅仅依靠当前的标准化基准测试是不够的。未来的大模型评估需要更加多维度、动态化和贴近实际应用：
开源精神与商业竞争的交织
Meta和DeepSeek都是开源社区的积极参与者和贡献者。它们通过开源模型，推动了整个AI领域的进步，让更多人能够接触和使用先进的AI技术。然而，作为商业公司，它们之间也存在竞争关系。榜单排名、社区声誉、技术领导地位，这些都关系到公司的战略利益。
扎克伯格对榜单的评论，既有技术评估层面的考量，也难以排除战略层面的意义。通过指出当前榜单的不足并预告更强大的未来模型，Meta可以在一定程度上管理社区对其现有模型表现的预期，同时为其未来的技术突破预留空间并制造期待。这是一种在开源开放框架下的技术领导力竞争的体现。
而DeepSeek V2的成功，则证明了即使是相对年轻的力量，也能通过技术创新在激烈的竞争中脱颖而出，并赢得社区的认可。这种竞争与合作并存的生态，正是当前开源大模型领域充满活力的重要原因。
总结：等待未来，重塑标准
马克·扎克伯格关于开源榜单缺陷的回应，以及他对于Meta即将推出的17B深度思考模型的展望，不仅是对DeepSeek V2等模型表现的一种回应，更是对整个大模型评估标准和未来发展方向的一次深刻反思。
当前，我们正处于大模型快速迭代的时代，各种模型的性能一日千里。而用于衡量这些能力的工具——榜单和基准测试，却往往难以跟上模型进化的步伐。扎克伯格的观点提醒我们，不应过度迷信单一的榜单排名，而应该以更批判性和多维度的视角来看待模型的能力。
DeepSeek V2的崛起，展现了开源社区的强大活力和创新能力。它以事实证明了挑战现有格局的可能性。而Meta寄予厚望的17B深度思考模型，则代表了头部机构对于探索模型更深层次智能、突破当前性能瓶颈的努力方向。
未来的大模型竞赛，将不仅仅是参数规模和榜单分数的较量，更是模型“深度思考”能力、泛化能力、可靠性以及在真实世界中创造价值能力的全面比拼。我们或许应该耐心等待Meta的17B模型面世，看看它能否像扎克伯格期待的那样，重新定义大模型能力的评估标准。这场关于如何更准确地衡量AI智能的讨论，将伴随大模型技术的进步而持续下去，并最终塑造我们对未来人工智能的理解和期待。