如何选择合适的大语言模型

17611538698

webmaster@21cto.com

登录注册

如何选择合适的大语言模型

万能的大雄

人工智能 5 66 1天前

现在，各个国内外大厂纷纷推出各种大模型（LLM）。

那么，哪种模型最适合自己呢？我们是只要单独一种模型，还是应该混合搭配以完成不同的工作？答案并不总是那么显而易见，请你别担心——我们已经为你做好了一些功课。

在这篇文章中，我们将分解这些 AI 助手的模型，解释它们最擅长什么以及如何充分利用它们。

有助于比较大语言模型的指标

首先，让我们先来定义有助于比较大模型的指标。

速度– 模型生成响应的速度有多快？

如果一个模型比另一个模型慢，那也不一定是坏事。有些模型需要额外的时间，因为它们使用基于推理的方法，这可以得到更精确的答案。根据你想要达成的任务，这个指标可能比较重要。比如，如果你绝对需要快速响应。

在本文中，我们将以每秒令牌数（TPS）计算的内部速度之数据。
幻觉率——人工智能很强大，但仍然不完美

有些大语言模型更容易产生错误或误导性的答案。幻觉率越低越好。在今天这篇文章中，我们采用GitHub 的幻觉率数据。

地址：https://github.com/vectara/hallucination-leaderboard
上下文窗口大小——这定义了模型一次可以处理多少代码。

上下文窗口越大，AI 一次可以“记住”的内容就越多，这对于处理复杂项目至关地重要。
编码性能– 此指标突出显示模型处理编码任务的能力。

几个可靠的基准有助于我们评估大语言模型：

HumanEval+

https://openlm.ai/coder-evalplus/

它衡量 LLM 在一定尝试次数内解决 Python 编码问题的能力。最高分为 100，高分意味着模型可靠，可以一次性生成正确的代码。
ChatBot Arena

https://openlm.ai/chatbot-arena/

根据真实用户反馈对 LLM 进行排名，使其成为当今最具活力和实用性的 AI 基准之一。如果您在这里看到更高的数字，则表示该模型在基于投票的正面比较中始终优于其他模型。
Aider 的多语言基准测试

https://aider.chat/docs/leaderboards/#polyglot-leaderboard

通过检查其解决方案是否正确运行来评估 LLM 用多种编程语言编写和修复代码的能力。高分表明 LLM 在使用多种编程语言进行编码时具有高度准确性和可靠性，这意味着它是各种开发任务的不二之选。

哪种 LLM 适合用于你的编码任务

现在，我们已经定义了指标，让我们看看 AI 助手（Assistant）支持的 LLM 进行的比较吧。

大语言模型	编码性能	速度（TPS）	幻觉发生率	上下文窗口
OpenAI
GPT-4o OpenAI 当前最先进、最可靠的 GPT 模型， GPT-4o 提供深度理解与闪电般的响应。	HumanEval+：87.2 ChatBot Arena：1,377 Aider：27.1%	53.20 ±15.57	1.5％	128K Tokens
GPT-4o mini 这是一个较小的模型，将 GPT-4o 的功能提炼到一个紧凑、低延迟的封装中。	HumanEval+：83.5 ChatBot Arena：1,283 Aider：55.6%	62.78 ±19.72	1.7％	128K Tokens
o1 o1系列模型经过强化学习训练，能够处理复杂的推理。它们先思考，再做出反应，形成详细的内部思路，从而提供更准确、更合乎逻辑、结构更合理的答案。	HumanEval+：89 ChatBot Arena：1,358 Aider：61.7%	134.96 ±35.58	2.4%	10 万个Tokens
o1-mini 这是一个更小、更经济的推理模型，其编码性能几乎与完整的 o1 模型相当。尽管其规模较小，但它处理编码挑战的能力几乎与 o1 模型相当，这一点从它们在 ChatBot Arena 上的得分可以看出。	HumanEval+：89 ChatBot Arena：1,353 Aider：32.9%	186.98 ±47.55	1.4％	10 万个Tokens
o3-mini 最新的小型推理模型 o3-mini 具有出色的 STEM 功能，尤其擅长编码。它保持了 o1‑mini 的低成本和速度，同时匹配大型 o1 模型的编码性能并提供更快的响应。这使其成为编码和逻辑问题解决任务的非常有效的选择。	HumanEval+：- ChatBot Arena：1,353 Aider：60.4%	155.01 ±45.11	0.8％	10 万个Tokens
Google
Gemini 2.0 Flash 这是一种针对效率和性能进行了优化的高速、低延迟模型。它是实现动态、代理驱动体验的理想选择。	HumanEval+：- ChatBot Arena：1,356 Aider：22.2%	103.89 ±23.60	0.7%	100 万个Tokens
Gemini 1.5 Flash 这是 Google 的轻量级 AI 模型，针对速度和效率至关重要的任务进行了优化。Gemini 1.5 Flash 在大多数任务上都能提供高质量的性能，可与更大的模型相媲美，同时具有更高的成本效益和响应速度。	HumanEval+：75.6 ChatBot Arena：1,254 助手：-	112.57 ±24.03	0.7%	100 万个Tokens
Gemini 1.5 专业版 Gemini 1.5 Pro 是一款强大的 AI 模型，专为对大规模数据进行深度推理而构建，擅长分析、分类和总结大量内容。它可以处理超过 100,000 行代码，并具有高级理解能力，非常适合复杂的多模式任务。	HumanEval+：79.3 ChatBot Arena：1,291 助手：-	45.47 ±7.78	0.8％	1-200 万个Tokens
Anthropic
Claude 3.7 Sonnet 这是 Anthropic 最先进的编码模型。它在速度和质量之间取得了平衡，它擅长通过编码代理、深度问题解决和智能自动化进行全周期的软件开发。	HumanEval+：- ChatBot Arena：1,364 Aider：64.9%	46.43 ±7.35	–	20 万个Tokens
Claude 3.5 Sonnet 迄今为止最智能的 Anthropic 模型 Claude 3.5 Sonnet 是一款多功能的 LLM，可用于编码、代码迁移、错误修复、重构和翻译。它支持代理工作流，提供深入的代码理解以及强大的解决问题的能力。	HumanEval+：- ChatBot Arena：1,327 Aider：51.6%	43.07 ±7.03	4.6％	20 万个Tokens
Claude 3.5 Haiku 这项快速、经济高效的 LLM 课程擅长实时编码、聊天机器人开发、数据提取和内容审核等。	HumanEval+：- ChatBot Arena：1,263 Aider：28.0%	42.90 ±6.83	4.9％	20 万个Tokens