导读：AI网关是人工智能应用程序的基础和重要部分，它与现有的API网关有什么结合和异同呢？请详阅本文。

AI 基础设施的新技术热点是 AI 网关。

这些系统正在成为 AI 应用程序与外部用户以及内部 AI 建模团队之间的关键缓冲区、安全和负载平衡层。

AI 网关的紧迫性正在越加明显。

随着大型语言模型 (LLM)、高级计算机视觉算法和其他机器学习技术成为应用程序不可或缺的一部分，它们的集成和管理挑战也愈发严峻。AI 网关为这些复杂性提供了一种新颖的解决方案，为 AI 工作负载提供了一个集中控制点。

令人迷惑的是，许多 AI 网关提供商并不称自己为 AI 网关。他们可能会将自己描述为 AI 开发人员门户、AI 防火墙、AI 安全或 AI 负载平衡——所有这些都包含在 AI 网关的元素。

毫不奇怪，AI 网关经常被拿来与API 网关进行比较。管理 API是 AI 网关的一个关键部分，AI 网关几乎总是设计用于与外部 AI 提供商（如大型云或 OpenAI）交互。（事实上，一些声称提供 AI 网关产品的公司实际上是建立在 API 网关之上的，只添加了一些针对 AI 进行调整的插件）。

因此，了解 API 网关和 AI 网关之间的差异至关重要，以便正确设计能够满足现代应用程序设计和部署要求的 AI 应用程序基础设施。

API 网关的作用非常必要

API 网关充当客户端和后端服务之间的代理。

它可以帮助应用开发者、安全团队和 DevOps 或平台运营团队，降低在应用程序前端管理和部署 API 的复杂性。

API 网关还充当着安全和负载平衡层，既可以保护组织的 API，也可以保护组织免受不良行为者利用组织使用的外部 API 的侵害。

下面将API网关的关键功能做一番总结：

• 治理：定义和应用一组政策、标准和流程来管理、监控和控制 API 的使用、开发和维护。

• 请求路由：智能地将请求定向到适当的服务，确保数据到达正确的 AI 模型进行处理。

• 身份验证和授权：通过 API 密钥、OAuth 和 JSON Web 令牌 (JWT) 等机制实施严格的访问控制。

• 性能增强：通过速率限制（防止过度使用）和缓存（存储经常使用的响应）优化响应时间和资源使用率。

• 监控和日志记录：提供有关 API 使用情况、错误率和整体系统健康状况的详细见解，这对于故障排除和优化至关重要。

• 货币化：提供基于 API 的产品和服务的货币化控制和管理，并确定谁应该为通过 API 交付的产品和产品功能的消费支付费用以及支付多少费用。

人工智能系统需要专有网关

如今，大多数企业都通过第三方 API 使用 AI 输出，这些 API 要么来自 OpenAI、Hugging Face，要么来自某个云超大规模提供商。

实际上构建、调整和托管自己的模型的企业也通过内部 API 使用它们。AI 网关的基本工作是让应用开发人员、AI 数据工程师和运营团队能够轻松快速地调用 AI API 并将其连接到他们的应用程序。这与 API 网关的工作方式类似。

尽管如此，API 和 AI 网关之间存在重大差异。

例如，AI 应用程序的计算要求与传统应用程序的计算要求非常不同。它需要不同的硬件，训练 AI 模型、调整 AI 模型、向其中添加额外的专用数据以及查询 AI 模型可能具有不同的性能、延迟或带宽要求。

深度学习固有的并行性或推理的实时响应，要求可能需要以不同的方式来分配 AI 工作负载。衡量 AI 系统的消耗量也需要对令牌和模型效率有专门的知识掌握。

AI 网关还将监控入站提示，以查找被滥用迹象，例如提示注入或模型被盗窃。简而言之，虽然 API 网关对于传统应用程序不可或缺，但在处理特定于 AI 的流量模式和要求时，它们可能会存在一些功能不足，比如：

• 成本优化：使用 AI 模型可能会产生大量费用。AI 网关提供详细的指标和成本跟踪工具，从而帮助做出明智的成本管理决策。

• 模型多样性：AI 应用程序通常使用来自不同提供商的多个大模型，每个模型都有自己的接口和协议。AI 网关提供统一的交互点，以简化开发。

• 模型版本控制和部署：AI 模型发展迅速。AI 网关简化了不同模型版本的更新、回滚与 A/B 测试。

• 安全考虑：由于 AI 模型具有潜在的敏感性，因此需要专门的安全协议。AI 网关支持针对 AI 工作负载定制的细粒度授权、输入验证和加密等机制。

• 可观察性：监控标准 API 指标对于 AI 而言是不够的。AI 网关跟踪特定于模型的指标，例如推理时间、偏差检测、令牌使用情况和概念漂移，从而提供主动维护所需的见解。

• 负载均衡：AI 负载均衡比传统负载均衡更复杂，因为 AI 有更多种类的计算工作——推理和训练、内部和外部以及多种排列组合。用于 AI 计算的 GPU 非常昂贵，因此确保并行编程管道平衡且同步至关重要。

  
  

部署 AI 网关前需要问自己的一些问题

将一项新技术置于另一项新技术之前，一定会带来风险和挑战。

一些组织选择只使用单一AI 服务并管理该单一服务 API 来避免此类问题。然而，这样做有被 AI 锁定的风险，也会阻碍那些希望在其 AI 服务中使用定制功能的团队。

在决定试用 AI 网关之前，请你考虑以下事项：

• 全面的模型支持：网关是否能够轻松处理来自内部和外部不同提供商的各种 AI 模型？

• 高级安全和治理：专门为 AI 模型设计的安全协议有多强大？它能否实施细粒度的访问控制，并检测潜在的滥用或误用？

• 成本管理和优化：AI 网关是否提供细粒度的使用和成本跟踪工具，以及控制费用的优化技术？

• 深入的可观察性：该平台是否跟踪关键的 AI 模型健康指标，例如推理时间、准确性、漂移和偏差，以实现主动管理？

• 易于集成和可扩展：网关是否设计为与你现有的开发和部署工作流程无缝集成？它能否扩展以处理不断增长的 AI 工作负载？

  
  

API 和 AI 网关将共存

可以明确的是，AI 网关相对较新，短期内还会有更快或更明显的发展。

它们也不是必须在每种情况下都应用的 AI 魔法。一些 AI 应用程序也可以与传统 API 网关进行完美地配合。

例如，如果某个应用程序大量使用 OpenAI API，并且不进行大量调整或额外训练，那么其应用程序的需求可能与传统应用程序非常相似。在此种情况下，为 AI 网关支付额外费用，并增加额外的操作复杂性可能有点过头了。

实际上，AI 应用程序的部署模式有可能同时包含 API 与 AI 网关，因为这两种用例通常共存甚至相互补充。

我们已经看到 AI 网关功能添加到现有的 API 网关产品中。我们还能看到 AI 团队部署 NGINX 反向代理和入口控制器来提供一些 AI 应用程序（训练与推理）的治理、负载平衡以及交付。

未来，AI 网关将以更多样化的形式与规模，出现在现有 API 网关产品中，也会作为独立套件出现。AI 网关是 API 网关在新 AI 时代的合理演进，就像 API 网关从反向代理演进的道理一样。

当我们了解这两种类型网关之间的区别，可以明确为什么它们都是必要的，以及在什么场合使用，以及如何使用它们，即便它们作为相关或依赖的应用程序或微服务并存。

作者：弗兰克

说明：作者系某企业软件工程师，从业近 15 年。