详细介绍
APISIX AI 是一个开源的 API 网关和 AI 网关，用来管理普通 API、微服务以及大语言模型（LLM）的流量。
它能帮你统一代理、安全控制和治理发往多个 LLM 提供商（比如 OpenAI、Anthropic、AWS Bedrock 等）的请求，同时也支持传统后端服务的高并发路由、认证、限流等需求。如果你在同时调用多个大模型，或者需要给 AI 应用加一层稳定可靠的流量入口，APISIX AI 就挺适合。
主要功能
| 功能 | 说明 |
|---|---|
| 多 LLM 代理 | 通过一个统一入口，代理请求到 OpenAI、Anthropic、AWS Bedrock、DeepSeek、Ollama 等 20 多家 LLM 提供商。 |
| LLM 负载均衡 | 将流量分发到多个模型或提供商，提升吞吐量和系统韧性。 |
| 自动重试与故障转移 | 当某个模型或提供商不可用时，自动切换到备用选项。 |
| 基于 token 的速率限制 | 按用户或消费者设置 token 使用上限，控制成本和资源消耗。 |
| 提示词安全控制 | 在请求到达模型前，进行内容审核、防护规则检查或自动修饰提示词。 |
定价方案
APISIX 是 Apache 2.0 许可的开源项目，核心功能免费使用。商业支持或托管服务的价格请查看官网。
| 方案 | 价格 | 包含内容 |
|---|---|---|
| 开源版 | 免费 | 完整 API 网关与 AI 网关功能，100+ 插件，Apache 2.0 开源许可 |
| 商业支持/托管服务 | 查看官网 | 企业级支持、托管部署、SLA 保障等（具体以官网为准） |
使用建议
适合正在构建 AI 应用或智能体（agent）的团队，尤其是需要对接多个大模型提供商、希望统一管理流量和成本的场景。
也适合已有微服务架构、需要高性能 API 网关来处理高并发、认证、可观测性等需求的后端或 DevOps 团队。
具体使用体验和详细功能，建议访问官网了解。
使用场景
1
需要统一代理和管理多个大语言模型（LLM）提供商的请求
问题
应用需调用不同LLM提供商（如OpenAI、Anthropic、AWS Bedrock等）的API，但缺乏统一的流量管理入口
解决
使用APISIX AI Gateway对20+ LLM提供商的流量进行代理、路由和治理
2
在AI应用中实施认证、限流和可观测性
问题
LLM请求缺少与传统API一致的安全控制和监控能力
解决
利用APISIX已有的认证、速率限制、mTLS及可观测性插件管理AI工作负载
3
为微服务架构中的AI服务提供高性能流量调度
问题
AI服务与普通微服务共存时，需要统一的高并发、低延迟流量管理
解决
通过APISIX的动态路由、负载均衡和每核心约18k QPS处理能力调度AI与非AI流量
常见问题
用户评分
—
0 人评分
5星
0
4星
0
3星
0
2星
0
1星
0
为此工具评分