Skip to content

lazygophers/aiload

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

🚀 AI Load - 下一代 AI 接口透明代理服务

Go Report Card Build Status License Release

AI Load 是一款专为需要集成多种 AI 服务的企业和开发者设计的高性能、高可用的 AI 接口透明代理服务。它以零侵入、高效率为核心,帮助您轻松驾驭复杂的 AI 服务矩阵。


✨ 功能特性

  • 🔄 透明代理: 完全保留原生 API 格式,无缝对接 OpenAI、Google Gemini、Anthropic Claude、Siliconflow 以及本地运行的 Ollama 等多种服务,无需修改现有代码。
  • 🛡️ 平台化密钥管理: 创新的平台 -> 密钥 -> 模型三层管理体系,支持多平台、多密钥的灵活配置,实现精细化的访问控制与状态管理。
  • ⚖️ 负载均衡: 支持多上游端点的加权负载均衡,智能分配请求,显著提升服务可用性和稳定性。
  • 🛡️ 智能故障处理: 自动化的密钥黑名单和恢复机制,主动规避故障节点,确保业务连续性。
  • ⚙️ 数据库驱动: 核心业务配置(平台、密钥、模型等)存储于数据库,通过管理后台进行维护。
  • 🖥️ 现代化管理: 基于 React + Ant Design 的现代化 Web 管理界面,所有操作直观易用。
  • ⚡ 高性能设计: 采用零拷贝流式传输、连接池复用和原子操作等技术,最大化处理性能。

🤖 支持的 AI 服务

AI Load 作为透明代理服务,完整保留了各大 AI 服务商的原生 API 格式,包括:

  • OpenAI 格式: 官方 OpenAI API、Azure OpenAI 及其他兼容服务。
  • Google Gemini 格式: Gemini Pro、Gemini Pro Vision 等原生 API。
  • Anthropic Claude 格式: Claude 系列模型的高质量对话与文本生成 API。
  • Siliconflow 格式: 兼容 OpenAI 格式的 Siliconflow 云端服务。
  • Ollama (本地): 支持在本地环境中运行的 Ollama 模型,保障数据私密性。

🛠️ 技术栈

  • 后端: Golang
  • 前端: React + Ant Design

🚀 快速开始

请参阅我们的 快速上手指南 来快速部署和使用 AI Load。

📚 文档

更详细的文档请访问 docs 目录。

🤝 贡献

我们欢迎任何形式的贡献!请阅读 贡献指南行为准则 来了解如何参与项目。

📄 许可证

本项目基于 MIT 许可证。

About

AI Load - 下一代 AI 接口透明代理服务

Resources

Code of conduct

Contributing

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published