开始使用
产品简介
1. 产品介绍
本平台是一个企业级 AI 模型融合平台,聚合多种主流大模型能力,通过智能路由、多模型融合,实现生产级 API 输出与企业级治理能力。本平台提供开箱即用的大模型 API,按量收费,助力应用开发轻松实现
2. 产品价值
- 多模型统一接入与管理
- 主流模型智能融合与路由
- 可视化运营数据分析
- 一键生成生产级 API
- 企业级监控与安全治理
3. 平台架构
架构分层说明: 平台基于分层架构设计,实现了模型路由与调度同业务应用接入的分离。这一设计构建了灵活稳健的技术底座,不仅明确了各层职责,更为上层业务的敏捷迭代与底层模型能力的水平扩展奠定了坚实基础。 整体架构分为以下四个层级:
第一层:模型路由层(Model Routing Layer) 模型路由层负责根据预设策略选择具体模型进行调用。
第二层:模型融合与编排层(Model Orchestration Layer) 模型融合与编排层负责管理模型调用逻辑与策略控制。
第三层:后端应用业务层(Backend Application Layer) 后端应用业务层负责对外提供标准化 API 服务。
第四层:前端应用接入层(Frontend Access Layer) 前端应用接入层为用户提供可视化管理界面,该层主要承担用户交互与运营管理功能。
快速上手
1. 登录平台
访问官网 并点击右上角“登录”按钮,如果未注册先点击“注册”,按照提示填写您的基本信息进行注册,注册成功后登录。
2. 查看模型列表和模型详情
通过 “模型列表” 查看当前可用的模型详情、模型价格、等信息。
3 创建API key
进入“令牌管理”,点击“创建令牌”,创建您的API key。调用API请求都应在 HTTP Header 请求头中包含您的API密钥(令牌KEY)。OpenAI Header传参示例:Authorization: Bearer sk-xxx
4. 使用API调用模型
我们的 API 完全兼容 OpenAI 接口协议,开发者无需修改代码即可无缝接入各类支持 OpenAI API 的应用。 参考:官方开发文档
4.1 OpenAI官方python库
OpenAI库升级到最新版本 安装 Python3.7.1 或更高版本并设置虚拟环境后,即可安装 OpenAI Python 库。在终端/命令行运行:
操作完成后,可以通过运行 running 查看当前环境中已安装的 Python 库,以确认 OpenAI Python 库是否安装成功。确认成功后,即可直接调用 OpenAI 的相关接口。目前,该平台支持 OpenAI 的大多数常用参数。 请求示例:
4.2 OpenAI官方node库
OpenAI库升级到最新版本 安装nodejs的OpenAI
请求示例:
5. 高并发批量请求示例
安装依赖包 在高并发请求场景中,aiohttp的效率高于httpx ,因此推荐使用 aiohttp 进行并发请求。
请求示例:
- 示例代码采用持续并发请求模式,并在请求执行过程中同步写入存储。
- 若需要在所有请求完成后再进行统一写入,可自行调整脚本实现。但通常不建议这样处理,因为请求阶段可能发生异常,即使是 OpenAI 官方接口也无法保证请求始终成功,因此需要完善的错误处理机制,以避免影响最终的数据存储
- 该脚本每分钟可以稳定处理数千次请求,如需更高的请求量,可以通过同时运行多个 Python 脚本来扩展。建议避免在单个脚本中发起过多请求,否则可能导致 TCP 连接堆积,并增加被服务器主动断开连接的概率。
功能特性
1. API调用
将已配置的模型调用逻辑与主备策略封装为标准化 API 接口,对外提供稳定、可扩展、可管理的生产级调用能力,支持企业级业务系统集成。
2. 智能路由引擎
支持用户在同一业务流程中选择多个模型,实现模型调用的高可用与稳定性保障。 用户在构建工作流或配置接口时,可以同时选择多个模型作为可调用资源。平台支持将多个模型绑定到同一调用逻辑中,为后续的策略控制与容错机制提供基础能力。
3. 可视化数据运营及管理
用于对平台内模型调用情况、使用数据与费用信息进行可视化展示与统计分析,帮助运营与管理人员实时掌握模型使用状态与成本情况,实现数据透明化与精细化运营管理。
模型使用量统计 支持对各模型的调用次数、请求量、成功率等核心指标进行统计与展示。 用户可按时间维度(按天 / 按周 / 按月)查看模型使用趋势,并对不同模型的使用情况进行对比分析。
模型费用计算 平台自动统计各模型的调用成本,根据模型计费规则(如按 Token 或按请求计费)进行费用计算,并生成成本报表。