Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

✨ feat: support infini-ai provider #7012

Open
wants to merge 2 commits into
base: main
Choose a base branch
from
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 4 additions & 0 deletions .env.example
Original file line number Diff line number Diff line change
Expand Up @@ -131,6 +131,10 @@ OPENAI_API_KEY=sk-xxxxxxxxx

# PPIO_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

### INFINI-AI ###

# INFINIAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

########################################
############ Market Service ############
########################################
Expand Down
4 changes: 3 additions & 1 deletion Dockerfile
Original file line number Diff line number Diff line change
Expand Up @@ -228,7 +228,9 @@ ENV \
# Zhipu
ZHIPU_API_KEY="" ZHIPU_MODEL_LIST="" \
# Tencent Cloud
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST=""
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST="" \
# Infini-AI
INFINIAI_API_KEY="" INFINIAI_MODEL_LIST=""

USER nextjs

Expand Down
4 changes: 3 additions & 1 deletion Dockerfile.database
Original file line number Diff line number Diff line change
Expand Up @@ -271,7 +271,9 @@ ENV \
# Zhipu
ZHIPU_API_KEY="" ZHIPU_MODEL_LIST="" \
# Tencent Cloud
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST=""
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST="" \
# Infini-AI
INFINIAI_API_KEY="" INFINIAI_MODEL_LIST=""

USER nextjs

Expand Down
4 changes: 3 additions & 1 deletion Dockerfile.pglite
Original file line number Diff line number Diff line change
Expand Up @@ -227,7 +227,9 @@ ENV \
# Zhipu
ZHIPU_API_KEY="" ZHIPU_MODEL_LIST="" \
# Tencent Cloud
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST=""
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST="" \
# Infini-AI
INFINIAI_API_KEY="" INFINIAI_MODEL_LIST=""

USER nextjs

Expand Down
1 change: 1 addition & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -225,6 +225,7 @@ We have implemented support for the following model service providers:
- **[Gitee AI](https://lobechat.com/discover/provider/giteeai)**: Gitee AI's Serverless API provides AI developers with an out of the box large model inference API service.
- **[Taichu](https://lobechat.com/discover/provider/taichu)**: The Institute of Automation, Chinese Academy of Sciences, and Wuhan Artificial Intelligence Research Institute have launched a new generation of multimodal large models, supporting comprehensive question-answering tasks such as multi-turn Q\&A, text creation, image generation, 3D understanding, and signal analysis, with stronger cognitive, understanding, and creative abilities, providing a new interactive experience.
- **[360 AI](https://lobechat.com/discover/provider/ai360)**: 360 AI is an AI model and service platform launched by 360 Company, offering various advanced natural language processing models, including 360GPT2 Pro, 360GPT Pro, 360GPT Turbo, and 360GPT Turbo Responsibility 8K. These models combine large-scale parameters and multimodal capabilities, widely applied in text generation, semantic understanding, dialogue systems, and code generation. With flexible pricing strategies, 360 AI meets diverse user needs, supports developer integration, and promotes the innovation and development of intelligent applications.
- **[Infini-AI](https://lobechat.com/discover/provider/infiniai)**: Infini-AI is a leading AI infrastructure enterprise in China, committed to becoming the preferred computing power operator in the large model era. Leveraging its core technological advantages of "multi-heterogeneous, software-hardware synergy," it has created a new "MxN" AI infrastructure paradigm connecting "M types of models" and "N types of chips," enabling efficient collaborative deployment of various large model algorithms on diverse chips. The Infini-AI heterogeneous cloud platform, based on a multi-chip computing foundation, provides large model developers with high-performance computing power and native toolchains with exceptional cost-effectiveness, reducing costs and improving efficiency throughout the entire lifecycle of large models from development to deployment.

</details>

Expand Down
1 change: 1 addition & 0 deletions README.zh-CN.md
Original file line number Diff line number Diff line change
Expand Up @@ -225,6 +225,7 @@ LobeChat 支持文件上传与知识库功能,你可以上传文件、图片
- **[Gitee AI](https://lobechat.com/discover/provider/giteeai)**: Gitee AI 的 Serverless API 为 AI 开发者提供开箱即用的大模型推理 API 服务。
- **[Taichu](https://lobechat.com/discover/provider/taichu)**: 中科院自动化研究所和武汉人工智能研究院推出新一代多模态大模型,支持多轮问答、文本创作、图像生成、3D 理解、信号分析等全面问答任务,拥有更强的认知、理解、创作能力,带来全新互动体验。
- **[360 AI](https://lobechat.com/discover/provider/ai360)**: 360 AI 是 360 公司推出的 AI 模型和服务平台,提供多种先进的自然语言处理模型,包括 360GPT2 Pro、360GPT Pro、360GPT Turbo 和 360GPT Turbo Responsibility 8K。这些模型结合了大规模参数和多模态能力,广泛应用于文本生成、语义理解、对话系统与代码生成等领域。通过灵活的定价策略,360 AI 满足多样化用户需求,支持开发者集成,推动智能化应用的革新和发展。
- **[Infini-AI](https://lobechat.com/discover/provider/infiniai)**: 无问芯穹 (InfinigenceAI) 作为国内领先的 AI 基础设施企业,致力于成为大模型时代首选的算力运营商。依托 “多元异构、软硬协同” 的核心技术优势,打造了连接 “M 种模型” 和 “N 种芯片” 的 “MxN” AI 基础设施新范式,实现多种大模型算法在多元芯片上的高效协同部署。无问芯穹 Infini-AI 异构云平台基于多元芯片算力底座,向大模型开发者提供极致性价比的高性能算力和原生工具链,为大模型从开发到部署的全生命流程降本增效。

</details>

Expand Down
13 changes: 13 additions & 0 deletions docs/self-hosting/environment-variables/model-provider.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -573,5 +573,18 @@ If you need to use Azure OpenAI to provide model services, you can refer to the
- Default: `-`
- Example: `-all,+deepseek-r1->deepseek-r1-250120,+deepseek-v3->deepseek-v3-241226,+doubao-1.5-pro-256k->doubao-1-5-pro-256k-250115,+doubao-1.5-pro-32k->doubao-1-5-pro-32k-250115,+doubao-1.5-lite-32k->doubao-1-5-lite-32k-250115`

### `INFINIAI_API_KEY`

- Type: Required
- Description: This is the API key you applied from Infini-AI, you can check it out [here](https://cloud.infini-ai.com)
- Default: -
- Example: `sk-xxxxxx...xxxxxx`

### `INFINIAI_MODEL_LIST`

- Type: Optional
- Description: Used to control the model list, use `+` to add a model, use `-` to hide a model, use `model_name->deploymentName=display_name` to customize the display name of a model, separated by commas. Definition syntax rules see [model-list][model-list]
- Default: `-`
- Example: `-all,+qwq-32b,+deepseek-r1`

[model-list]: /docs/self-hosting/advanced/model-list
14 changes: 14 additions & 0 deletions docs/self-hosting/environment-variables/model-provider.zh-CN.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -571,4 +571,18 @@ LobeChat 在部署时提供了丰富的模型服务商相关的环境变量,
- 默认值:`-`
- 示例:`-all,+deepseek-r1->deepseek-r1-250120,+deepseek-v3->deepseek-v3-241226,+doubao-1.5-pro-256k->doubao-1-5-pro-256k-250115,+doubao-1.5-pro-32k->doubao-1-5-pro-32k-250115,+doubao-1.5-lite-32k->doubao-1-5-lite-32k-250115`

### `INFINIAI_API_KEY`

- 类型:必选
- 描述:这是你在 [Infini-AI](https://cloud.infini-ai.com) 申请的 API 密钥。
- 默认值:-
- 示例:`sk-xxxxxx...xxxxxx`

### `INFINIAI_MODEL_LIST`

- 类型:可选
- 描述:用来控制模型列表,使用 `+` 增加一个模型,使用 `-` 来隐藏一个模型,使用 `模型名->部署名=展示名<扩展配置>` 来自定义模型的展示名,用英文逗号隔开。模型定义语法规则见 [模型列表][model-list]
- 默认值:`-`
- 示例:`-all,+qwq-32b,+deepseek-r1`

[model-list]: /zh/docs/self-hosting/advanced/model-list
29 changes: 29 additions & 0 deletions docs/usage/providers/infiniai.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,29 @@
---
title: Using Infini-AI in LobeChat
description: Learn how to configure and utilize Infini-AI's model services in LobeChat.
tags:
- LobeChat
- Infini-AI
- API Key
- LLM Deployment
---

# Using Infini-AI in LobeChat

[Infini-AI](https://cloud.infini-ai.com/) is a large model service platform optimized for multiple chip architectures, providing efficient and unified AGI infrastructure solutions.

This guide will help you quickly integrate Infini-AI's AI capabilities into LobeChat.

<Steps>
### Step 1: Obtain Infini-AI API Key

- Log in to the [Large Model Service Platform](https://cloud.infini-ai.com/genstudio/model)
- Select "API KEY Management" in the left navigation bar
- In the newly opened page, click the "Create API KEY" button, enter a name, and click "Create"

### Step 2: Configure LobeChat Model Service

- Open LobeChat and go to the "Settings" interface
- Select "Infini-AI" in the "Language Model" module
- Paste the API key you obtained
</Steps>
29 changes: 29 additions & 0 deletions docs/usage/providers/infiniai.zh-CN.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,29 @@
---
title: 在 LobeChat 中使用无问芯穹
description: 学习如何在 LobeChat 中配置和使用无问芯穹的 API Key,实现 AI 对话交互。
tags:
- LobeChat
- 无问芯穹
- API密钥
- 大模型部署
---

# 在 LobeChat 中使用无问芯穹

[无问芯穹](https://cloud.infini-ai.com/)是基于多元芯片优化的大模型服务平台,提供高效统一的 AGI 基础设施解决方案。

本文将指导你如何在 LobeChat 中快速接入无问芯穹的 AI 能力。

<Steps>
### 步骤一:获取无问芯穹 API Key

- 登录[大模型服务平台](https://cloud.infini-ai.com/genstudio/model)
- 在左侧导航栏选择「API KEY 管理」
- 在新打开的页面中,点击「创建 API KEY」按钮,填入名称,点击「创建」

### 步骤二:配置 LobeChat 模型服务

- 打开 LobeChat 进入「设置」界面
- 在「语言模型」模块选择「Infini-AI」
- 粘贴已获取的 API 密钥
</Steps>
30 changes: 30 additions & 0 deletions locales/ar/models.json
Original file line number Diff line number Diff line change
Expand Up @@ -521,6 +521,12 @@
"charglm-3": {
"description": "CharGLM-3 مصمم خصيصًا للأدوار التفاعلية والمرافقة العاطفية، يدعم ذاكرة متعددة الجولات طويلة الأمد وحوارات مخصصة، ويستخدم على نطاق واسع."
},
"chatglm3": {
"description": "ChatGLM3 هو نموذج مغلق المصدر تم إصداره بواسطة مختبر KEG في جامعة تسينغهوا وشركة Zhizhu AI، وقد تم تدريبه مسبقًا على كميات هائلة من المعرفة المعرفية باللغتين الصينية والإنجليزية، وتم تحسينه وفقًا للاختيارات البشرية. مقارنة بالنموذج الأول، حقق تحسينات بنسبة 16٪ و 36٪ و 280٪ في MMLU و C-Eval و GSM8K على التوالي، وتصدر قائمة المهام الصينية C-Eval. يناسب هذا النموذج السيناريوهات التي تتطلب كميات كبيرة من المعرفة وقدرات الاستدلال والإبداع، مثل كتابة النصوص الإعلانية وكتابة الروايات وكتابة المحتوى المعرفي وتكوين الكود."
},
"chatglm3-6b-base": {
"description": "ChatGLM3-6b-base هو النموذج الأساسي المفتوح المصدر الأحدث من سلسلة ChatGLM التي طورتها شركة Zhìpǔ، ويحتوي على 6 مليارات معلمة."
},
"chatgpt-4o-latest": {
"description": "ChatGPT-4o هو نموذج ديناميكي يتم تحديثه في الوقت الحقيقي للحفاظ على أحدث إصدار. يجمع بين فهم اللغة القوي وقدرات التوليد، مما يجعله مناسبًا لمجموعة واسعة من التطبيقات، بما في ذلك خدمة العملاء والتعليم والدعم الفني."
},
Expand Down Expand Up @@ -1133,6 +1139,9 @@
"lite": {
"description": "سبارك لايت هو نموذج لغوي كبير خفيف الوزن، يتميز بتأخير منخفض للغاية وكفاءة عالية في المعالجة، وهو مجاني تمامًا ومفتوح، ويدعم وظيفة البحث عبر الإنترنت في الوقت الحقيقي. تجعل خصائص استجابته السريعة منه مثاليًا لتطبيقات الاستدلال على الأجهزة ذات القدرة الحاسوبية المنخفضة وضبط النماذج، مما يوفر للمستخدمين قيمة ممتازة من حيث التكلفة وتجربة ذكية، خاصة في مجالات الأسئلة والأجوبة المعرفية، وتوليد المحتوى، وسيناريوهات البحث."
},
"llama-2-7b-chat": {
"description": "Llama2 هو سلسلة من النماذج اللغوية الكبيرة (LLM) التي طورتها Meta وأطلقتها كمصدر مفتوح، وهي تتكون من نماذج توليد نص مسبقة التدريب ومتخصصة بحجم يتراوح من 7 مليارات إلى 70 مليار معلمة. على مستوى العمارة، Llama2 هو نموذج لغوي تراجعي تلقائي يستخدم معمارية محول محسنة. الإصدارات المعدلة تستخدم التدريب الدقيق تحت الإشراف (SFT) والتعلم التقويمي مع تعزيزات من البشر (RLHF) لتوافق تفضيلات البشر فيما يتعلق بالفائدة والأمان. أظهر Llama2 أداءً أفضل بكثير من سلسلة Llama في العديد من المجموعات الأكاديمية، مما قدم إلهامًا لتصميم وتطوير العديد من النماذج الأخرى."
},
"llama-3.1-70b-versatile": {
"description": "Llama 3.1 70B يوفر قدرة استدلال ذكائي أقوى، مناسب للتطبيقات المعقدة، يدعم معالجة حسابية ضخمة ويضمن الكفاءة والدقة."
},
Expand Down Expand Up @@ -1196,6 +1205,9 @@
"max-32k": {
"description": "سبارك ماكس 32K مزود بقدرة معالجة سياق كبيرة، مع فهم أقوى للسياق وقدرة على الاستدلال المنطقي، يدعم إدخال نصوص تصل إلى 32K توكن، مما يجعله مناسبًا لقراءة الوثائق الطويلة، والأسئلة والأجوبة المعرفية الخاصة، وغيرها من السيناريوهات."
},
"megrez-3b-instruct": {
"description": "Megrez-3B-Instruct هو نموذج لغة كبير تم تدريبه بشكل مستقل من قبل شركة ووون تشينغ. يهدف Megrez-3B-Instruct إلى تقديم حل ذكاء على جهاز نهائي سريع وصغير وسهل الاستخدام من خلال مفهوم التكامل بين البرمجيات والأجهزة."
},
"meta-llama-3-70b-instruct": {
"description": "نموذج قوي بحجم 70 مليار معلمة يتفوق في التفكير، والترميز، وتطبيقات اللغة الواسعة."
},
Expand Down Expand Up @@ -1583,9 +1595,24 @@
"qwen/qwen2.5-coder-7b-instruct": {
"description": "نموذج قوي للبرمجة متوسطة الحجم، يدعم طول سياق يصل إلى 32K، بارع في البرمجة متعددة اللغات."
},
"qwen1.5-14b-chat": {
"description": "سلسلة Qwen1.5 هي نسخة تجريبية من Qwen2، وهي نموذج لغة قائم على Transformer يتميز بالتفكيك فقط، وقد تم تدريبه مسبقًا على كميات هائلة من البيانات. مقارنة بالإصدارات السابقة من سلسلة Qwen، تدعم سلسلة Qwen1.5 النماذج الأساسية والدردشة بعدة لغات، وقد تحسنت قدراتها في الدردشة والأساسية بشكل عام. Qwen1.5-14b-chat هو النموذج الرئيسي المخصص لسituات الدردشة، ويحتوي على 14 مليار معلمة."
},
"qwen1.5-32b-chat": {
"description": "سلسلة Qwen1.5 هي نسخة تجريبية من Qwen2، وهي نموذج لغة قائم على Transformer مصمم للتفكيك فقط، وقد تم تدريبه مسبقًا على كميات هائلة من البيانات. مقارنة بالإصدارات السابقة من سلسلة Qwen، تدعم سلسلة Qwen1.5 النماذج الأساسية والدردشة بعدة لغات، وقد تحسنت قدراتها في الدردشة والأساسية بشكل عام. Qwen1.5-32b-chat هو نموذج كبير بحجم 32 مليار معلمة مخصص لسituات الدردشة، وهو أقوى في سituات الذكاء الاصطناعي مقارنة بنموذج 14 مليار معلمة، وأقل تكلفة في الاستدلال مقارنة بنموذج 72 مليار معلمة."
},
"qwen1.5-72b-chat": {
"description": "سلسلة Qwen1.5 هي نسخة تجريبية من Qwen2، وهي نموذج لغة قائم على Transformer مصمم للتفكيك فقط، وقد تم تدريبه مسبقًا على كميات هائلة من البيانات. مقارنة بالإصدارات السابقة من سلسلة Qwen، تدعم سلسلة Qwen1.5 النماذج الأساسية والدردشة بعدة لغات، وقد تحسنت قدراتها في الدردشة والأساسية بشكل عام. Qwen1.5-72b-chat هو النموذج الكبير المخصص لسituات الدردشة، ويحتوي على 72 مليار معلمة."
},
"qwen2": {
"description": "Qwen2 هو نموذج لغوي كبير من الجيل الجديد من Alibaba، يدعم أداءً ممتازًا لتلبية احتياجات التطبيقات المتنوعة."
},
"qwen2-72b-instruct": {
"description": "Qwen2 هو سلسلة نماذج لغوية كبيرة جديدة تم إطلاقها من قبل فريق Qwen. تعتمد هذه النماذج على هندسة Transformer وتستخدم دالة التنشيط SwiGLU، وتحيز الانتباه QKV (attention QKV bias)، وانتباه الاستفسار الجماعي (group query attention)، وخلط انتباه النافذة المتزحلقة والانتباه الكامل (mixture of sliding window attention and full attention). بالإضافة إلى ذلك، قام فريق Qwen بتحسين مجزئ يتكيف مع العديد من اللغات الطبيعية والأكواد."
},
"qwen2-7b-instruct": {
"description": "Qwen2 هو سلسلة نماذج لغوية كبيرة جديدة تم طرحها من قبل فريق Qwen. يعتمد هذا النموذج على هندسة Transformer، ويستخدم دالة التنشيط SwiGLU، وتحيز QKV للانتباه (attention QKV bias)، وانتباه الاستفسار الجماعي (group query attention)، وخلط انتباه النافذة المتزحلقة والانتباه الكامل. بالإضافة إلى ذلك، قام فريق Qwen بتحسين المقطّع الذي يتكيف مع العديد من اللغات الطبيعية والأكواد."
},
"qwen2.5": {
"description": "Qwen2.5 هو الجيل الجديد من نماذج اللغة الكبيرة من Alibaba، يدعم احتياجات التطبيقات المتنوعة بأداء ممتاز."
},
Expand Down Expand Up @@ -1763,6 +1790,9 @@
"wizardlm2:8x22b": {
"description": "WizardLM 2 هو نموذج لغوي تقدمه Microsoft AI، يتميز بأداء ممتاز في الحوار المعقد، واللغات المتعددة، والاستدلال، والمساعدين الذكيين."
},
"yi-1.5-34b-chat": {
"description": "يي-1.5 هو إصدار مُحدّث من يي. تم تدريبه بشكل مُسبق باستخدام مكتبة بيانات عالية الجودة تحتوي على 500 مليار علامة (Token) على يي، وتم تحسينه أيضًا باستخدام 3 ملايين مثال متنوع للتدريب الدقيق."
},
"yi-large": {
"description": "نموذج جديد بمليارات المعلمات، يوفر قدرة قوية على الإجابة وتوليد النصوص."
},
Expand Down
Loading