Skip to content

Commit b8581c5

Browse files
committed
feat: support infini-ai provider
1 parent 2cc72f4 commit b8581c5

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

56 files changed

+1229
-4
lines changed

.env.example

+4
Original file line numberDiff line numberDiff line change
@@ -131,6 +131,10 @@ OPENAI_API_KEY=sk-xxxxxxxxx
131131

132132
# PPIO_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
133133

134+
### INFINI-AI ###
135+
136+
# INFINIAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
137+
134138
########################################
135139
############ Market Service ############
136140
########################################

Dockerfile

+3-1
Original file line numberDiff line numberDiff line change
@@ -228,7 +228,9 @@ ENV \
228228
# Zhipu
229229
ZHIPU_API_KEY="" ZHIPU_MODEL_LIST="" \
230230
# Tencent Cloud
231-
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST=""
231+
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST="" \
232+
# Infinigence AI
233+
INFINIGENCEAI_API_KEY="" INFINIGENCEAI_MODEL_LIST=""
232234

233235
USER nextjs
234236

Dockerfile.database

+3-1
Original file line numberDiff line numberDiff line change
@@ -271,7 +271,9 @@ ENV \
271271
# Zhipu
272272
ZHIPU_API_KEY="" ZHIPU_MODEL_LIST="" \
273273
# Tencent Cloud
274-
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST=""
274+
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST="" \
275+
# Infinigence AI
276+
INFINIGENCEAI_API_KEY="" INFINIGENCEAI_MODEL_LIST=""
275277

276278
USER nextjs
277279

Dockerfile.pglite

+3-1
Original file line numberDiff line numberDiff line change
@@ -227,7 +227,9 @@ ENV \
227227
# Zhipu
228228
ZHIPU_API_KEY="" ZHIPU_MODEL_LIST="" \
229229
# Tencent Cloud
230-
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST=""
230+
TENCENT_CLOUD_API_KEY="" TENCENT_CLOUD_MODEL_LIST="" \
231+
# Infinigence AI
232+
INFINIGENCEAI_API_KEY="" INFINIGENCEAI_MODEL_LIST=""
231233

232234
USER nextjs
233235

README.md

+1
Original file line numberDiff line numberDiff line change
@@ -225,6 +225,7 @@ We have implemented support for the following model service providers:
225225
- **[Gitee AI](https://lobechat.com/discover/provider/giteeai)**: Gitee AI's Serverless API provides AI developers with an out of the box large model inference API service.
226226
- **[Taichu](https://lobechat.com/discover/provider/taichu)**: The Institute of Automation, Chinese Academy of Sciences, and Wuhan Artificial Intelligence Research Institute have launched a new generation of multimodal large models, supporting comprehensive question-answering tasks such as multi-turn Q\&A, text creation, image generation, 3D understanding, and signal analysis, with stronger cognitive, understanding, and creative abilities, providing a new interactive experience.
227227
- **[360 AI](https://lobechat.com/discover/provider/ai360)**: 360 AI is an AI model and service platform launched by 360 Company, offering various advanced natural language processing models, including 360GPT2 Pro, 360GPT Pro, 360GPT Turbo, and 360GPT Turbo Responsibility 8K. These models combine large-scale parameters and multimodal capabilities, widely applied in text generation, semantic understanding, dialogue systems, and code generation. With flexible pricing strategies, 360 AI meets diverse user needs, supports developer integration, and promotes the innovation and development of intelligent applications.
228+
- **[Infinigence AI](https://lobechat.com/discover/provider/infiniai)**: Infini-AI is a leading AI infrastructure enterprise in China, committed to becoming the preferred computing power operator in the large model era. Leveraging its core technological advantages of "multi-heterogeneous, software-hardware synergy," it has created a new "MxN" AI infrastructure paradigm connecting "M types of models" and "N types of chips," enabling efficient collaborative deployment of various large model algorithms on diverse chips. The Infini-AI heterogeneous cloud platform, based on a multi-chip computing foundation, provides large model developers with high-performance computing power and native toolchains with exceptional cost-effectiveness, reducing costs and improving efficiency throughout the entire lifecycle of large models from development to deployment.
228229

229230
</details>
230231

README.zh-CN.md

+1
Original file line numberDiff line numberDiff line change
@@ -225,6 +225,7 @@ LobeChat 支持文件上传与知识库功能,你可以上传文件、图片
225225
- **[Gitee AI](https://lobechat.com/discover/provider/giteeai)**: Gitee AI 的 Serverless API 为 AI 开发者提供开箱即用的大模型推理 API 服务。
226226
- **[Taichu](https://lobechat.com/discover/provider/taichu)**: 中科院自动化研究所和武汉人工智能研究院推出新一代多模态大模型,支持多轮问答、文本创作、图像生成、3D 理解、信号分析等全面问答任务,拥有更强的认知、理解、创作能力,带来全新互动体验。
227227
- **[360 AI](https://lobechat.com/discover/provider/ai360)**: 360 AI 是 360 公司推出的 AI 模型和服务平台,提供多种先进的自然语言处理模型,包括 360GPT2 Pro、360GPT Pro、360GPT Turbo 和 360GPT Turbo Responsibility 8K。这些模型结合了大规模参数和多模态能力,广泛应用于文本生成、语义理解、对话系统与代码生成等领域。通过灵活的定价策略,360 AI 满足多样化用户需求,支持开发者集成,推动智能化应用的革新和发展。
228+
- **[Infini-AI](https://lobechat.com/discover/provider/infiniai)**: 无问芯穹 (InfinigenceAI) 作为国内领先的 AI 基础设施企业,致力于成为大模型时代首选的算力运营商。依托 “多元异构、软硬协同” 的核心技术优势,打造了连接 “M 种模型” 和 “N 种芯片” 的 “MxN” AI 基础设施新范式,实现多种大模型算法在多元芯片上的高效协同部署。无问芯穹 Infini-AI 异构云平台基于多元芯片算力底座,向大模型开发者提供极致性价比的高性能算力和原生工具链,为大模型从开发到部署的全生命流程降本增效。
228229

229230
</details>
230231

docs/self-hosting/environment-variables/model-provider.mdx

+13
Original file line numberDiff line numberDiff line change
@@ -573,5 +573,18 @@ If you need to use Azure OpenAI to provide model services, you can refer to the
573573
- Default: `-`
574574
- Example: `-all,+deepseek-r1->deepseek-r1-250120,+deepseek-v3->deepseek-v3-241226,+doubao-1.5-pro-256k->doubao-1-5-pro-256k-250115,+doubao-1.5-pro-32k->doubao-1-5-pro-32k-250115,+doubao-1.5-lite-32k->doubao-1-5-lite-32k-250115`
575575

576+
### `INFINIAI_API_KEY`
577+
578+
- Type: Required
579+
- Description: This is the API key you applied from Infini-AI, you can check it out [here](https://cloud.infini-ai.com)
580+
- Default: -
581+
- Example: `sk-xxxxxx...xxxxxx`
582+
583+
### `INFINIAI_MODEL_LIST`
584+
585+
- Type: Optional
586+
- Description: Used to control the model list, use `+` to add a model, use `-` to hide a model, use `model_name->deploymentName=display_name` to customize the display name of a model, separated by commas. Definition syntax rules see [model-list][model-list]
587+
- Default: `-`
588+
- Example: `-all,+qwq-32b,+deepseek-r1`
576589

577590
[model-list]: /docs/self-hosting/advanced/model-list

docs/self-hosting/environment-variables/model-provider.zh-CN.mdx

+14
Original file line numberDiff line numberDiff line change
@@ -571,4 +571,18 @@ LobeChat 在部署时提供了丰富的模型服务商相关的环境变量,
571571
- 默认值:`-`
572572
- 示例:`-all,+deepseek-r1->deepseek-r1-250120,+deepseek-v3->deepseek-v3-241226,+doubao-1.5-pro-256k->doubao-1-5-pro-256k-250115,+doubao-1.5-pro-32k->doubao-1-5-pro-32k-250115,+doubao-1.5-lite-32k->doubao-1-5-lite-32k-250115`
573573

574+
### `INFINIAI_API_KEY`
575+
576+
- 类型:必选
577+
- 描述:这是你在 [Infini-AI](https://cloud.infini-ai.com) 申请的 API 密钥。
578+
- 默认值:-
579+
- 示例:`sk-xxxxxx...xxxxxx`
580+
581+
### `INFINIAI_MODEL_LIST`
582+
583+
- 类型:可选
584+
- 描述:用来控制模型列表,使用 `+` 增加一个模型,使用 `-` 来隐藏一个模型,使用 `模型名->部署名=展示名<扩展配置>` 来自定义模型的展示名,用英文逗号隔开。模型定义语法规则见 [模型列表][model-list]
585+
- 默认值:`-`
586+
- 示例:`-all,+qwq-32b,+deepseek-r1`
587+
574588
[model-list]: /zh/docs/self-hosting/advanced/model-list

docs/usage/providers/infiniai.mdx

+29
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,29 @@
1+
---
2+
title: Using Infini-AI in LobeChat
3+
description: Learn how to configure and utilize Infini-AI's model services in LobeChat.
4+
tags:
5+
- LobeChat
6+
- Infini-AI
7+
- API Key
8+
- LLM Deployment
9+
---
10+
11+
# Using Infini-AI in LobeChat
12+
13+
[Infini-AI](https://cloud.infini-ai.com/) is a large model service platform optimized for multiple chip architectures, providing efficient and unified AGI infrastructure solutions.
14+
15+
This guide will help you quickly integrate Infini-AI's AI capabilities into LobeChat.
16+
17+
<Steps>
18+
### Step 1: Obtain Infini-AI API Key
19+
20+
- Log in to the [Large Model Service Platform](https://cloud.infini-ai.com/genstudio/model)
21+
- Select "API KEY Management" in the left navigation bar
22+
- In the newly opened page, click the "Create API KEY" button, enter a name, and click "Create"
23+
24+
### Step 2: Configure LobeChat Model Service
25+
26+
- Open LobeChat and go to the "Settings" interface
27+
- Select "Infini-AI" in the "Language Model" module
28+
- Paste the API key you obtained
29+
</Steps>
+29
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,29 @@
1+
---
2+
title: 在 LobeChat 中使用无问芯穹
3+
description: 学习如何在 LobeChat 中配置和使用无问芯穹的 API Key,实现 AI 对话交互。
4+
tags:
5+
- LobeChat
6+
- 无问芯穹
7+
- API密钥
8+
- 大模型部署
9+
---
10+
11+
# 在 LobeChat 中使用无问芯穹
12+
13+
[无问芯穹](https://cloud.infini-ai.com/)是基于多元芯片优化的大模型服务平台,提供高效统一的 AGI 基础设施解决方案。
14+
15+
本文将指导你如何在 LobeChat 中快速接入无问芯穹的 AI 能力。
16+
17+
<Steps>
18+
### 步骤一:获取无问芯穹 API Key
19+
20+
- 登录[大模型服务平台](https://cloud.infini-ai.com/genstudio/model)
21+
- 在左侧导航栏选择「API KEY 管理」
22+
- 在新打开的页面中,点击「创建 API KEY」按钮,填入名称,点击「创建」
23+
24+
### 步骤二:配置 LobeChat 模型服务
25+
26+
- 打开 LobeChat 进入「设置」界面
27+
- 在「语言模型」模块选择「Infini-AI」
28+
- 粘贴已获取的 API 密钥
29+
</Steps>

locales/ar/models.json

+30
Original file line numberDiff line numberDiff line change
@@ -521,6 +521,12 @@
521521
"charglm-3": {
522522
"description": "CharGLM-3 مصمم خصيصًا للأدوار التفاعلية والمرافقة العاطفية، يدعم ذاكرة متعددة الجولات طويلة الأمد وحوارات مخصصة، ويستخدم على نطاق واسع."
523523
},
524+
"chatglm3": {
525+
"description": "ChatGLM3 هو نموذج مغلق المصدر تم إصداره بواسطة مختبر KEG في جامعة تسينغهوا وشركة Zhizhu AI، وقد تم تدريبه مسبقًا على كميات هائلة من المعرفة المعرفية باللغتين الصينية والإنجليزية، وتم تحسينه وفقًا للاختيارات البشرية. مقارنة بالنموذج الأول، حقق تحسينات بنسبة 16٪ و 36٪ و 280٪ في MMLU و C-Eval و GSM8K على التوالي، وتصدر قائمة المهام الصينية C-Eval. يناسب هذا النموذج السيناريوهات التي تتطلب كميات كبيرة من المعرفة وقدرات الاستدلال والإبداع، مثل كتابة النصوص الإعلانية وكتابة الروايات وكتابة المحتوى المعرفي وتكوين الكود."
526+
},
527+
"chatglm3-6b-base": {
528+
"description": "ChatGLM3-6b-base هو النموذج الأساسي المفتوح المصدر الأحدث من سلسلة ChatGLM التي طورتها شركة Zhìpǔ، ويحتوي على 6 مليارات معلمة."
529+
},
524530
"chatgpt-4o-latest": {
525531
"description": "ChatGPT-4o هو نموذج ديناميكي يتم تحديثه في الوقت الحقيقي للحفاظ على أحدث إصدار. يجمع بين فهم اللغة القوي وقدرات التوليد، مما يجعله مناسبًا لمجموعة واسعة من التطبيقات، بما في ذلك خدمة العملاء والتعليم والدعم الفني."
526532
},
@@ -1133,6 +1139,9 @@
11331139
"lite": {
11341140
"description": "سبارك لايت هو نموذج لغوي كبير خفيف الوزن، يتميز بتأخير منخفض للغاية وكفاءة عالية في المعالجة، وهو مجاني تمامًا ومفتوح، ويدعم وظيفة البحث عبر الإنترنت في الوقت الحقيقي. تجعل خصائص استجابته السريعة منه مثاليًا لتطبيقات الاستدلال على الأجهزة ذات القدرة الحاسوبية المنخفضة وضبط النماذج، مما يوفر للمستخدمين قيمة ممتازة من حيث التكلفة وتجربة ذكية، خاصة في مجالات الأسئلة والأجوبة المعرفية، وتوليد المحتوى، وسيناريوهات البحث."
11351141
},
1142+
"llama-2-7b-chat": {
1143+
"description": "Llama2 هو سلسلة من النماذج اللغوية الكبيرة (LLM) التي طورتها Meta وأطلقتها كمصدر مفتوح، وهي تتكون من نماذج توليد نص مسبقة التدريب ومتخصصة بحجم يتراوح من 7 مليارات إلى 70 مليار معلمة. على مستوى العمارة، Llama2 هو نموذج لغوي تراجعي تلقائي يستخدم معمارية محول محسنة. الإصدارات المعدلة تستخدم التدريب الدقيق تحت الإشراف (SFT) والتعلم التقويمي مع تعزيزات من البشر (RLHF) لتوافق تفضيلات البشر فيما يتعلق بالفائدة والأمان. أظهر Llama2 أداءً أفضل بكثير من سلسلة Llama في العديد من المجموعات الأكاديمية، مما قدم إلهامًا لتصميم وتطوير العديد من النماذج الأخرى."
1144+
},
11361145
"llama-3.1-70b-versatile": {
11371146
"description": "Llama 3.1 70B يوفر قدرة استدلال ذكائي أقوى، مناسب للتطبيقات المعقدة، يدعم معالجة حسابية ضخمة ويضمن الكفاءة والدقة."
11381147
},
@@ -1196,6 +1205,9 @@
11961205
"max-32k": {
11971206
"description": "سبارك ماكس 32K مزود بقدرة معالجة سياق كبيرة، مع فهم أقوى للسياق وقدرة على الاستدلال المنطقي، يدعم إدخال نصوص تصل إلى 32K توكن، مما يجعله مناسبًا لقراءة الوثائق الطويلة، والأسئلة والأجوبة المعرفية الخاصة، وغيرها من السيناريوهات."
11981207
},
1208+
"megrez-3b-instruct": {
1209+
"description": "Megrez-3B-Instruct هو نموذج لغة كبير تم تدريبه بشكل مستقل من قبل شركة ووون تشينغ. يهدف Megrez-3B-Instruct إلى تقديم حل ذكاء على جهاز نهائي سريع وصغير وسهل الاستخدام من خلال مفهوم التكامل بين البرمجيات والأجهزة."
1210+
},
11991211
"meta-llama-3-70b-instruct": {
12001212
"description": "نموذج قوي بحجم 70 مليار معلمة يتفوق في التفكير، والترميز، وتطبيقات اللغة الواسعة."
12011213
},
@@ -1583,9 +1595,24 @@
15831595
"qwen/qwen2.5-coder-7b-instruct": {
15841596
"description": "نموذج قوي للبرمجة متوسطة الحجم، يدعم طول سياق يصل إلى 32K، بارع في البرمجة متعددة اللغات."
15851597
},
1598+
"qwen1.5-14b-chat": {
1599+
"description": "سلسلة Qwen1.5 هي نسخة تجريبية من Qwen2، وهي نموذج لغة قائم على Transformer يتميز بالتفكيك فقط، وقد تم تدريبه مسبقًا على كميات هائلة من البيانات. مقارنة بالإصدارات السابقة من سلسلة Qwen، تدعم سلسلة Qwen1.5 النماذج الأساسية والدردشة بعدة لغات، وقد تحسنت قدراتها في الدردشة والأساسية بشكل عام. Qwen1.5-14b-chat هو النموذج الرئيسي المخصص لسituات الدردشة، ويحتوي على 14 مليار معلمة."
1600+
},
1601+
"qwen1.5-32b-chat": {
1602+
"description": "سلسلة Qwen1.5 هي نسخة تجريبية من Qwen2، وهي نموذج لغة قائم على Transformer مصمم للتفكيك فقط، وقد تم تدريبه مسبقًا على كميات هائلة من البيانات. مقارنة بالإصدارات السابقة من سلسلة Qwen، تدعم سلسلة Qwen1.5 النماذج الأساسية والدردشة بعدة لغات، وقد تحسنت قدراتها في الدردشة والأساسية بشكل عام. Qwen1.5-32b-chat هو نموذج كبير بحجم 32 مليار معلمة مخصص لسituات الدردشة، وهو أقوى في سituات الذكاء الاصطناعي مقارنة بنموذج 14 مليار معلمة، وأقل تكلفة في الاستدلال مقارنة بنموذج 72 مليار معلمة."
1603+
},
1604+
"qwen1.5-72b-chat": {
1605+
"description": "سلسلة Qwen1.5 هي نسخة تجريبية من Qwen2، وهي نموذج لغة قائم على Transformer مصمم للتفكيك فقط، وقد تم تدريبه مسبقًا على كميات هائلة من البيانات. مقارنة بالإصدارات السابقة من سلسلة Qwen، تدعم سلسلة Qwen1.5 النماذج الأساسية والدردشة بعدة لغات، وقد تحسنت قدراتها في الدردشة والأساسية بشكل عام. Qwen1.5-72b-chat هو النموذج الكبير المخصص لسituات الدردشة، ويحتوي على 72 مليار معلمة."
1606+
},
15861607
"qwen2": {
15871608
"description": "Qwen2 هو نموذج لغوي كبير من الجيل الجديد من Alibaba، يدعم أداءً ممتازًا لتلبية احتياجات التطبيقات المتنوعة."
15881609
},
1610+
"qwen2-72b-instruct": {
1611+
"description": "Qwen2 هو سلسلة نماذج لغوية كبيرة جديدة تم إطلاقها من قبل فريق Qwen. تعتمد هذه النماذج على هندسة Transformer وتستخدم دالة التنشيط SwiGLU، وتحيز الانتباه QKV (attention QKV bias)، وانتباه الاستفسار الجماعي (group query attention)، وخلط انتباه النافذة المتزحلقة والانتباه الكامل (mixture of sliding window attention and full attention). بالإضافة إلى ذلك، قام فريق Qwen بتحسين مجزئ يتكيف مع العديد من اللغات الطبيعية والأكواد."
1612+
},
1613+
"qwen2-7b-instruct": {
1614+
"description": "Qwen2 هو سلسلة نماذج لغوية كبيرة جديدة تم طرحها من قبل فريق Qwen. يعتمد هذا النموذج على هندسة Transformer، ويستخدم دالة التنشيط SwiGLU، وتحيز QKV للانتباه (attention QKV bias)، وانتباه الاستفسار الجماعي (group query attention)، وخلط انتباه النافذة المتزحلقة والانتباه الكامل. بالإضافة إلى ذلك، قام فريق Qwen بتحسين المقطّع الذي يتكيف مع العديد من اللغات الطبيعية والأكواد."
1615+
},
15891616
"qwen2.5": {
15901617
"description": "Qwen2.5 هو الجيل الجديد من نماذج اللغة الكبيرة من Alibaba، يدعم احتياجات التطبيقات المتنوعة بأداء ممتاز."
15911618
},
@@ -1763,6 +1790,9 @@
17631790
"wizardlm2:8x22b": {
17641791
"description": "WizardLM 2 هو نموذج لغوي تقدمه Microsoft AI، يتميز بأداء ممتاز في الحوار المعقد، واللغات المتعددة، والاستدلال، والمساعدين الذكيين."
17651792
},
1793+
"yi-1.5-34b-chat": {
1794+
"description": "يي-1.5 هو إصدار مُحدّث من يي. تم تدريبه بشكل مُسبق باستخدام مكتبة بيانات عالية الجودة تحتوي على 500 مليار علامة (Token) على يي، وتم تحسينه أيضًا باستخدام 3 ملايين مثال متنوع للتدريب الدقيق."
1795+
},
17661796
"yi-large": {
17671797
"description": "نموذج جديد بمليارات المعلمات، يوفر قدرة قوية على الإجابة وتوليد النصوص."
17681798
},

0 commit comments

Comments
 (0)