LLM工具大全

背景

2023年是开源LLM爆发的一年，不仅包含非常多优秀的开源模型，还有大量结合LLM开发智能应用的工具，这篇文章主要整理相关内容，包括但不限于以下：

在本地LLM部署方面，有多个开源工具可供选择，以下是其中一些的对比：

工具	部署难度	GUFF量化模型支持	兼容OpenAI的REST风格API	模型微调	函数调用工具	文本嵌入模型支持	Apple M芯片支持
LocalAI	⭐️⭐️⭐️⭐️	✅	✅	❌	❌	❌	✅
Ollama	⭐️	✅	❌	❌	❌	❌	✅
OpenLLM	⭐️⭐️	✅	❌	✅	❌	❌	❌
Xinference	⭐️⭐️	✅	✅	❌	✅	❌	✅
Fastchat	⭐️⭐️	❌	✅	❌	❌	❌	✅

对于不兼容OpenAI的REST风格API的部署工具，可以使用以下代理服务：

代理服务	支持工具
liteLLM	对于某些不兼容openai的REST风格API的部署工具，比如Ollama，可以使用liteLLM开启代理服务，从而间接支持
oneapi	统一接口管理和分发系统，整合多种开源模型的API
AI gateway

在低代码工具开发方面，有几个项目可供选择：

工具	部署难度	易用度	RAG支持	多路召回	rerank模型	函数调用工具
dify	⭐️⭐️	⭐️⭐️⭐️⭐️	⭐️⭐️⭐️⭐️	✅	✅	❌
fastgpt	⭐️⭐️⭐️⭐️	⭐️⭐️	⭐️⭐️⭐️⭐️	✅	❌	✅
flowise	⭐️	⭐️⭐️⭐️⭐️	⭐️⭐️	❌	❌	✅
langflow	⭐️	⭐️ ⭐️ ⭐️	⭐️ ⭐️ ⭐️	✅	❌	✅
bionic-gpt	⭐️⭐️	⭐️⭐️	⭐️⭐️	❌	❌	❌

以下是一些Agent工具：

以下是一些免费的大模型聊天平台，包含许多最新的开源模型：