通过本文你将学会
-
快速上手Spring-AI：聊天、图像、音频翻译、文本转语音、多模态应用
-
Ollama本地部署：高效安装与使用大模型
-
Lobe Chat与WebUI：直观界面，轻松访问本地大模型
-
本文示例代码仓库地址：https://github.com/ChenJiahao0205/Spring-AI-Learning
-
快速使用
- 快速搭建本地大模型并使用的方案：Ollama + Docker + Lobe Chat(安装加使用最多花费一个小时，跳到对应章节即可)
Spring Al是一个AI工程领域的应用程序框架 它的目标是将Spring生态系统的设计原则应用于于人工智能领域，比如Spring生态系统的可移植性和模块化设计，并推广使用POJO来构建人工智能领域应用程序; Spring AI并不是要构建一个自己的AI大模型，而是让你对接各种AI大模型
官方文档：https://spring.io/projects/spring-ai#learn
Spring-AI文档：https://docs.spring.io/spring-ai/reference/1.0/getting-started.html
https://spring.io/projects/spring-ai#overview
主要分类有聊天、文本到图像、嵌入式等
本文使用的spring-ai版本为1.0.0-SNAPSHOT
这里为了隐藏api-key和base-url细节，将他们配置到环境变量中了
可以在配置文件指定模型(其他参数也可以在这里配置，例如温度等，参考官方文档https://docs.spring.io/spring-ai/reference/api/chat/openai-chat.html)
https://www.bilibili.com/video/BV1d1421d7Fy?p=32
例如：提问的时候附带以上图片，参考图片回答问题
https://ollama.com/
- 运行一个7B(70亿参数)模型，至少需要8G内存
- 13B(130亿参数)的模型至少需要16B的内存
- 33B(330亿参数)的模型至少需要32G的内存
在磁盘至少要预留50G
https://ollama.com/library
复制右边代码到控制台执行即可
安装qwen:0.5b模型
测试
Ollama api会监听11434端口
windows查看端口：netstat -ano | findstr 11434
代码中访问11434端口即可
这里不选择OpenAI了，选择Ollama
默认使用的mistral模型，我们下载的qwen:0.5b模型，所以报错了
解决方案
- 方案1：下载mistral模型(太大了，这里先不下载了)
- 方案2：指定模型
这里采用方案2解决
修改配置文件
Open WebUI 官网：https://www.openwebui.com/
- 方式1：Docker（官方推荐）
- 方式2 ：源码安装
- https://docs.openwebui.com/getting-started/#install-from-open-webui-github-repo
Windows下使用Docker的工具Docker Desktop
下载地址：https://www.docker.com/products/docker-desktop/
https://docs.openwebui.com/getting-started/#installation-with-default-configuration
安装Open WebUI命令
docker数据会同步保存在本地磁盘的该位置
执行命令
下载完成
我们通过3000端口映射的8080
http://localhost:3000/
进入到主页面
设置模型
演示
官网：https://lobehub.com
一件免费拥有自己的ChatGPT/Gemini/claude/ollama应用
https://github.com/lobehub/lobe-chat/blob/main/README.zh-CN.md#-%E5%BC%80%E7%AE%B1%E5%8D%B3%E7%94%A8
完整部署教程：https://lobehub.com/zh/docs/self-hosting/start
使用Docker部署
命令
OPENAI_API_KEY=目前可以先随便填充一个，后面再UI界面设置
拉取镜像
http://localhost:3210
添加一个助手
使用助手
使用本地安装的大模型qwen:0.5b
下载gemma:2b使用
大模型排行榜：https://www.superclueai.com/
https://gitee.com/chenjiahao0205/spring-ai-learning
解决方案
项目中添加该依赖
参考原文
https://stackoverflow.com/questions/78121525/spring-ai-openai-error-extracting-response-of-type-openaiapiembeddinglist
退出登录
重新登录
问题解决
本文结合B站视频学习总结得到，参考视频：https://www.bilibili.com/video/BV1d1421d7Fy/