简述
通过普通的 PC 电脑本地化部署大模型提供基于 deepseek r1 的模型能力。办公 PC 的配置如下：
CPU：i5-11400F 2.60GHz 内存：8G，集成显卡。操作系统：Debian
- ollama 提供模型集成整合能力
- deepseek r1 提供大模型算法能力
- dify 提供 GUI 的整合能力
docker 环境配置
略，参考2011-Photon 容器主机配置指引 和 debian 容器环境配置
Ollama 配置
参照官网的配置说明下载对应的版本：https://github.com/ollama/ollama/blob/main/docs/linux.md。网络环境不太稳定的情况建议考虑离线安装的方式。
1、下载 ollama 离线版本
ollama 有不同的离线版本，主要适配集成显卡、AMD显卡和 Nvidia CUDA 的显卡以及 ARM 版本。这里下载的是通用版本
2、安装并运行 ollama
| 代码块 | ||
|---|---|---|
| ||
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz tar -C /usr -xzf ollama-linux-amd64.tgz ollama serve ollama -v sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama sudo usermod -a -G ollama $(whoami) |
3、配置自启动服务
| 信息 |
|---|
需要注意在配置文件中增加 “Environment="OLLAMA_HOST=0.0.0.0"，否则在后面的Dify GUI 配置界面会出现连接失败的错误 |
| 代码块 | ||
|---|---|---|
| ||
cat > /etc/systemd/system/ollama.service << EOF [Unit] Description=Ollama Service After=network-online.target [Service] Environment="OLLAMA_HOST=0.0.0.0" ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=$PATH" [Install] WantedBy=default.target EOF systemctl daemon-reload systemctl enable ollama systemctl start ollama |
加载 deepseek r1 模型
在线更新所需的模型是最简单的
| 代码块 | ||
|---|---|---|
| code||
ollama run deepseek-r1:32b
ollama list |
如果正常方式下载模型的速度比较慢，可以考虑配置国内的镜像方式下载。详细的操作可以参考以下：
参考
部署并配置 dify
部署 dify
通过 docker 部署是最省事的
| 代码块 | ||
|---|---|---|
| ||
git clone https://github.com/langgenius/dify.git cd dify/docker cp .env.example .env docker compose up |
dify 配置
默认情况下打开 URL 即可访问
1、进入【设置】-【模型供应商】选择 ollama
2、在 配置页面输入对应的主机 URL
3、配置后即可按需求发布应用
导入第三方应用
网上有很多已经配置好的 Dify 应用，下载后导入后即可学习。这里导入的应用是【完蛋！我被LLM包围了！】。
成功导入并调整后能正常运行，如下图所示：
要实现上述的效果，需要调整模型和对应的组件。默认的情况下它无法正常启用，会提示错误或缺少相关组件。
1、下载需要导入的应用。通过 https://github.com/svcvit/Awesome-Dify-Workflow 下载，需要导入的应用都在 DSL 目录中存储。
2、修改 docker-compose.yaml 中对应的 sandbox 镜像配置，将 image: langgenius/dify-sandbox:0.2.10 修改为 image: svcvit/dify-sandbox-py:0.1.2
3、配置 sandbox 所需的依赖包
| 代码块 | ||
|---|---|---|
| ||
cat > volumes/sandbox/dependencies/python-requirements.txt << EOF
sympy~=1.13.3
matplotlib~=3.9.3
requests~=2.32.3
EOF |
4、重新启动配置文件后，容器会自动加载并更新组件和依赖包
如果导入 DSL 文件后在运行的过程中仍然提示缺少相关的组件，可以按照下面的方式更新
| 代码块 | ||
|---|---|---|
| ||
vim volumes/sandbox/dependencies/python-requirements.txt
添加缺失的组件
docker stop docker-sandbox-1
docker compose up -d sandbox |
| 目录 |
|---|