简述
通过普通的 PC 电脑本地化部署大模型提供基于 deepseek r1 的模型能力。办公 PC 的配置如下：
CPU：i5-11400F 2.60GHz 内存：8G，集成显卡。操作系统：Debian
- ollama 提供模型集成整合能力
- deepseek r1 提供大模型算法能力
- dify 提供 GUI 的整合能力
docker 环境配置
略，参考2011-Photon 容器主机配置指引 和 debian 容器环境配置
Ollama 配置
参照官网的配置说明下载对应的版本：https://github.com/ollama/ollama/blob/main/docs/linux.md。网络环境不太稳定的情况建议考虑离线安装的方式。
1、下载 ollama 离线版本
ollama 有不同的离线版本，主要适配集成显卡、AMD显卡和 Nvidia CUDA 的显卡以及 ARM 版本。这里下载的是通用版本
2、安装并运行 ollama
| 代码块 | ||
|---|---|---|
| ||
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
tar -C /usr -xzf ollama-linux-amd64.tgz
ollama serve
ollama -v
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami) |
3、配置自启动服务
| 信息 |
|---|
需要注意在配置文件中增加 “Environment="OLLAMA_HOST=0.0.0.0"，否则在后面的Dify GUI 配置界面会出现连接失败的错误 |
| 代码块 | ||
|---|---|---|
| ||
cat > /etc/systemd/system/ollama.service << EOF [Unit] Description=Ollama Service After=network-online.target [Service] Environment="OLLAMA_HOST=0.0.0.0" ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=$PATH" [Install] WantedBy=default.target EOF systemctl daemon-reload systemctl enable ollama systemctl start ollama |
加载 deepseek r1 模型
在线更新所需的模型是最简单的
| 代码块 | ||
|---|---|---|
| ||
code |
参考
部署并配置 dify
部署 dify
通过 docker 部署是最省事的
| 代码块 | ||
|---|---|---|
| ||
git clone https://github.com/langgenius/dify.git cd dify/docker cp .env.example .env docker compose up |
dify 配置
默认情况下打开 URL 即可访问
1、进入【设置】-【模型供应商】选择 ollama
2、在 配置页面输入对应的主机 URL
3、配置后即可按需求发布应用
| 目录 |
|---|