正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史记录

« 前一个 版本 3 当前 »

简述

通过普通的 PC 电脑本地化部署大模型提供基于 deepseek r1 的模型能力。办公 PC 的配置如下：

CPU：i5-11400F  2.60GHz 内存：8G，集成显卡。操作系统：Debian

  • ollama 提供模型集成整合能力
  • deepseek r1 提供大模型算法能力
  • dify 提供 GUI 的整合能力

docker 环境配置

略，参考2011-Photon 容器主机配置指引 和 debian 容器环境配置

Ollama 配置

参照官网的配置说明下载对应的版本：https://github.com/ollama/ollama/blob/main/docs/linux.md。网络环境不太稳定的情况建议考虑离线安装的方式。

1、下载 ollama 离线版本

ollama 有不同的离线版本，主要适配集成显卡、AMD显卡和 Nvidia CUDA 的显卡以及 ARM 版本。这里下载的是通用版本

2、安装并运行 ollama

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
tar -C /usr -xzf ollama-linux-amd64.tgz
ollama serve
ollama -v
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

3、配置自启动服务

需要注意在配置文件中增加 “Environment="OLLAMA_HOST=0.0.0.0"，否则在后面的Dify GUI 配置界面会出现连接失败的错误

cat > /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target
EOF

systemctl daemon-reload
systemctl enable ollama
systemctl start ollama

加载 deepseek r1 模型

在线更新所需的模型是最简单的

ollama run deepseek-r1:32b
ollama list

如果正常方式下载模型的速度比较慢，可以考虑配置国内的镜像方式下载。详细的操作可以参考以下：

参考

部署并配置 dify

部署 dify

通过 docker 部署是最省事的

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up

dify 配置

默认情况下打开 URL 即可访问

1、进入【设置】-【模型供应商】选择 ollama

2、在 配置页面输入对应的主机 URL 

3、配置后即可按需求发布应用

导入第三方应用

网上有很多已经配置好的 Dify 应用，下载后导入后即可学习。这里导入的应用是【完蛋！我被LLM包围了！】。

成功导入并调整后能正常运行，如下图所示：

要实现上述的效果，需要调整模型和对应的组件。默认的情况下它无法正常启用，会提示错误或缺少相关组件。

1、下载需要导入的应用。通过 https://github.com/svcvit/Awesome-Dify-Workflow 下载，需要导入的应用都在 DSL 目录中存储。

2、修改 docker-compose.yaml 中对应的 sandbox 镜像配置，将 image: langgenius/dify-sandbox:0.2.10 修改为 image: svcvit/dify-sandbox-py:0.1.2 

3、配置 sandbox 所需的依赖包

cat > volumes/sandbox/dependencies/python-requirements.txt << EOF
sympy~=1.13.3
matplotlib~=3.9.3
requests~=2.32.3
EOF

4、重新启动配置文件后，容器会自动加载并更新组件和依赖包

如果导入 DSL 文件后在运行的过程中仍然提示缺少相关的组件，可以按照下面的方式更新

vim volumes/sandbox/dependencies/python-requirements.txt
添加缺失的组件
docker stop docker-sandbox-1
docker compose up -d sandbox


  • 无标签