单机部署
环境准备
windows
- 安装好WSL虚拟机,这里推荐用Ubuntu
- WSL端口映射
11434,80,443
- 添加宿主机防火墙端口
控制面板 → Windows Defender防火墙 → 高级设置 → 入站规则 → 新建规则 → 加入11434,80,443
- WSL性能优化(可选)
- Windows + R 键,输入
%UserProfile%并运行进入用户文件夹 - 用户文件夹下新建文件
.wslconfig,例子文件如下: - 然后运行cmd,输入
wsl --shutdown来关闭当前的子系统,重新运行bash进入子系统
WSL默认使用宿主机所有CPU核心、内存使用一半,修改配置步骤如下:
mac
安装好
brew、docker-compose、 docker desktop工具即可Ollama安装及调试
windows
- 安装及使用
安装方式1:下载ollama桌面版,双击安装,地址
安装方式2:进入WSL虚拟机Ubuntu,输入
sudo apt install ollama- 外网访问配置
mac
- 安装及使用
- 外网访问配置
OLLAMA_HOST=0.0.0.0表示让Ollama监听所有网络接口,从而允许外网访问。OLLAMA_ORIGINS=*表示允许所有来源的跨域请求。- 确保Mac的防火墙允许11434端口的通信
- 如果使用的是动态IP,建议设置静态IP地址
Dify安装及调试
常用选型
比如:dify、fastgpt、cherry studio、ragflow、coze
来自工业界的开源知识库 RAG 项目最全细节对比安装
配置
模型名称:输入模型全称(切记)
基础URL:
- 单机推荐:
http://host.docker.internal:11434
- 集群推荐:
http://[宿主IP]:11434