AI私有化部署攻略
2025-2-9
| 2026-8-26
字数 542阅读时长 2 分钟

单机部署

环境准备

windows

  1. 安装好WSL虚拟机,这里推荐用Ubuntu
  1. WSL端口映射11434,80,443
    1. 添加宿主机防火墙端口
      1. 控制面板 → Windows Defender防火墙 → 高级设置 → 入站规则 → 新建规则 → 加入11434,80,443
    1. WSL性能优化(可选)
      1. WSL默认使用宿主机所有CPU核心、内存使用一半,修改配置步骤如下:
        • Windows + R 键,输入 %UserProfile% 并运行进入用户文件夹
        • 用户文件夹下新建文件 .wslconfig,例子文件如下:
        • 然后运行cmd,输入 wsl --shutdown 来关闭当前的子系统,重新运行bash进入子系统

    mac

    安装好brewdocker-composedocker desktop工具即可

    Ollama安装及调试

    windows

    • 安装及使用
      • 安装方式1:下载ollama桌面版,双击安装,地址
        安装方式2:进入WSL虚拟机Ubuntu,输入sudo apt install ollama
    • 外网访问配置

      mac

      • 安装及使用
        •  
      • 外网访问配置
        • OLLAMA_HOST=0.0.0.0 表示让Ollama监听所有网络接口,从而允许外网访问。
        • OLLAMA_ORIGINS=* 表示允许所有来源的跨域请求。
        • 确保Mac的防火墙允许11434端口的通信
        • 如果使用的是动态IP,建议设置静态IP地址

      Dify安装及调试

      常用选型

      比如:dify、fastgpt、cherry studio、ragflow、coze
      来自工业界的开源知识库 RAG 项目最全细节对比

      安装

      配置

      模型名称:输入模型全称(切记
      基础URL:
      • 单机推荐:http://host.docker.internal:11434
      • 集群推荐:http://[宿主IP]:11434

      附件

    • DeepSeek
    • Agent
    • DeepSeek-R1私有化部署硬件要求架构师能力模型图
      Loading...