前言

  • 最近 DeepSeek 大火，但是碰上服务器超时，线上的体验极差。虽然本地硬件设备完全部署不了 671B 的满血版（没有那个财力），但是还是想尝试一下它们开源的小号模型，顺便看看其他家开源模型在实际使用中的效果
  • 本地部署 LLM 的工具还挺多的，例如 Ollama、vLLM 这些，考虑到完善程度和使用体验，还是选择了 Ollama 来玩玩看

安装 & 部署

Ollama 安装

Ollama 自定义模型保存路径

Windows

  • 右键点击 此电脑，选择 属性，在弹出的窗口中选择 高级系统设置，在弹出的窗口中选择 环境变量，在窗口中的下半部分系统变量中选择 新建
    变量名：OLLAMA_MODELS
    变量值：[自定义的模型存储路径]，例如 D:\Ollama\models
  • 保存后，重启 Ollama 程序即可（问我怎么重启？任务管理器，启动！或者对右下角图标右键，点退出，再开！）

Linux & MacOS

  • 步骤相对 Windows 来说很简单
  1. 先创建需要保存的路径
  2. 在终端对应的 ~/.bashrc 或者 ~/.zshrc 文件中添加一行即可
    export OLLAMA_MODELS="[自定义的模型存储路径]"
  3. 保存后，执行 source ~/.bashrc 或者 source ~/.zshrc 使配置生效
  4. 重启 Ollama 程序

模型下载（无脑版）

  • 模型列表（官网）

    https://ollama.com/search

  • 在官网中挑选心仪的模型，根据自身的硬件条件，选择合适的模型大小，此时界面中会给出类似 ollama run [Model Name]:[Model Size] 的命令，直接复制到终端中运行即可

  • 此命令意味着直接运行该模型，若本地不存在，则下载后自动运行

  • 若只是想下载模型，可以使用 ollama pull [Model Name]:[Model Size] 命令
  • 以下是本人测试过后的硬件需求情况，仅供参考（本人笔记本非常的丐，来个富哥带一带）
模型 参数大小 显存需求
qwen2.5 0.5 B 1 GB
qwen2.5 3 B 2.6 GB
qwen2.5 7 B 5.2 GB
qwen2.5 14 B 10.3 GB
deepseek-r1 1.5 B 1.6 GB
deepseek-r1 7 B 5.2 GB
deepseek-r1 14 B 10.3 GB

常见命令

  • 可以通过 ollama --help 查看（多学英文，懒得翻译了）
    Usage:
      ollama [flags]
      ollama [command]

    Available Commands:
      serve       Start ollama
      create      Create a model from a Modelfile
      show        Show information for a model
      run         Run a model
      stop        Stop a running model
      pull        Pull a model from a registry
      push        Push a model to a registry
      list        List models
      ps          List running models
      cp          Copy a model
      rm          Remove a model
      help        Help about any command

    Flags:
      -h, --help      help for ollama
      -v, --version   Show version information

    Use "ollama [command] --help" for more information about a command.

日常使用

  • 当前暂时还没有进行 Web 对话问答的需求，Poe、chatgpt 等这些的 Web 端都挺好用的
  • 如果要对话，可以在终端对话，或者使用 chatbox、cherry-studio 等工具进行对话
  • 这里记录的是使用模型完成一些联网会出现问题的功能

划词翻译

  • 许多划词翻译工具通过调用 Google 或者 DeepL 的翻译接口来实现，但是这些接口有时候会经历超时、限制访问等问题，导致翻译失败
  • 通过 Ollama，直接调用模型进行翻译，不受网络限制，效果还不错

Windows

  • 日常使用的是开源软件 Pot
  • 其已经支持了 Ollama 的调用，只需要在设置中添加内置服务，填写好对应的地址、端口号（默认是 http://localhost:11434）和打算调用的本地模型即可
  • 本人使用的是 qwen2.5:3b 模型，占用挺低的，效果也还不错（感觉比 Google 强，比 DeepL 弱），翻译速度还挺快

MacOS

  • 日常使用的是 社区版 Bob
  • 在 Bob 第三方插件列表 中，确实存在调用本地 Ollama 的插件，但是只有付费商店版才支持，社区版不支持（已知本人钱包空空）
  • 还好天无绝人之路，在 Github 上找到了一个老哥写的 Ollama 插件，非常感谢他！
  • 安装好插件后，和 Windows 上一样配置好 Ollama 的地址、端口号和模型名称，即可使用

未来更多使用的小记将持续更新…

  • 挖个坑先，等有时间再填

问题集合

端口占用问题

  • 在 Windows 中运行出现默认 11434 端口报错
    Error: listen tcp 127.0.0.1:11434: bind: An attempt was made to access a socket in a way forbidden by its access permissions.
  • 在系统环境变量中添加以下键值对。保存后，重启 Ollama 程序即可
    变量名：OLLAMA_HOST
    变量值：[计划使用的端口号]，例如 11435

    修改端口号后，后续外部调用时，别忘记进行修改

参考