Ollama 使用小记

前言

#

• 最近 DeepSeek 大火，但是碰上服务器超时，线上的体验极差。虽然本地硬件设备完全部署不了 671B 的满血版（没有那个财力），但是还是想尝试一下它们开源的小号模型，顺便看看其他家开源模型在实际使用中的效果
• 本地部署 LLM 的工具还挺多的，例如 Ollama、vLLM 这些，考虑到完善程度和使用体验，还是选择了 Ollama 来玩玩看

安装 & 部署

#

Ollama 安装

#

• 根据不同的设备，下载对应的 Ollama 版本进行安装，安装后，在终端中输入 ollama --version，正常显示版本号，表示 OK 了
• Ollama
• Ollama 的 Github 仓库

Ollama 自定义模型保存路径

#

• 细心的朋友发现了，安装的时候无法选择模型存储的路径，需要手动配置一下
• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\%username%\.ollama\models
• 官方常见问题与解答

Windows

#

• 右键点击 此电脑，选择 属性，在弹出的窗口中选择 高级系统设置，在弹出的窗口中选择 环境变量，在窗口中的下半部分系统变量中选择 新建

  1 2	变量名：OLLAMA_MODELS 变量值：[自定义的模型存储路径]，例如 D:\Ollama\models

• 保存后，重启 Ollama 程序即可（问我怎么重启？任务管理器，启动！或者对右下角图标右键，点退出，再开！）

Linux & MacOS

#

• 步骤相对 Windows 来说很简单

1. 先创建需要保存的路径
2. 在终端对应的 ~/.bashrc 或者 ~/.zshrc 文件中添加一行即可

1

export OLLAMA_MODELS="[自定义的模型存储路径]"

3. 保存后，执行 source ~/.bashrc 或者 source ~/.zshrc 使配置生效
4. 重启 Ollama 程序

模型下载（无脑版）

#

• 模型列表（官网）
• 在官网中挑选心仪的模型，根据自身的硬件条件，选择合适的模型大小，此时界面中会给出类似 ollama run [Model Name]:[Model Size] 的命令，直接复制到终端中运行即可
  此命令意味着直接运行该模型，若本地不存在，则下载后自动运行
• 若只是想下载模型，可以使用 ollama pull [Model Name]:[Model Size] 命令
• 以下是本人测试过后的硬件需求情况，仅供参考（本人笔记本非常的丐，来个富哥带一带）

常见命令

#

• 可以通过 ollama --help 查看

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

日常使用

#

• 当前暂时还没有进行 Web 对话问答的需求，Poe、chatgpt 等这些的 Web 端都挺好用的
• 如果要对话，可以在终端对话，或者使用 chatbox、cherry-studio 等工具进行对话
• 这里记录的是使用模型完成一些联网会出现问题的功能

划词翻译

#

• 许多划词翻译工具通过调用 Google 或者 DeepL 的翻译接口来实现，但是这些接口有时候会经历超时、限制访问等问题，导致翻译失败
• 通过 Ollama，直接调用模型进行翻译，不受网络限制，效果还不错

Windows

#

• 日常使用的是开源软件 Pot
• 其已经支持了 Ollama 的调用，只需要在设置中添加内置服务，填写好对应的地址、端口号（默认是 http://localhost:11434）和打算调用的本地模型即可
• 本人使用的是 qwen2.5:3b 模型，占用挺低的，效果也还不错（感觉比 Google 强，比 DeepL 弱），翻译速度还挺快

MacOS

#

• 日常使用的是 社区版 Bob
• 在 Bob 第三方插件列表 中，确实存在调用本地 Ollama 的插件，但是只有付费商店版才支持，社区版不支持（已知本人钱包空空）
• 还好天无绝人之路，在 Github 上找到了一个老哥写的 Ollama 插件，非常感谢他！
• 安装好插件后，和 Windows 上一样配置好 Ollama 的地址、端口号和模型名称，即可使用

未来更多使用的小记将持续更新…

#

• 挖个坑先，等有时间再填

问题集合

#

端口占用问题

#

• 在 Windows 中运行出现默认 11434 端口报错

  1	Error: listen tcp 127.0.0.1:11434: bind: An attempt was made to access a socket in a way forbidden by its access permissions.

• 在系统环境变量中添加以下键值对。保存后，重启 Ollama 程序即可

  1 2	变量名：OLLAMA_HOST 变量值：[计划使用的端口号]，例如 11435

参考

#

ollama 安装部署教程《Windows/Linux，Mac》

官方常见问题与解答