1245 字
6 分钟
Ollama 使用小记
前言
- 最近 DeepSeek 大火，但是碰上服务器超时，线上的体验极差。虽然本地硬件设备完全部署不了
671B的满血版（没有那个财力），但是还是想尝试一下它们开源的小号模型，顺便看看其他家开源模型在实际使用中的效果 - 本地部署 LLM 的工具还挺多的，例如
Ollama、vLLM这些，考虑到完善程度和使用体验，还是选择了Ollama来玩玩看
安装 & 部署
Ollama 安装
- 根据不同的设备，下载对应的
Ollama版本进行安装，安装后，在终端中输入ollama --version，正常显示版本号，表示 OK 了 - Ollama
- Ollama 的 Github 仓库
Ollama 自定义模型保存路径
- 细心的朋友发现了，安装的时候无法选择模型存储的路径，需要手动配置一下
- macOS:
~/.ollama/models - Linux:
/usr/share/ollama/.ollama/models - Windows:
C:\Users\%username%\.ollama\models - 官方常见问题与解答
Windows
- 右键点击
此电脑，选择属性，在弹出的窗口中选择高级系统设置，在弹出的窗口中选择环境变量，在窗口中的下半部分系统变量中选择新建变量名：OLLAMA_MODELS变量值：[自定义的模型存储路径]，例如 D:\Ollama\models - 保存后，重启 Ollama 程序即可（问我怎么重启？任务管理器，启动！或者对右下角图标右键，点退出，再开！）
Linux & MacOS
- 步骤相对 Windows 来说很简单
- 先创建需要保存的路径
- 在终端对应的
~/.bashrc或者~/.zshrc文件中添加一行即可
export OLLAMA_MODELS="[自定义的模型存储路径]"- 保存后，执行
source ~/.bashrc或者source ~/.zshrc使配置生效 - 重启 Ollama 程序
模型下载（无脑版）
- 模型列表（官网）
- 在官网中挑选心仪的模型，根据自身的硬件条件，选择合适的模型大小，此时界面中会给出类似
ollama run [Model Name]:[Model Size]的命令，直接复制到终端中运行即可NOTE
此命令意味着直接运行该模型，若本地不存在，则下载后自动运行
- 若只是想下载模型，可以使用
ollama pull [Model Name]:[Model Size]命令 - 以下是本人测试过后的硬件需求情况，仅供参考（本人笔记本非常的丐，来个富哥带一带）
| 模型 | 参数大小 | 显存需求 |
|---|---|---|
| qwen2.5 | 0.5 B | 1 GB |
| qwen2.5 | 3 B | 2.6 GB |
| qwen2.5 | 7 B | 5.2 GB |
| qwen2.5 | 14 B | 10.3 GB |
| deepseek-r1 | 1.5 B | 1.6 GB |
| deepseek-r1 | 7 B | 5.2 GB |
| deepseek-r1 | 14 B | 10.3 GB |
常见命令
- 可以通过
ollama --help查看
Usage: ollama [flags] ollama [command]
Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model stop Stop a running model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any command
Flags: -h, --help help for ollama -v, --version Show version information
Use "ollama [command] --help" for more information about a command.日常使用
- 当前暂时还没有进行 Web 对话问答的需求，Poe、chatgpt 等这些的 Web 端都挺好用的
- 如果要对话，可以在终端对话，或者使用 chatbox、cherry-studio 等工具进行对话
- 这里记录的是使用模型完成一些联网会出现问题的功能
划词翻译
- 许多划词翻译工具通过调用 Google 或者 DeepL 的翻译接口来实现，但是这些接口有时候会经历超时、限制访问等问题，导致翻译失败
- 通过 Ollama，直接调用模型进行翻译，不受网络限制，效果还不错
Windows
- 日常使用的是开源软件 Pot
- 其已经支持了 Ollama 的调用，只需要在设置中
添加内置服务，填写好对应的地址、端口号（默认是http://localhost:11434）和打算调用的本地模型即可 - 本人使用的是
qwen2.5:3b模型，占用挺低的，效果也还不错（感觉比 Google 强，比 DeepL 弱），翻译速度还挺快
MacOS
- 日常使用的是 社区版 Bob
- 在 Bob 第三方插件列表 中，确实存在调用本地 Ollama 的插件，但是只有付费商店版才支持，社区版不支持（已知本人钱包空空）
- 还好天无绝人之路，在 Github 上找到了一个老哥写的 Ollama 插件，非常感谢他！
- 安装好插件后，和 Windows 上一样配置好 Ollama 的地址、端口号和模型名称，即可使用
NOTE后续改成使用开源免费的 Easydict 了，和 Bob 类似
未来更多使用的小记将持续更新…
- 挖个坑先，等有时间再填
问题集合
端口占用问题
- 在 Windows 中运行出现默认 11434 端口报错
Error: listen tcp 127.0.0.1:11434: bind: An attempt was made to access a socket in a way forbidden by its access permissions.
- 在系统环境变量中添加以下键值对。保存后，重启 Ollama 程序即可
变量名：OLLAMA_HOST变量值：[计划使用的端口号]，例如 11435
NOTE修改端口号后，后续外部调用时，别忘记进行修改
参考
Ollama 使用小记
https://suburbiaxx.fun/posts/dc2da4e3/ 
浙公网安备33070202666668号