部署Deepseek

我们将使用Ollama部署Deepseek

Ollama介绍

Ollama是一个开源的大语言模型运行框架, 可以在本地运行和管理大语言模型,让用户在自己的电脑上运行类似Llama、Mistral等开源模型。它优势是:

  • 快速部署,使用简单,只需几行命令就能启动模型,支持Mac和Linux系统,另外内存占用相对较低,支持多种模型大小的选择,适应不同硬件配置

  • 提供API接口,方便开发者集成到自己的应用中

  • 支持模型参数自定义调整,可以根据需求修改温度、上下文长度等参数

  • 支持模型的增量下载和热更新,方便模型的管理和升级

  • 具有聊天记忆功能,可以保持对话上下文

  • 支持多种编程语言的调用,包括Python、Go、JavaScript等

主要应用场景包括:个人AI助手、开发测试环境、快速原型验证、离线AI应用等场景

Ollama让在本地运行大语言模型变得更简单实用,是一个轻量级但功能强大的工具。

Ollama安装

https://ollama.com/download 下载:

image-20250208125808420

下载完成后解压,移动到applications目录,打开它,会提示安装ollama命令行:

image-20250208130101579

安装完成后,在命令行执行:

~ > ollama --version
ollama version is 0.5.7

访问本地 http://localhost:11434/ 它跑在11434端口:

image-20250208130543252

运行deepseek

下载deepseek镜像:

ollama pull deepseek-r1

image-20250208131606969

运行deepseek:

ollama run deepseek-r1

运行后,就可以在命令行跟deepseek交互:

image-20250208131848778

提问问题:

image-20250208132042351

这个页面跟在https://chat.deepseek.com/ 的效果是一样的:

image-20250208132354535

其他参数集

上面我们运行的是ollama run deepseek-r1 来跑deepseek,其实它还有其他参数集的选择:

https://ollama.com/library/deepseek-r1:14b

image-20250208133645737

默认是7b,如果电脑配置高,可以运行更高的参数集。

image-20250212091746557

image-20250212091835169

image-20250212092324390

image-20250212092930308

image-20250212093051309