我们将使用Ollama部署Deepseek
Ollama是一个开源的大语言模型运行框架, 可以在本地运行和管理大语言模型,让用户在自己的电脑上运行类似Llama、Mistral等开源模型。它优势是:
快速部署,使用简单,只需几行命令就能启动模型,支持Mac和Linux系统,另外内存占用相对较低,支持多种模型大小的选择,适应不同硬件配置
提供API接口,方便开发者集成到自己的应用中
支持模型参数自定义调整,可以根据需求修改温度、上下文长度等参数
支持模型的增量下载和热更新,方便模型的管理和升级
具有聊天记忆功能,可以保持对话上下文
支持多种编程语言的调用,包括Python、Go、JavaScript等
主要应用场景包括:个人AI助手、开发测试环境、快速原型验证、离线AI应用等场景
Ollama让在本地运行大语言模型变得更简单实用,是一个轻量级但功能强大的工具。
https://ollama.com/download 下载:
下载完成后解压,移动到applications目录,打开它,会提示安装ollama
命令行:
安装完成后,在命令行执行:
~ > ollama --version
ollama version is 0.5.7
访问本地 http://localhost:11434/ 它跑在11434端口:
下载deepseek镜像:
ollama pull deepseek-r1
运行deepseek:
ollama run deepseek-r1
运行后,就可以在命令行跟deepseek交互:
提问问题:
这个页面跟在https://chat.deepseek.com/ 的效果是一样的:
上面我们运行的是ollama run deepseek-r1
来跑deepseek,其实它还有其他参数集的选择:
https://ollama.com/library/deepseek-r1:14b
默认是7b,如果电脑配置高,可以运行更高的参数集。