前期准备
一、确认系统和硬件:
1、操作系统:Windows用户需Windows 10及以上系统;macOS用户要求系统为macOS 11.0及以上;Linux用户建议使用Ubuntu 20.04及以上版本。
2、CPU:多核心处理器,像英特尔酷睿i5或AMD锐龙5及以上系列为佳,核心数越多,模型运行时多任务处理能力越强。
3、内存:至少16GB,推荐32GB及以上。运行模型时,充足的内存能保障数据快速读取与处理,避免因内存不足导致运行缓慢甚至报错。
4、硬盘:准备至少50GB可用空间,用于存放Ollama程序、DeepSeek模型文件及相关缓存。
5、GPU:若有NVIDIA显卡,如RTX 2080 Ti及以上,可显著加速模型运行。不同规模的DeepSeek模型对GPU显存要求不同,如运行1.5B规模模型,1GB显存即可;7B、8B规模模型建议8GB显存;14B规模模型需12GB或16GB显存;32B规模模型需24GB显存;70B规模模型则需40GB以上显存 。
二、安装Docker:
1、Windows和macOS:Ollama依赖Docker运行,先从Docker官网下载对应系统的Docker Desktop安装包,下载完成后,双击安装包,按提示一步步完成安装。安装完成后,启动Docker Desktop,确保其在后台正常运行。
2、Linux:不同Linux发行版安装Docker方式略有不同。以Ubuntu为例,在终端输入以下命令安装:
安装完成后,输入 sudo systemctl start docker 启动Docker服务,再输入 sudo systemctl enable docker 设置开机自启。
三、下载并安装Ollama
1、下载Ollama:打开浏览器,访问Ollama官网,在首页找到“Download”按钮,根据自己的操作系统,选择对应的安装包下载。比如Windows系统,点击“Download for Windows”下载 .exe 文件;macOS系统,点击“Download for macOS”下载.dmg文件;Linux系统,点击“Download for Linux”下载.deb(Debian、Ubuntu等)或 .rpm (CentOS、Fedora等)文件。
2、安装Ollama:
Windows:下载完成后,找到下载的 .exe 文件,双击运行,在安装向导界面,一直点击“Next”,按默认设置完成安装。
macOS:打开下载的 .dmg 文件,将Ollama图标拖到“Applications”文件夹,完成安装。
Linux:
Debian、Ubuntu:在终端中,切换到下载文件所在目录,输入 sudo dpkg -i ollama_xxx.deb (xxx为下载的实际文件名)进行安装,安装过程中若提示缺少依赖,按提示安装相应依赖包。
CentOS、Fedora:在终端中,切换到下载文件所在目录,输入 sudo rpm -ivh ollama_xxx.rpm (xxx为下载的实际文件名)进行安装,同样,若提示缺少依赖,按提示安装。
3、验证Ollama安装
1、打开命令行工具:
Windows:按下“Win+R”组合键,在弹出的运行框中输入“cmd”,回车打开命令提示符;或者在开始菜单中搜索“PowerShell”,打开PowerShell。
macOS:打开“应用程序” - “实用工具” - “终端”。
Linux:直接打开终端。
2、验证安装:
在命令行中输入 ollama version ,若安装成功,会显示Ollama的版本号,如“ollama version 0.5.7” 。
四、下载DeepSeek模型
1、了解模型版本:DeepSeek有不同参数规模的模型版本,如 deepseek-r1:1.5b 、 deepseek-r1:7b 、 deepseek-r1:14b 等 ,“b”代表十亿参数,参数越多,模型能力通常越强,但对硬件要求也越高。
2、选择合适模型:根据自己电脑的硬件配置选择模型。如果电脑配置一般,显卡和硬盘都较普通,可选择 deepseek-r1:1.5b ,它消耗显存仅1GB;有8GB显存的显卡,可考虑 deepseek-r1:7b 或 deepseek-r1:8b ;12GB或16GB显存,选 deepseek-r1:14b ;24GB显存,选 deepseek-r1:32b ;40GB以上显存,选 deepseek-r1:70b 。
3、下载模型:在命令行中输入下载命令,格式为 ollama run deepseek-r1:xxx (xxx为所选模型版本,如1.5b、7b等)。例如,要下载 deepseek-r1:7b 模型,输入 ollama run deepseek-r1:7b ,回车后,Ollama会自动从远程仓库下载模型,下载过程中会显示下载进度,耐心等待下载完成。
五、与DeepSeek模型交互
1、直接命令行交互:模型下载完成后,在命令行中,直接输入问题或任务,如“介绍一下春节的传统习俗”,然后回车,DeepSeek模型会处理输入并在命令行中返回回答。结束交互时,输入 /bye ,回车即可退出。
2、使用可视化界面(可选):如果觉得命令行交互不够直观,可使用可视化界面,如Chatbox。
六、配置环境变量:
1、Windows:按下“Win+X”组合键,选择“系统”,在弹出的窗口中点击“高级系统设置”,在新窗口中点击“环境变量”。在“用户变量”区域,点击“新建”,变量名输入“OLLAMA_HOST”,变量值输入“0.0.0.0”,点击“确定”;再点击“新建”,变量名输入“OLLAMA_ORIGINS”,变量值输入“*” ,点击“确定”。
2、macOS和Linux:在终端中输入 export OLLAMA_HOST=0.0.0.0 和export OLLAMA_ORIGINS=* 两条命令设置环境变量。
3、重启Ollama:关闭正在运行的Ollama进程(若有),重新启动Ollama。
4、设置Chatbox:打开浏览器,访问Chatbox官网 ,进入页面后,先将语言切换为简体中文。点击页面右上角的设置图标,在设置页面中,选择“Ollama”作为模型提供商,在“Ollama API URL”处输入“
http://0.0.0.0:11434/api/generate”,点击“保存”。设置完成后,就可以在Chatbox界面与DeepSeek模型进行对话了 。
七、常见问题及解决方法
1、安装Ollama失败:
问题表现:安装过程中报错,如提示缺少依赖、安装程序无法启动等。
解决方法:检查系统是否满足Ollama的安装要求,如Windows系统是否为支持版本;对于缺少依赖的问题,按提示安装相应依赖包;若安装程序无法启动,尝试以管理员身份运行安装程序。
2、下载模型失败:
问题表现:下载过程中报错,如网络连接错误、下载中断等。
解决方法:检查网络连接是否正常,可尝试重启路由器、更换网络;若网络正常,可能是Ollama仓库服务器问题,稍后再试;也可在命令行中使用代理命令下载,如ollama run --proxy=http://your_proxy_ip:port deepseek-r1:xxx (将 your_proxy_ip:port 替换为实际代理IP和端口)。
3、模型运行缓慢:
- 问题表现:输入问题后,模型响应时间长,处理速度慢。
- 解决方法:确认是否使用了GPU加速,在命令行输入 nvidia - smi 查看GPU状态,若未正确使用GPU,检查显卡驱动是否为最新版本,以及Ollama是否正确配置使用GPU(一般Ollama会自动检测并使用GPU,若未自动使用,查阅Ollama官方文档进行配置);关闭其他占用大量系统资源的程序,释放系统资源。