上一篇文章中已经简单介绍了Windows系统下,如何本地化部署ollama 7B模型,可能有的朋友会发现运算过程比较缓慢,如果是一个复杂的问题光思考过程都要好久,如果你刚好有英伟达GTX10系以上的显卡,请跟着这篇文章简单操作,即可把显卡的性能也利用起来:
第一步:准备工作,我们需要下载到英伟达官方提供的CUDA驱动,网址:
https://developer.nvidia.com/cuda-downloads;选择对应的系统即可:
第二步:双击下载的安装包,根据安装提示直接进行安装即可
第三步:验证,又来到我们之前讲到的命令行窗口中(WIN键+R键 运行窗口中输入cmd回车打开),输入nvcc --version 回车,再输入nvidia-smi 回车,会出现如图所示的结果:
如果窗口内容输出跟的某些数字版本跟我的不一致也没关系,不影响使用
在命令行窗口中输入nvidia-smi -L 回车,将UUID:后面的内容都复制保留下来,括号不用,例如我这里复制下来就是
GPU-d0352a7d-15a1-b695-6f45-aa25ac479760,无法复制的也可以手动记录,下一步需要使用
第四步:重点,新手可能容易操作错误。按Win+R键,输入sysdm.cpl 然后回车,打开计算机属性,然后按照下图所示,找到环境变量,点击环境变量下方的 新建 按钮
我们总共需要新建两个内容:
(1)变量名:OLLAMA_GPU_LAYER 变量值:cuda
(2)变量名:CUDA_VISIBLE_DEVICES 变量值:GPU的UUID(第三步中记录的编号)
确认无误后点击确认,关闭其他窗口即可
第五步:验证是否部署成功,我们先打开两个命令行窗口(CMD),第一个窗口输入ollama run deepseek-r1:7b 然后回车,第二个窗口输入ollama ps 然后回车,如果出现下图所示的内容代表已经安装成功(关键在于右侧窗口的PROCESSOR 是否包含GPU,如果是100%CPU代表没有安装成功,出现其他数字也没关系,只要有GPU的参与代表已经成功安装,只是显卡没办法负载整个模型,可能就出现CPU/GPU协作承载):
以上的操作就是本地化部署Deepseek R1:7b 的英伟达显卡CUDA部署流程,这次的操作会比之前的难度更大,大家可以尝试一步步慢慢来,有遇到问题的地方可以发到评论区我们一起研究,谢谢各位!