百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

超详细!Deepseek本地部署进阶篇:接入NVIDIA显卡加速运算

ztj100 2025-03-03 21:14 5 浏览 0 评论

上一篇文章中已经简单介绍了Windows系统下,如何本地化部署ollama 7B模型,可能有的朋友会发现运算过程比较缓慢,如果是一个复杂的问题光思考过程都要好久,如果你刚好有英伟达GTX10系以上的显卡,请跟着这篇文章简单操作,即可把显卡的性能也利用起来:

第一步:准备工作,我们需要下载到英伟达官方提供的CUDA驱动,网址:
https://developer.nvidia.com/cuda-downloads;选择对应的系统即可:

第二步:双击下载的安装包,根据安装提示直接进行安装即可

第三步:验证,又来到我们之前讲到的命令行窗口中(WIN键+R键 运行窗口中输入cmd回车打开),输入nvcc --version 回车,再输入nvidia-smi 回车,会出现如图所示的结果:

如果窗口内容输出跟的某些数字版本跟我的不一致也没关系,不影响使用

在命令行窗口中输入nvidia-smi -L 回车,将UUID:后面的内容都复制保留下来,括号不用,例如我这里复制下来就是
GPU-d0352a7d-15a1-b695-6f45-aa25ac479760,无法复制的也可以手动记录,下一步需要使用


第四步:重点,新手可能容易操作错误。按Win+R键,输入sysdm.cpl 然后回车,打开计算机属性,然后按照下图所示,找到环境变量,点击环境变量下方的 新建 按钮

我们总共需要新建两个内容:

(1)变量名:OLLAMA_GPU_LAYER 变量值:cuda

(2)变量名:CUDA_VISIBLE_DEVICES 变量值:GPU的UUID(第三步中记录的编号)



确认无误后点击确认,关闭其他窗口即可

第五步:验证是否部署成功,我们先打开两个命令行窗口(CMD),第一个窗口输入ollama run deepseek-r1:7b 然后回车,第二个窗口输入ollama ps 然后回车,如果出现下图所示的内容代表已经安装成功(关键在于右侧窗口的PROCESSOR 是否包含GPU,如果是100%CPU代表没有安装成功,出现其他数字也没关系,只要有GPU的参与代表已经成功安装,只是显卡没办法负载整个模型,可能就出现CPU/GPU协作承载):



以上的操作就是本地化部署Deepseek R1:7b 的英伟达显卡CUDA部署流程,这次的操作会比之前的难度更大,大家可以尝试一步步慢慢来,有遇到问题的地方可以发到评论区我们一起研究,谢谢各位!

相关推荐

从IDEA开始,迈进GO语言之门(idea got)

前言笔者在学习GO语言编程的时候,GO语言在国内还没有像JAVA/Php/Python那样普及,绕了不少的弯路,要开始入门学习一门编程语言,最好就先从选择一个好的编程语言的开发环境开始,有了这个开发环...

基于SpringBoot+MyBatis的私人影院java网上购票jsp源代码Mysql

本项目为前几天收费帮学妹做的一个项目,JavaEEJSP项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。一、项目介绍基于SpringBoot...

基于springboot的个人服装管理系统java网上商城jsp源代码mysql

本项目为前几天收费帮学妹做的一个项目,JavaEEJSP项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。一、项目介绍基于springboot...

基于springboot的美食网站Java食品销售jsp源代码Mysql

本项目为前几天收费帮学妹做的一个项目,JavaEEJSP项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。一、项目介绍基于springboot...

贸易管理进销存springboot云管货管账分析java jsp源代码mysql

本项目为前几天收费帮学妹做的一个项目,JavaEEJSP项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。一、项目描述贸易管理进销存spring...

SpringBoot+VUE员工信息管理系统Java人员管理jsp源代码Mysql

本项目为前几天收费帮学妹做的一个项目,JavaEEJSP项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。一、项目介绍SpringBoot+V...

目前见过最牛的一个SpringBoot商城项目(附源码)还有人没用过吗

帮粉丝找了一个基于SpringBoot的天猫商城项目,快速部署运行,所用技术:MySQL,Druid,Log4j2,Maven,Echarts,Bootstrap...免费给大家分享出来前台演示...

SpringBoot+Mysql实现的手机商城附带源码演示导入视频

今天为大家带来的是基于SpringBoot+JPA+Thymeleaf框架的手机商城管理系统,商城系统分为前台和后台、前台用的是Bootstrap框架后台用的是SpringBoot+JPA都是现在主...

全网首发!马士兵内部共享—1658页《Java面试突击核心讲》

又是一年一度的“金九银十”秋招大热门,为助力广大程序员朋友“面试造火箭”,小编今天给大家分享的便是这份马士兵内部的面试神技——1658页《Java面试突击核心讲》!...

SpringBoot数据库操作的应用(springboot与数据库交互)

1.JDBC+HikariDataSource...

SpringBoot 整合 Flink 实时同步 MySQL

1、需求在Flink发布SpringBoot打包的jar包能够实时同步MySQL表,做到原表进行新增、修改、删除的时候目标表都能对应同步。...

SpringBoot + Mybatis + Shiro + mysql + redis智能平台源码分享

后端技术栈基于SpringBoot+Mybatis+Shiro+mysql+redis构建的智慧云智能教育平台基于数据驱动视图的理念封装element-ui,即使没有vue的使...

Springboot+Mysql舞蹈课程在线预约系统源码附带视频运行教程

今天发布的是由【猿来入此】的优秀学员独立做的一个基于springboot脚手架的Springboot+Mysql舞蹈课程在线预约系统,系统项目源代码在【猿来入此】获取!https://www.yuan...

SpringBoot+Mysql在线众筹系统源码+讲解视频+开发文档(参考论文

今天发布的是由【猿来入此】的优秀学员独立做的一个基于springboot脚手架的在线众筹管理系统,主要实现了普通用户在线参与众筹基本操作流程的全部功能,系统分普通用户、超级管理员等角色,除基础脚手架外...

Docker一键部署 SpringBoot 应用的方法,贼快贼好用

这两天发现个Gradle插件,支持一键打包、推送Docker镜像。今天我们来讲讲这个插件,希望对大家有所帮助!GradleDockerPlugin简介...

取消回复欢迎 发表评论: