1、下载离线安装文件

地址：
https://developer.nvidia.com/cuda-12-4-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=RHEL&target_version=7&target_type=runfile_local

2、选择仅安装驱动，安装完成不需要重启

仅选中Driver,其他的不选，Install 。

安装成功如下：

[root@A11-R42-I52-9-4909621 pkg]# ./cuda_12.4.0_550.54.14_linux.run 
===========
= Summary =
===========

Driver:   Installed
Toolkit:  Not Selected

To uninstall the NVIDIA Driver, run nvidia-uninstall
Logfile is /var/log/cuda-installer.log

如需卸妆，执行如下命令：

nvidia-uninstall

3、nvidia-smi 持久化配置

sudo vim /etc/rc.local
# 在文件中添加以下内容（需在 exit 0 之前）
sudo nvidia-smi -pm 1
# 保存后赋予执行权限并重启
sudo chmod +x /etc/rc.local

4、常规配置

禁用 Nouveau 驱动

sudo nano /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off

卸载

sudo rmmod nouveau  # 强制卸载模块
sudo modprobe -r nouveau  # 彻底移除

检查

lsmod | grep nouveau

6、nvidia-fabricmanager下载，安装，启动

https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/