1. 环境准备
1.1 硬件要求
? 操作系统： Ubuntu 24.04 LTS
? GPU（可选）： NVIDIA GPU（建议至少 24GB VRAM，如 RTX 4090 / A100）
? CPU（仅用于 CPU 推理）： 至少 8 核，推荐 16 核以上
? 内存： 至少 32GB（建议 64GB 以上）
? 硬盘空间： 至少 60GB（用于模型存储）
2. 安装必要的软件和驱动
2.1 更新系统
sudo apt update && sudo apt upgrade -y
2.2 安装 NVIDIA 驱动（如果使用 GPU）
检查显卡型号：
lspci | grep -i nvidia
安装 NVIDIA 官方驱动（例如 535 版本）：
sudo apt install -y nvidia-driver-535
reboot # 重启系统以加载新驱动
验证驱动安装：
nvidia-smi
如果输出类似以下内容，说明驱动安装成功：
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 535.113.01 Driver Version: 535.113.01 CUDA Version: 12.2 |
|-------------------------------+----------------------+----------------------+
2.3 安装 CUDA 和 cuDNN（GPU 用户）
安装 CUDA
sudo apt install -y cuda
安装 cuDNN
sudo apt install -y libcudnn8
验证 CUDA：
nvcc --version
3. 创建 Python 环境
3.1 安装 Miniconda（推荐）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
安装完成后，关闭终端重新打开，或手动运行：
source ~/.bashrc
3.2 创建 Python 环境
conda create -n deepseek python=3.10 -y
conda activate deepseek
4. 安装 PyTorch 和 DeepSeek 依赖
4.1 安装 PyTorch
GPU 版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
CPU 版本
pip install torch torchvision torchaudio
测试 PyTorch 是否安装成功：
python -c "import torch; print(torch.cuda.is_available())"
如果输出 True，说明 PyTorch 可以使用 GPU。
4.2 安装 transformers、accelerate 和 vllm
pip install transformers accelerate vllm
5. 下载 DeepSeek 代码和模型
5.1 下载 DeepSeek 代码
git clone https://github.com/DeepSeek-AI/DeepSeek-LLM.git
cd DeepSeek-LLM
5.2 下载 DeepSeek 7B 模型
官方 Hugging Face 地址：
https://huggingface.co/DeepSeek-AI/deepseek-llm-7b
手动下载
mkdir -p models/deepseek-llm-7b
cd models/deepseek-llm-7b
wget https://huggingface.co/DeepSeek-AI/deepseek-llm-7b/resolve/main/config.json
wget https://huggingface.co/DeepSeek-AI/deepseek-llm-7b/resolve/main/model.safetensors
wget https://huggingface.co/DeepSeek-AI/deepseek-llm-7b/resolve/main/tokenizer.model
（或使用 git-lfs 下载完整模型）
git lfs install
git clone https://huggingface.co/DeepSeek-AI/deepseek-llm-7b models/deepseek-llm-7b
6. 运行 DeepSeek
6.1 运行 DeepSeek 推理
创建 run.py 文件：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_name = "models/deepseek-llm-7b" # 本地模型路径
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
inputs = tokenizer("你好，DeepSeek！", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
运行：
python run.py
7. 运行 Web 界面
可以使用 FastAPI + Gradio 构建 Web 界面。
7.1 安装依赖
pip install fastapi gradio uvicorn
7.2 创建 web_app.py
from fastapi import FastAPI
import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
app = FastAPI()
# 加载模型
model_name = "models/deepseek-llm-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
def generate_response(prompt):
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
return tokenizer.decode(outputs[0], skip_special_tokens=True)
# Gradio 界面
def chatbot(prompt):
return generate_response(prompt)
iface = gr.Interface(fn=chatbot, inputs="text", outputs="text")
@app.get("/")
def read_root():
return {"message": "DeepSeek Web Server is Running"}
# 启动 Gradio
@app.get("/webui")
def launch_gradio():
iface.launch(share=True)
7.3 运行 Web 界面
uvicorn web_app:app --host 0.0.0.0 --port 8000
在浏览器中打开：
http://localhost:8000/webui
8. 总结
步骤 命令
更新系统 sudo apt update && sudo apt upgrade -y
安装 GPU 驱动 sudo apt install -y nvidia-driver-535
安装 CUDA 和 cuDNN sudo apt install -y cuda libcudnn8
创建 Python 环境 conda create -n deepseek python=3.10 -y && conda activate deepseek
安装 PyTorch pip install torch torchvision torchaudio --index-url
https://download.pytorch.org/whl/cu118
安装 transformers pip install transformers accelerate vllm
下载模型 git clone
https://huggingface.co/DeepSeek-AI/deepseek-llm-7b models/deepseek-llm-7b
运行推理 python run.py
运行 Web 界面 uvicorn web_app:app --host 0.0.0.0 --port 8000
这样，你就可以在 Ubuntu 24.04 上部署 DeepSeek-LLM 了！