阿里云GPU服务器部署DeepSeek-V4-Pro教程手把手教学：含模型同步与Chatbox验证，确保服务可用性

2026年8月27日12:29

针对大模型私有化部署场景下的性能与稳定性需求，本方案聚焦在阿里云GPU云服务器上，通过vLLM推理框架快速完成DeepSeek-V4-Pro满血版的高效部署，依托GPU云服务器的高性能并行计算能力，大幅优化大模型推理效率，在大规模数据集处理与高并发请求场景下，实现推理速度与服务吞吐量的显著提升。方案完整覆盖从基础云资源搭建、模型下载同步、GPU环境初始化，到Ray分布式集群部署、vLLM推理服务启动的全流程操作，配套提供curl与Chatbox两种服务验证方式，为企业与开发者输出一套经过验证的可扩展、高可靠大模型私有化部署参考范式，充分满足各类生产级AI业务的落地需求。方案具体详情可参考：https://www.aliyun.com/solution/tech-solution-deploy/3022229

一、方案概览

DeepSeek-V4 是 DeepSeek 全新系列大模型，首次将 百万字（1M）超长上下文作为所有官方服务的标配，在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。

本方案介绍如何在阿里云 GPU 云服务器上，通过 vLLM 框架高效部署 DeepSeek-V4-Pro。阿里云 GPU 计算资源提供强大硬件支持，确保模型处理大规模数据时保持高性能和稳定性。目前阿里云先进、弹性的 GPU 算力，加速 AI 应用落地最长100小时 GPU 4折起，即开即享受！同时联系销售，可获取GPU专属优惠，详情可参考：https://www.aliyun.com/benefit/scene/ai-discount-gpu

二、方案架构

本方案采用专有网络 VPC 及交换机，确保数据传输安全与网络可靠性，实现资源有效隔离和安全管理。我们利用 Ray Cluster 来实现高效的分布式计算，支持 vLLM 推理服务的部署以及大规模模型的加载。完成部署后，将在阿里云平台上构建一个稳定且可扩展的运行环境，如架构图所示。实际部署过程中，用户可以根据自身资源规划情况对配置进行适当调整，但最终建立的运行环境将基本保持与示意图一致的架构。

方案的技术架构包括以下基础设施和云服务：

基础设施和云服务说明
1 个专有网络 VPC构建云上私有网络。
1 个交换机提供基本的网络分段和隔离功能。
1 个安全组用于限制专有网络 VPC 下云服务器 ECS 的网络流入和流出规则。
2 台 GPU 云服务器用于部署模型，并提供推理服务。

三、部署准备

开始部署前，请按以下指引完成账号申请、账号充值等准备工作。

3.1 准备账号

  • 如果您还没有阿里云账号，请访问阿里云账号注册页面，根据页面提示完成注册。阿里云账号是您使用云资源的付费实体，因此是部署方案的必要前提。
  • 为阿里云账号充值。本方案的云资源支持按量付费，且默认设置均采用按量付费引导操作。如果确定任何一个云资源采用按量付费方式部署，账户余额都必须大于等于100元。

3.2 部署资源

1、创建专有网络 VPC 和交换机

  1. 创建专有网络 VPC 和交换机，为云服务器 ECS 实例构建云上的私有网络。
  2. 登录专有网络管理控制台。
  3. 在顶部菜单栏，选择预购买 GPU 服务器地域。
  4. 在左侧导航栏，单击专有网络。
  5. 在专有网络页面，单击创建专有网络。
  6. 在创建专有网络页面，配置 1 个专有网络和 1 台交换机。配置交换机时，请确保交换机所属的可用区的 ECS 处于可用状态。
项目说明示例值
VPC 名称建议您在部署过程中新建一个 VPC 作为本方案的专有网络。部署过程中填写 VPC 名称即可创建对应名称的 VPC。DeepSeek-V4
IPv4 网段在创建 VPC 时，您必须按照无类域间路由块（CIDR block）的格式为您的专有网络划分私网网段。192.168.0.0/16
交换机名称建议您在部署过程中在新建的 VPC 内创建虚拟交换机。部署过程中填写交换机名称即可创建对应名称的虚拟交换机。DeepSeek-V4
可用区建议选择排序靠后的，一般此类可用区较新。新可用区资源更充沛，新规格也会在新的可用区优先上线。预购买 GPU 服务器可用区

2、创建安全组
创建 1 个安全组，用于限制该专有网络 VPC 下交换机的网络流入和流出。

  1. 登录ECS 管理控制台。
  2. 在左侧导航栏，选择网络与安全>安全组。
  3. 在顶部菜单栏，选择预购买 GPU 服务器地域。
  4. 在安全组页面，单击创建安全组。
  5. 在创建安全组页面，创建 1 个安全组。
项目说明示例值
名称设置安全组的名称。DeepSeek-V4
网络选择之前规划的专有网络 VPC。DeepSeek-V4
安全组类型本方案用于为个人用户或组织的基础场景提供网络访问控制，建议您选择普通安全组。普通安全组
入方向本方案需要确保 22、8000 端口号开启。22、8000

3、创建云服务器 ECS
接下来，您需要创建 1 个云服务器 ECS 实例，临时下模型，后续再同步给 GPU 云服务器。

  1. 登录ECS 管理控制台。
  2. 在顶部菜单栏，选择预购买 GPU 服务器地域。
  3. 在左侧导航栏，选择实例与镜像 > 实例。
  4. 在实例页面，单击创建实例。
  5. 下表中未说明的参数，在本方案中可使用默认值。
项目说明示例值
付费类型付费类型影响实例的计费和收费规则。按量付费
地域实例所在地域。选择预购买 GPU 服务器地域。
网络及可用区选择默专有网络 VPC 和交换机。分别选择 DeepSeek-V4
实例ECS 的实例规格及内核、vCPU 数量。ecs.c6a.large（2 vCPU 4 GiB）
镜像ECS 的操作系统镜像，为 ECS 实例提供操作系统、预装软件等。在公共镜像中选择 Alibaba Cloud Linux
镜像镜像的版本。Alibaba Cloud Linux 3.2104 LTS 64位
系统盘类型硬盘类型。ESSD 云盘
系统盘容量硬盘容量。2000 GiB
公网 IP勾选分配公网 IPv4 地址，用于从公网拉取镜像和模型，并对外提供 API 服务。分配公网 IPv4 地址
带宽计费模式由于本方案为解决方案示例，因此选择按使用流量，以节省流量成本。按使用流量
带宽峰值本方案以 100 Mbps 为例。100 Mbps
安全组使用之前创建的安全组。选择已有安全组。DeepSeek-V4
管理设置选择设置自定义密码，方便后续登录机器安装服务环境。自定义密码

四、下载模型

1.登录 ECS 服务器。

  • 登录ECS管理控制台，在实例页面，找到前面步骤所创建的 ECS 实例。
  • 在右侧操作列，单击远程连接，并选择通过Workbench远程连接。根据页面提示登录，进入终端页面。

2.执行以下命令完成工具安装。

yum install git git-lfs tmux rsync -y

3.执行以下命令创建一个 tmux session。

tmux

4.执行以下命令，切换到模型下载目录。

cd /mnt/

5.执行以下命令，从 ModelScope 拉取项目。

GIT_LFS_SKIP_SMUDGE=1 git clone https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Pro

6.项目拉取完成后，执行以下命令，进入项目目录。

cd DeepSeek-V4-Pro

7.执行以下命令，开始下载模型。

git lfs pull

五、创建 GPU 资源

接下来您需要创建两台 GPU 云服务器，然后分别在两台服务器上完成环境的初始化。

1、创建GPU云服务器

  1. 登录ECS 管理控制台。
  2. 在左侧导航栏，选择实例与镜像 > 实例。
  3. 在实例页面，单击创建实例。
  4. 下表中未说明的参数，在本方案中可使用默认值。

2、初始化环境

1.远程连接云服务器ECS。

  • 登录ECS管理控制台，在实例页面，找到前面步骤所创建的 ECS 实例。
  • 在右侧操作列，单击远程连接，并选择通过Workbench远程连接。
  • 使用自定义密码，通过密码认证的方式进行登录。

2.等待GPU驱动安装完成。首次登录时系统将自动安装 GPU 驱动（约15分钟）。

如果界面没有显示安装进展，您也可以执行nvidia-smi命令确认驱动是否安装完成。如果执行后出现报错，请尝试执行以下命令重新安装 GPU 驱动。

sudo dnf install -y anolis-epao-release
sudo dnf install -y kernel-devel-$(uname -r) nvidia-driver{,-cuda}

3.驱动安装/重载完成后，系统服务会重启，将导致当前会话中断，这是正常现象。请重新连接实例。

4.初始化数据盘。
运行以下命令列出所有磁盘及其大小，请根据容量（如 1000 GiB）识别你的数据盘设备名。本示例中，1000 GiB 数据盘的设备名为/dev/nvme1n1。

sudo fdisk -lu

安装e2fsprogs工具以支持创建文件系统：

sudo dnf install -y e2fsprogs

为数据盘（本示例为/dev/nvme1n1，按实际替换）创建ext4文件系统：

sudo mkfs -t ext4 /dev/nvme1n1

将数据盘（本示例为/dev/nvme1n1，按实际替换）挂载到/mnt目录：

创建挂载目录

sudo mkdir -p /mnt

获取数据盘的 UUID

UUID=$(sudo blkid -s UUID -o value /dev/nvme1n1)

将数据盘挂载配置追加到 /etc/fstab 文件，实现开机自动挂载

echo "UUID=${UUID} /mnt ext4 defaults,nofail 0 2" | sudo tee -a /etc/fstab

立即应用 fstab 中的新配置

sudo mount -a

让 systemd 重新加载数据盘配置文件

sudo systemctl daemon-reload

检查挂载结果是否符合预期：

df -Th

3、初始化数据盘
1.运行以下命令列出所有磁盘及其大小，请根据容量（如 1000 GiB）识别你的数据盘设备名。本示例中，1000 GiB 数据盘的设备名为/dev/nvme1n1。

sudo fdisk -lu

2.安装e2fsprogs工具以支持创建文件系统：

sudo dnf install -y e2fsprogs

3.为数据盘（本示例为/dev/nvme1n1，按实际替换）创建ext4文件系统：

sudo mkfs -t ext4 /dev/nvme1n1

4.将数据盘（本示例为/dev/nvme1n1，按实际替换）挂载到/mnt目录：

创建挂载目录

sudo mkdir -p /mnt

获取数据盘的 UUID

UUID=$(sudo blkid -s UUID -o value /dev/nvme1n1)

将数据盘挂载配置追加到 /etc/fstab 文件，实现开机自动挂载

echo "UUID=${UUID} /mnt ext4 defaults,nofail 0 2" | sudo tee -a /etc/fstab

立即应用 fstab 中的新配置

sudo mount -a

让 systemd 重新加载数据盘配置文件

sudo systemctl daemon-reload

5.检查挂载结果是否符合预期：

df -Th

六、同步模型

接下来您需要同步 ECS 实例中的模型到两台 GPU 云服务器。

1.分别在两台 GPU 云服务器上执行以下命令，安装文件同步工具。

yum install -y rsync

2.然后在普通 ECS 实例中执行以下命令，完成两台 GPU 云服务器的模型同步。

同步到 GPU 服务器 1

rsync -avP /mnt/DeepSeek-V4-Pro/ root@192.x.x.x:/mnt/DeepSeek-V4-Pro

同步到 GPU 服务器 2

rsync -avP /mnt/DeepSeek-V4-Pro/ root@192.x.x.x:/mnt/DeepSeek-V4-Pro

七、部署 Ray Cluster

Ray 是一个开源分布式计算框架，专注于并行计算与资源调度。在大语言模型部署场景中，Ray 通过动态扩缩容和多节点协同，显著提升推理效率。其架构由主节点统一调度任务与管理资源，工作节点负责执行计算，节点间通过 RPC 通信与分布式对象存储实现高效协作。

1.分别在两台 GPU 的 ECS 控制台中执行以下命令，完成初始化环境安装。

curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/install.sh|sh

2.分别在两台 GPU 的 ECS 控制台中执行以下命令配置 Ray 集群。

  • 选择其中一台 GPU 服务器作为主节点。
  • 在服务器上执行以下脚本，注意替换两个<主节点IP>为服务器私有 IP，替换<MODEL PATH>为真实的模型所在目录。

HEAD_NODE_ADDRESS=<主节点IP>
NODE_ADDRESS=<主节点IP>
NODE_TYPE=--head
MODEL_PATH=<MODEL PATH>
/bin/bash -c "$(curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/run_cluster.sh)"

  • 执行以下命令查看启动日志。

docker logs node

  • 输出结果如下图所示。
  • 选择另一台 GPU 服务器作为工作节点（节点扩容）。
  • 在服务器上执行以下脚本，注意分别替换<主节点IP>和<工作节点IP>为主节点和工作节点服务器私有 IP，替换<MODEL PATH>为真实的模型所在目录。

HEAD_NODE_ADDRESS=<主节点IP>
NODE_ADDRESS=<工作节点IP>
NODE_TYPE=--worker \

MODEL_PATH=<MODEL PATH>
/bin/bash -c "$(curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/run_cluster.sh)"

  • 执行以下命令查看启动日志。

docker logs node

  • 输出结果如下图所示。

3.查看 Ray 集群状态。

  • 待启动完成后，可以在任意节点执行以下命令查看 Ray 集群状态。

docker exec -it node ray status

  • 正常启动后 Ray 集群状态如下图所示。

八、启动推理服务

1.在主节点服务器上执行以下命令启动 vLLM 推理服务。

curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/deploy.sh|sh

输出如下图所示，复制 vLLM API TOKEN 值 。

2.执行以下命令查看服务日志。

docker exec -it node tail -f vllm_serve_nohup.log

3.等待模型加载完成后即可进行 API 调用。

八、方案验证

1、通过 curl 调用模型
在 Workbench 中开启一个新的终端会话，输入以下命令，等待模型输出。

curl http://127.0.0.1:8000/v1/chat/completions
-H "Content-Type: application/json"
-H "Authorization: Bearer <vLLM API TOKEN >" \

-d '{
"model": "DeepSeek-V4-Pro",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "好久不见～"}
]
}'

2、使用 Chatbox 调用模型
1.访问 Chatbox 下载地址下载并安装客户端，本方案以 macOS M5 为例。

2.运行并配置 vLLM API ，单击设置。

3.在设置页面的左侧导航中，选择模型提供方，然后单击下方的添加按钮，按照如下表格进行配置。

项目说明示例值
模型提供方下拉选择模型提供方。添加自定义提供方
名称填写定义模型提供方名称。vLLM API
API 模式选择 API 模式。OpenAl API兼容
API 密钥填写模型服务调用 API 密钥。前面步骤获取的调用信息，vLLM API TOKEN
API 主机填写模型服务调用地址。http://<ECS公网IP>:8000
API 路径填写 API 路径。/v1/chat/completions
网络兼容性点击开启改善网络兼容性开启
模型单击模型右侧的新建，完成模型添加。模型ID：DeepSeek-V4-Pro，显示名称：DeepSeek-V4-Pro，模型类型：聊天，能力：推理，上下文窗口：1000000，最大输出Token数：4096。DeepSeek-V4-Pro

4.保存配置信息后，即可回到聊天页面，选择刚刚配置的模型进行对话。

👉友情提示:购买之前，别忘了先领优惠券：
https://www.aliyun.com/minisite/goods 领了之后再买活动中的云产品，可以享受折上折。

综上所述，本方案详细阐述了在阿里云GPU云服务器上，借助vLLM推理框架高效部署DeepSeek-V4-Pro满血版模型的完整技术路径。方案充分利用GPU服务器的高性能并行计算能力，结合Ray Cluster分布式计算框架，构建了稳定、可扩展的推理服务环境。从网络规划、安全组配置、ECS实例创建，到模型下载、GPU资源初始化、模型同步，再到Ray集群部署与vLLM服务启动，每一步都提供了清晰的操作指引与参数配置示例。该方案不仅成功实现了对具备百万字超长上下文能力的领先大模型的部署，还通过curl调用与Chatbox客户端配置验证了服务的可用性，为需要处理大规模数据与高并发请求的场景，提供了一个高性能、高可靠性的模型部署参考范式。

本文原创链接：https://www.tengxunyun8.com/20479.html
版权所有,如未注明,均为原创,转载请注明