联想ThinkSystem SR650 V3扩展能力详解：PCIe插槽/GPU/存储配置全方案

联想SR650 V3扩展PCIe GPU存储配置

ThinkSystem SR650 V3产品概述

联想ThinkSystem SR650 V3是2023年发布的第三代2U双路机架式服务器，搭载Intel第四代/第五代Xeon Scalable处理器，支持DDR5内存和PCIe 5.0。作为ThinkSystem家族中销量最大的通用机型，SR650 V3在扩展灵活性上有突出设计，特别是PCIe插槽布局、GPU支持和存储混插能力，使其能够覆盖从虚拟化到AI推理的多种工作负载场景。

本文从PCIe扩展、GPU配置、存储方案、RAID选型、扩展柜连接五个维度，全面解析SR650 V3的扩展架构，并提供三类典型业务场景的配置方案。

PCIe 5.0插槽布局详解

SR650 V3最多提供6个PCIe插槽，全部支持PCIe 5.0标准。插槽分布在主板和Riser卡上，不同Riser配置决定了可用的插槽数量和类型。

标准Riser配置方案

插槽编号	Riser 1配置	Riser 2配置	信号来源	带宽
Slot 1	PCIe 5.0 x16（全高半长）	PCIe 5.0 x16（全高半长）	CPU 1	64 GB/s
Slot 2	PCIe 5.0 x16（全高半长）	PCIe 5.0 x8（全高半长）	CPU 1	64/32 GB/s
Slot 3	PCIe 5.0 x16（全高半长）	PCIe 5.0 x16（全高半长）	CPU 1	64 GB/s
Slot 4	—	PCIe 5.0 x8（半高半长）	CPU 1	32 GB/s
Slot 5	—	PCIe 5.0 x16（全高半长）	CPU 2	64 GB/s
Slot 6	—	PCIe 5.0 x8（半高半长）	CPU 2	32 GB/s
OCP 3.0	PCIe 5.0 x16（OCP网卡插槽）	PCIe 5.0 x16（OCP网卡插槽）	CPU 1	64 GB/s

插槽分配规则

SR650 V3的PCIe插槽来自两颗CPU，必须遵循CPU平衡分配原则。Slot 1-4和OCP网卡连接CPU 1，Slot 5-6连接CPU 2。当仅安装单颗CPU时，Slot 5-6不可用。Riser 1提供3个插槽（适合存储密集型或网络扩展型配置），Riser 2提供6个插槽（适合GPU加速或多网卡配置）。

# 查看PCIe插槽使用情况（Linux）
# 列出所有PCIe设备及其所在插槽
lspci -t -v

# 查看PCIe链路协商速率和宽度
lspci -vvv | grep -E "LnkCap|LnkSta"
# LnkCap显示插槽能力（如 Speed 64GT/s, Width x16）
# LnkSta显示当前协商结果（如 Speed 64GT/s, Width x16）

# 查看GPU设备
lspci | grep -i "3d\|display\|nvidia\|amd"

# 查看NVMe SSD
lspci | grep -i "non-volatile"

# 查看网络适配器
lspci | grep -i "ethernet\|infiniband\|network"

GPU配置方案

SR650 V3支持多种GPU配置方案，根据GPU宽度和功耗分为三种典型配置：

配置方案一：3卡双宽GPU（AI推理场景）

配置项	规格
GPU型号	NVIDIA L40S（双宽，300W）
GPU数量	3张
占用插槽	Slot 1、Slot 3、Slot 5（各x16）
PCIe带宽	64 GB/s per GPU（PCIe 5.0 x16）
GPU互联	无NVLink（PCIe P2P）
供电	3×EPS 8pin（每GPU 2×8pin）
电源要求	≥1400W 1+1冗余
Riser要求	Riser 2（6槽配置）
适用场景	AI推理、视频转码、VDI虚拟化

配置方案二：2卡三宽GPU（深度学习训练）

配置项	规格
GPU型号	NVIDIA H100 PCIe（三宽，350W）
GPU数量	2张
占用插槽	Slot 1+2（GPU 1覆盖Slot 1-2）、Slot 5+6（GPU 2覆盖Slot 5-6）
PCIe带宽	64 GB/s per GPU（PCIe 5.0 x16）
GPU互联	无NVLink Bridge（PCIe P2P 128 GB/s）
供电	2×EPS 8pin + 1×12VHPWR（每GPU）
电源要求	≥1800W 1+1冗余
散热要求	高转速风扇模组 + 开放PCIe区域
适用场景	中小规模AI训练、模型微调

配置方案三：6卡单宽GPU（高密度推理）

配置项	规格
GPU型号	NVIDIA L4（单宽，72W）或 A2（单宽，60W）
GPU数量	6张
占用插槽	Slot 1-6全部占用（Riser 2配置）
PCIe带宽	32-64 GB/s per GPU（视插槽x8/x16）
供电	PCIe插槽供电（无需额外8pin）
电源要求	≥1100W 1+1冗余
适用场景	高并发AI推理、OCR、视频分析

AnyBay存储混插技术

AnyBay是联想独有的存储背板技术，允许在同一个盘位中混插SAS、SATA和NVMe三种接口的硬盘，无需更换背板或线缆。SR650 V3的AnyBay背板通过PCIe和SAS双总线连接，每个盘位同时连接SAS链路和PCIe链路，由硬盘类型决定使用哪条总线。

盘位配置	最大盘数	NVMe盘数	SAS/SATA盘数	背板类型
8盘位AnyBay	8	8	8	8i AnyBay
16盘位AnyBay	16	8	16	16i AnyBay
24盘位AnyBay	24	8-12	24	24i AnyBay

AnyBay典型配置示例

# 前置24盘位AnyBay背板典型配置：
# 盘位 1-8:   NVMe SSD（系统盘 + 热数据，PCIe 5.0 x4，14 GB/s/盘）
# 盘位 9-16:  SAS SSD（温数据，12 Gb/s，2.4 GB/s/盘）
# 盘位 17-24: SAS HDD（冷数据归档，12 Gb/s，~250 MB/s/盘）

# 查看AnyBay背板连接状态
# 使用MegaRAID Storage Manager或storcli工具
storcli /c0 show

# 查看所有物理盘信息
storcli /c0 /eall /sall show

# 查看NVMe SSD信息（通过PCIe总线）
nvme list

# 确认SAS/SATA硬盘信息（通过RAID卡）
storcli /c0 /e252 /s0 show

M4系列RAID卡选型

SR650 V3标配联想M4系列RAID卡，基于Broadcom MegaRAID控制器，支持PCIe 5.0接口和12Gb/s SAS。

RAID卡型号	接口	通道数	缓存	RAID级别	BBU/超级电容	适用场景
M4210（HBA模式）	PCIe 4.0 x8	8	无	HBA直通/JBOD	无	NVMe直通/软件RAID
M4310（入门RAID）	PCIe 4.0 x8	8	2GB	0/1/5/6/10/50/60	BBU	中小规模SAS/SATA存储
M4410（高性能RAID）	PCIe 5.0 x8	8	4GB	0/1/5/6/10/50/60	超级电容+NVCache	高性能全闪存/数据库
M4610（高通道RAID）	PCIe 5.0 x8	16	8GB	0/1/5/6/10/50/60	超级电容+NVCache	大规模存储/24盘位
M4810（旗舰RAID）	PCIe 5.0 x16	24	8GB	全级别+双活	超级电容+NVCache	企业核心存储/双控

# RAID卡配置示例（M4410，创建RAID 5）
# 查看RAID卡信息
storcli /c0 show

# 查看所有物理盘
storcli /c0 /eall /sall show

# 创建RAID 5阵列（8块SAS SSD）
storcli /c0 add vd r5 drives=252:0-7 size=all pdcache=on ra=on wt

# 参数说明：
# r5          = RAID级别5
# drives      = Enclosure:Slot指定物理盘
# size=all    = 使用全部容量
# pdcache=on  = 启用物理盘缓存
# ra=on       = 启用读缓存预取
# wt          = Write Through直写模式（数据安全优先）
# wb          = Write Back回写模式（性能优先，需BBU支持）

# 查看创建结果
storcli /c0 /vall show

# 初始化虚拟盘
storcli /c0 /v0 start init

SAS Expander扩展柜连接

当服务器内置盘位不足时，SR650 V3可通过SAS Expander连接外部扩展柜（JBOD），将存储容量扩展到数百TB。

扩展方案	RAID卡	扩展柜型号	连接方式	最大盘位	带宽
单层扩展	M4410（8通道）	ThinkSystem DE2000H（12盘位）	SAS x4级联线	8+12=20盘	48 Gb/s
多层扩展	M4610（16通道）	DE4000H（24盘位）× 2	SAS x4级联线 × 2	24+48=72盘	96 Gb/s
高可用扩展	M4810（24通道，双端口）	DE6000H（60盘位）	双路SAS x4冗余	24+60=84盘	96 Gb/s（冗余）

# SAS Expander扩展柜连接验证
# 1. 确认RAID卡识别到扩展柜
storcli /c0 /eall show
# 应显示两个Enclosure：内部(252)和外部(253)

# 2. 查看扩展柜状态
storcli /c0 /e253 show

# 3. 查看扩展柜中的硬盘
storcli /c0 /e253 /sall show

# 4. 查看SAS链路速率
storcli /c0 /e253 /s0 show | grep "Link Speed"
# 正常应显示 12.0 Gbps

# 5. 配置扩展柜中的硬盘为JBOD直通
storcli /c0 /e253 /s0 set jbod

典型业务场景配置方案

场景一：虚拟化平台（VMware vSphere/Proxmox）

组件	配置	选型理由
CPU	双路Xeon Gold 6448Y（32C/64T）	64核/128线程支持高密度虚拟机
内存	512GB DDR5-4800（16×32GB）	大内存支持多虚拟机内存分配
系统盘	2×480GB SATA SSD（RAID 1）	BOSS-N1模块，与数据盘隔离
数据盘	8×3.84TB NVMe SSD（RAID 5）	AnyBay背板，NVMe提供高IOPS
RAID卡	M4410（4GB缓存+超级电容）	PCIe 5.0，支持vSAN直通模式
网卡	OCP 3.0双口25GbE + Slot 6双口10GbE	25GbE用于vMotion，10GbE用于管理
电源	1100W 1+1钛金冗余	满足满载+冗余需求

场景二：AI推理服务器

组件	配置	选型理由
CPU	双路Xeon Platinum 8470（52C/104T）	AMX指令集加速CPU侧推理
内存	1TB DDR5-4800（16×64GB）	大模型加载需要充足内存
GPU	3×NVIDIA L40S（48GB GDDR, 300W）	PCIe 5.0 x16，支持FP8推理加速
系统盘	2×480GB NVMe SSD（RAID 1）	BOSS-N1模块
数据盘	4×7.68TB NVMe SSD（RAID 10）	存储模型文件和推理日志
RAID卡	M4210（HBA直通模式）	NVMe SSD走PCIe直连，无需RAID
网卡	OCP 3.0双口100GbE（Mellanox CX-7）	高吞吐推理API服务
电源	1800W 1+1钛金冗余	3×300W GPU + CPU满载
Riser	Riser 2（6槽配置）	提供3个全高x16插槽

场景三：数据库服务器（Oracle/SQL Server）

组件	配置	选型理由
CPU	双路Xeon Gold 6530（32C/64T）	高频核心提升OLTP事务处理
内存	768GB DDR5-4800（24×32GB）	大SGA/Buffer Pool缓存
重做日志盘	2×1.92TB NVMe SSD（RAID 1）	低延迟NVMe写入，WAL性能保障
数据盘	8×3.84TB NVMe SSD（RAID 10）	RAID 10兼顾性能与数据安全
归档盘	4×8TB SAS HDD（RAID 5）	大容量低成本归档存储
RAID卡	M4610（8GB缓存+超级电容）	大缓存加速随机写，超级电容防掉电
网卡	OCP 3.0双口25GbE + 双口10GbE	25GbE数据流量，10GbE管理流量
电源	1400W 1+1钛金冗余	数据库满载+冗余

SR650 V3与SR650 V2对比

对比维度	SR650 V3	SR650 V2
CPU平台	第4/5代Xeon Scalable	第3代Xeon Scalable
内存	DDR5-4800，最大8TB	DDR4-3200，最大6TB
PCIe版本	PCIe 5.0	PCIe 4.0
PCIe插槽数	6个 + OCP 3.0	6个 + OCP 3.0
最大NVMe盘位	16个	10个
GPU支持	3×双宽GPU（PCIe 5.0）	3×双宽GPU（PCIe 4.0）
RAID卡	M4系列（PCIe 5.0）	M3系列（PCIe 4.0）
管理	XCC 3.0（Redfish 2023.1）	XCC 2.0（Redfish 2021.3）
电源	最高1800W钛金	最高1400W铂金

SR650 V3在保持2U机箱外形不变的前提下，通过平台换代实现了存储扩展能力的大幅跃升：NVMe盘位从10个增加到16个，RAID卡升级到PCIe 5.0接口，GPU支持的PCIe带宽翻倍。AnyBay技术在新平台上同样得到延续，支持SAS/SATA/NVMe在同一盘位混插，为企业在不同性能层级的存储部署提供了极大的灵活性。对于已有SR650 V2的用户，如果当前负载以PCIe 4.0 NVMe和SAS存储为主，扩容升级内存和SSD即可满足需求；如果是新建项目或需要PCIe 5.0 GPU、大容量NVMe的场景，SR650 V3的扩展优势值得投入。