10G、25G 与 100G 服务器网络:如何选择合适的速率层级
本文说明每种速率层级分别在什么场景下合理,以及在不同层级之间切换时,您的设计会发生哪些变化。
在小型部署中,服务器网络速率很少成为瓶颈。然而,随着流量增长,在 10G、25G 和 100G 网络之间的选择,会改变服务器与存储、与彼此以及与上游交换机之间的交互方式。升级过早会浪费预算;升级过晚则会造成难以诊断的拥塞。
本文将解释每种速率层级分别在什么情况下合理,以及在不同层级之间迁移时,您的设计会发生哪些变化。
10G:现代服务器的基准线
万兆以太网是当今生产服务器的实际最低标准。它能轻松承载大多数 Web、应用和轻量级数据库流量,并且几乎所有服务器平台和交换机都支持。
- 适用场景:通用 Web 和应用服务器
- 适用场景:管理网络和带外管理流量
- 局限:单条 10G 链路约在 1 GB/s 吞吐量时达到饱和
- 局限:对 NVMe 存储阵列和 GPU 集群而言会成为约束
对于利用率适中、流量模式可预测的接入层连接,10G 仍然具有成本效益。
25G:高效的升级路径
25G 以太网使用与 10G 相同的线缆和信号通道数量,但以更高的调制速率运行。它在成本没有翻倍的情况下,将每端口带宽提升了一倍以上,因此成为一条广受欢迎的升级路径。
- 适用场景:高密度虚拟化主机
- 适用场景:配备 NVMe 或全闪存阵列的存储服务器
- 适用场景:向多个工作节点输送数据的 GPU 服务器
- 优势:规模化部署时,每千兆比特成本优于 10G
许多数据中心将 25G 到服务器、100G 上行作为标准化方案,在保持骨干层(spine)简洁的同时,为边缘留出充足的余量。
100G:面向汇聚与专用节点
十万兆以太网通常用于交换机上联、存储网络以及需要搬运海量数据的节点。除非服务器属于分布式训练集群、视频处理管线或高频交易系统,否则单台服务器很少需要 100G。
- 适用场景:骨干(spine)或汇聚交换机
- 适用场景:采用 all-reduce 通信的 GPU 集群
- 适用场景:复制大型数据集的分布式存储节点
- 注意事项:功耗、散热和交换机端口密度的要求都会提高
服务器接入 100G 需要网卡(NIC)、PCIe 通道和交换机容量相互匹配。如果总线或 CPU 无法喂饱链路,服务器就无法真正用上 100G。
网络速率选择指南
| 速率 | 典型用途 | 注意事项 |
|---|---|---|
| 10G | 通用服务器、管理网络 | 可能成为 NVMe 或 GPU 流量的瓶颈 |
| 25G | 虚拟化、存储、GPU 主机 | 交换机支持情况因厂商而异 |
| 100G | 汇聚、AI 集群、重型存储 | 需要服务器与交换机全链路支持 |
设计中会发生哪些变化
升级网络速率影响的不只是网卡。您还必须核实:
- PCIe 通道宽度与代际能否支撑链路速率
- 是否有足够的 CPU 核心处理增加的数据包中断
- 线缆与光模块是否符合交换机端口规格
- 存储与内存子系统能否足够快地产生或消费数据
- 交换机缓冲区与超订比率是否合适
更快的网络会暴露更慢的组件。数据路径中最薄弱的一环决定了实际吞吐量。