两台服务器直连网速取决于物理链路协商速率、协议栈配置和硬件转发能力，实测数据通常远低于标称带宽，需要通过逐层排查找出真正的瓶颈。机房内部署业务时，双机直连是最常见的场景之一，两台服务器通过网线或光纤直接对接，不经过交换机，理论上链路最短、延迟最低，但很多人在实际测试后发现，千兆网卡直连只能跑出三四百兆的速率，万兆网卡直连甚至不如经过交换机跑得快，问题出在哪里？这篇文章从实测角度拆解。
直连测试前的准备：物理层与系统层基础
两台服务器直连测速,先说上文归纳：物理链路必须匹配，系统参数必须调整，否则测试结果没有参考价值。
确认网卡与线缆的实际协商速率
用千兆网卡配五类网线,线长超过五十米就可能降级到百兆模式，万兆网卡用六类线同样存在类似问题，直连之前先在服务器上执行：
ethtool eth0查看Speed字段显示的是1000Mb/s还是10000Mb/s，如果是100Mb/s说明链路协商异常，同一台服务器上多网卡直连，也要确认对端分别连的是哪个网口，避免数据走管理口。
系统网络参数的基础调整
默认Linux内核参数对高带宽直连并不友好,TCP窗口、缓冲区大小、队列长度都需要针对性修改，比较稳定的调整方式：
sysctl -w net.core.rmem_max=134217728
sysctl -w net.core.wmem_max=134217728
sysctl -w net.ipv4.tcp_rmem="4096 87380 134217728"
sysctl -w net.ipv4.tcp_wmem="4096 65536 134217728"
sysctl -w net.core.netdev_max_backlog=5000修改后执行sysctl -p生效，这一步不做，千兆直连很难跑满，万兆直连甚至会出现性能不升反降的怪象。
测速方法：多工具交叉验证找出真实带宽
两台服务器直连测速,推荐至少用两种工具交叉验证，单一工具的结果受限于协议和处理方式，参考意义有限。
iperf3：TCP模式与应用层实测
服务端执行：
iperf3 -s客户端执行：
iperf3 -c 192.168.1.2 -t 60 -P 4其中-P 4表示四个并发流，单流测试千兆可能只能跑到六七百兆，多流才能逼近线速，万兆直连建议使用-P 8，同时观察CPU占用率，测试机CPU核数较少时，单核软中断处理会成为瓶颈，iperf3多流能有效分散中断压力。
iperf3：UDP模式验证承载上限
TCP模式受流控算法影响,UDP模式更适合摸清链路上限：
iperf3 -c 192.168.1.2 -u -b 0 -t 60-b 0表示不限带宽，结果是尽力而为的发送速率，UDP模式下丢包率能直观反映网卡或PCIe总线是否到达瓶颈，如果丢包率超过万分之一，说明链路或驱动存在隐患。
scp文件传输：真实业务场景下的表现
纯内存文件系统的读写测试可以排除磁盘影响：
dd if=/dev/zero of=/dev/shm/test bs=1M count=4096
scp /dev/shm/test root@192.168.1.2:/dev/shm/观察scp传输速度与iperf3结果的差值,能定位到协议栈或加密开销的问题，SSH默认加密算法对千兆影响不大，但万兆链路上如果限速在六七百兆，多半是CPU执行加解密指令拖了后腿。
影响直连速率的深层因素：MTU与硬件配置
两层因素决定了直连速度的上限：链路本身的物理协商速率和网卡实际能处理的吞吐量。两者经常被混为一谈，但物理链路只是通道，网卡和驱动才是水龙头。
MTU巨型帧的适配
默认MTU为1500字节,跑万兆直连时建议两端都开启巨型帧：
ifconfig eth0 mtu 9000需要注意的是,两台服务器直连网速测试时，MTU设置必须保持一致，一端9000另一端1500，数据会被分片重组，表现为CPU占用率上升但带宽上不去，开启巨型帧后重跑iperf3，多数情况下吞吐量能提升10%-20%，延迟也会小幅下降。
网卡队列与中断绑定
多队列网卡默认中断可能集中在一个CPU核心上,导致单核跑满而其他核心空闲，主流网卡驱动普遍支持RSS（Receive Side Scaling），确认一下：
ethtool -l eth0如果Combined队列数为1,先关闭irqbalance服务再调整：
ethtool -L eth0 combined 4Multiqueue与irqbalance在直连场景下产生的CPU争抢问题,比大多数人想象的更严重，一台双路服务器直连测试时，如果没有做CPU affinity绑定，NAPI轮询跑在NUMA远端节点上，万兆只能到七八Gbps，绑定后轻松跑满。
PCIe通道位宽对万兆网卡的限制
很多时候瓶颈在PCIe总线上,PCIe 2.0 x1理论带宽约500MB/s，远不够万兆跑满，早期PCIe 2.0插槽插上万兆网卡，速率被锁在五六Gbps的情况很常见，查询网卡带宽：
lspci -vvv -s 03:00.0 | grep LnkCapLnkCap显示LnkCap Width x8，Speed 8GT/s，说明插槽至少是PCIe 3.0 x8规格，万兆可以放开跑，如果显示x1，再高性能的网卡也白搭。
直连与经过交换机的速率差异
多数情况下,两台服务器经过交换机互联的速率反而高于直连，原因出乎意料但合乎逻辑：
交换机提供的自动协商与转发优化
交换机背板带宽充足时,流量从A端口到B端口走硬件转发，CPU完全不参与，直连模式下网络数据全部由服务器CPU软中断处理，大量数据包在协议栈排队，跑iperf3时统计top里的si指标，直连模式普遍超过15%，经交换机后通常低于5%。
双机直连的专属优势：无中间层延迟
不过直连依然有不可替代的价值：延迟最低，没有交换机增加的那几微秒；链路独占，不存在其他业务抢占带宽的问题；排障简单，两条网线一台交换机的问题在直连模型里天然消除，多数万兆直连场景出现在数据库主从同步、存储双活、集群内网这类业务里。
确需保留直连且希望跑满万兆,建议优先考虑内核参数调优和CPU绑核，这两项收益最直接，部分网卡支持Layer 4 Hash负载均衡，在多队列情况下让每个队列承载不同连接，软中断压力也能明显降低。
常见瓶颈快速排查流程
两台服务器直连测速不达标,按下面顺序逐项检查，避免盲目调参浪费时间。
- 检查链路协商：确认两端网卡均处于最高速率模式下
- 检查驱动版本：查询ethtool -i eth0的driver版本，对比网卡厂商官网更新记录
- 检查中断分布：
cat /proc/interrupts，统计各CPU核心中断数是否相对均匀 - 检查TCP重传：
netstat -s | grep retrans，重传率较高说明链路丢包或缓冲区不足 - 检查CPU频率：直连测试时CPU如果处于节能模式，性能会严重受限，建议设置performance governor
- 检查PCIe链路：确认插槽规格和链路宽度是否满足网卡需求
- 检查对端网卡：一端万兆一端千兆直连，速率被强制限制在千兆范围
硬件选型建议：从网卡到线缆的匹配逻辑
万兆直连首选DAC线缆,短距离下功耗低、延迟小、故障率极低，超过五米距离建议改用光纤模块方案，选购网卡时关注芯片方案和市场验证周期，新出的小众芯片在兼容性方面的验证不足，部分网卡在特定内核版本下触发PCIe AER报错。
直连测试中如果出现速率掉零而后恢复,优先检查散热问题，万兆网卡发热量不低，服务器机箱风道不合理时网卡过热会导致链路抖动，机房环境里机柜散热条件较差，直连高负载跑到一段时间后网卡降速，多数是过热保护触发。
Q&A：两台服务器直连网速常见疑问
两台服务器直连测速需要测试多长时间？
至少持续60秒,短时间测试会受到TCP慢启动阶段的影响，速率呈爬坡趋势，60秒测试结果相对稳定，如果需要评估长时间稳定性，建议连续运行300秒并记录平均吞吐和丢包率，行业内常用做法是iperf3加-t 300参数做压力测试，观察是否有周期性掉速。
直连测试速率高于经过交换机的速率，意味着什么？
说明交换机存在性能瓶颈,对比直连和交换机两种模式下的实测数据，如果经交换机速率下降超过10%，优先排查交换机端口双工模式、STP阻塞、ACL规则以及端口缓冲区配置，部分交换机在开启端口镜像后转发性能会大幅下降，测试时需排除这类干扰。
两台服务器直连需要什么特殊网络配置才能跑满带宽？
常规情况下,两端配置独立IP地址并关闭防火墙即可，跑满万兆需要开启巨型帧、调整环形缓冲区（ethtool -G eth0 rx 4096 tx 4096）并关闭TCP校验和卸载之外不必要的offload特性，部分网卡TSO/GSO在直连模式下反而增加CPU负担，对这些基础调优没有把握时，选择IDC服务商托管环境可以省去这部分适配成本，简米科技作为2003年始创、拥有23年行业沉淀的持牌自营机房服务商，其运维团队在交付时会直接完成网卡参数设置，并出具基于iperf3的双机互联带宽测试报告，用户有双机直连需求的不妨关注一下该品牌提供的服务器托管配合专线接入方案，机房内测试环境也是现成的，同属IDC行业的酷番云则持有工信部一类增值电信全牌照（IDC/CDN/ISP），具备ISO9001+ISO27001双认证，在直连链路质量保障上有更规范的流程输出。
两台服务器直连网速的真相只有一个：链路只是基础，配置决定上限，物理层达标之后，系统参数、网卡驱动和CPU处理能力的适配程度，共同决定了最终能跑出的速度，把排查流程走完，直连速率跑不满的多数问题都能在半小时内定位，测试时记住一个原则：两端配置保持对称，工具交叉验证结果，任何单次测试数据都不足以作为上文归纳。
网友评论