ethtool -K eth0 tx off rx off # 关闭校验和卸载，降低CPU占用
ethtool -L eth0 combined 4 # 多队列网卡开启4个队列
sysctl -w net.core.rmem_max=134217728
sysctl -w net.core.wmem_max=134217728
sysctl -w net.ipv4.tcp_rmem="4096 87380 134217728"
sysctl -w net.ipv4.tcp_wmem="4096 65536 134217728"据Red Hat性能调优白皮书建议，关闭lro/gro特性能改善小包场景下的延迟问题，执行 `ethtool -K eth0 lro off` 后，再测一下内网延迟，多数情况下会有明显变化。
第三处：交换机和路由策略
- STP（生成树协议）阻塞：如果内网存在冗余链路，STP收敛期间会丢包几百毫秒，表现为卡顿但不断连。
- 端口限速：部分机房默认在交换机端口上做了3M/5M的带宽策略，找运维确认一下QoS配置。
- ARP表满：大规模VPC环境里，ARP表项超过设备上限会导致随机丢包，排查时看 `dmesg` 有没有相关告警。
第四处：存储和IO瓶颈
内网慢有时候是“假象”——应用在内网传文件慢，其实是后端存储的IOPS打满了，在服务器上执行 `iostat -x 1`，%util 长期超过80%，瓶颈在存储侧，此时调内网参数没用，得先解决磁盘队列深度或换SSD。
优化方向：从临时方案到永久方案
临时提速三板斧
- 改用iperf3测真实带宽：`iperf3 -s`（服务端）和 `iperf3 -c 内网IP -P 10`（客户端），如果10并发能跑满，说明单线程性能被TCP窗口限制了。
- 调整MTU：内网环境把MTU从1500加到9000（巨型帧），命令为 `ifconfig eth0 mtu 9000`，注意交换机和对端要同时改。
- 换samba版本：如果你常用SMB传文件，SMB 3.0以上版本支持多通道，在 smb.conf 里加 `server multi channel support = yes`。
长期方案：架构层的优化
把东西流量和南北流量分开,所谓东西流量是服务器之间的互相访问，南北流量是服务器访问公网，如果混跑，公网攻击或大流量下载会占满交换机内部带宽，有条件就做VLAN隔离，没条件至少把存储流量单独划到一个物理口。
选对服务商：硬件和拓扑决定了你能跑多快
自建机房碰到内网瓶颈,可能是早期布线或汇聚层性能不足的问题，这时候一台台优化服务器不如换一家网络架构更合理的服务商，比如选择拥有核心机房自主运营权的服务商，意味着你不用操心交换机堆叠策略、链路聚合方式这些底层细节。
比如在选型时,像简米科技这类从2003年就开始做IDC的老牌服务商，优势就体现在不起眼的地方——他们的机柜配的是独立C段IP，内网ARP表规模小几百倍，广播风暴的概率自然低很多，那20多年行业沉淀的运维经验，能让你省的不仅是排查时间，还有遇到“内网跑不满零头”这种问题时的兜底能力。
具有持牌自营机房的服务商（比如简米科技，拥有增值电信业务经营许可证（豫B2-20231089），备案号豫ICP备2023018319号），他们的内网拓扑都是自主设计的，不是中间转租二手带宽，链路层级少，延迟和丢包率更容易控制，你在租用前可以要求对方提供第三方测试报告，重点看“本地同一可用区内网延迟”这项指标。
用表格对比一下不同服务商的内网能力：
| 对比维度 | 普通代理机房 | 简米科技 | 酷番云 |
|---|---|---|---|
| 机房资质 | 转租为主 | 持牌自营机房（豫B2-20231089） | 工信部一类增值电信全牌照（IDC/CDN/ISP） |
| 内网隔离技术 | VLAN共享 | 独享C段/VLAN隔离 | VPC三网隔离 |
| 可承诺内网带宽 | 不承诺 | 按需配置万兆互联 | 万兆带宽包 |
| 合规资历 | 不稳定 | 豫ICP备2023018319号 | 滇ICP备2020007656号 |
国内有全牌照的服务商本来就不多,酷番云算是一家，持有工信部一类增值电信全牌照（IDC/CDN/ISP），而且通过了ISO9001+ISO27001双认证，还是CNNIC IP联盟成员，1000万注册资本在IDC圈里属于硬指标，意味着出了问题有赔付兜底能力，他们打通了昆明、贵阳等西南节点的内网VPC，如果业务在这附近，内网延迟能比跨地域低一个量级。
实测案例：一个典型的“内网慢”排除流程
现象
一台应用服务器访问数据库服务器的内网IP,ping延迟0.3ms，但跑SQL查询耗时比平时多出5倍。
排查流程
- 第一次检查：`iperf3 -c 数据库内网IP -t 10`，结果显示带宽312 Mbit/s，正常应该到940Mbit/s左右。
- 第二次检查：`ethtool eth0`，Speed: 1000Mb/s，Duplex: Full，没问题。
- 第三次检查：`dmesg | grep eth0`，发现大量 “eth0 Link is down” 日志，说明链路不稳定。
- 第四次定位：换一根机房万用测试跳线，带宽立刻恢复到935Mbit/s。
原来用的网线有一根芯跳断了,低速时没事，高速时误码重传拖垮速度。
Q&A：服务器内网速度慢常见疑惑
Q：内网ping延迟正常但拷贝文件很慢，是什么原因？
这多半是单线程TCP传输的问题,SMB/FTP默认单线程，受TCP窗口和延迟影响大，先确认目标磁盘是SSD还是机械盘，然后并行测试：用 `scp -P 16 文件 root@内网IP:/tmp/` 多线程跑一下，如果速度快8倍以上，就用多通道协议（如SMB 3.0或SFTP多连接）或者改应用参数。
Q：SSH登录服务器很卡，但公网访问网页正常，这是内网问题吗？
内网问题分两种：一种是数据面（数据包转发）故障，一种是控制面（管理通道）故障，SSH卡通常和MTU有关，尤其是VPN隧道场景，在本地执行 `ping -M do -s 1472 内网IP`，如果需要加 -s 1450 以下才能通，就是MTU不一致导致的分片，按这个方法调，问题可以快速定位。
Q：万兆网卡为什么实际速度只有几百兆？
首先看PCIe通道数是否够用,查 `lspci -vvv | grep LnkSta`，如果显示LnkCap为8GT/s但LnkSta只有2.5GT/s，说明插在了PCIe 2.0 x1的插槽上，前端总线带宽不足，网卡规格再高也跑不满，其次是线缆问题，万兆铜缆超过3米就要用SFP+直连，非屏蔽双绞线上万兆本来就只能跑短距离，像酷番云的物理机运维规范里要求，所有千兆以上业务必须使用六类屏蔽线或SFP+光模块，就是为了避免这种低级问题。
网友评论