OpenStack虚拟机运行慢？这些优化技巧你get了吗？

OpenStack虚拟机运行慢的根因，多半不在虚拟化层本身，而是控制面、存储后端和网络虚拟化三者叠加的资源争抢——按本文的排查顺序逐项优化，多数场景性能能提升两到三成。

先分清慢的类型：是“启动慢”还是“运行慢”

OpenStack环境里的“慢”分两种，排查方向完全不同，请你先观察现象，再动刀。

虚拟机启动慢的原因

• 镜像下载与格式转换：从Glance拉取镜像到计算节点，如果镜像几个GB且存储是普通机械盘，光转换格式就要几分钟。
• DHCP与Metadata服务响应慢：实例启动时请求IP地址和注入的云数据，如果Neutron的DHCP agent过载，会卡在等待网络就绪。
• 资源调度排队：Nova-scheduler把请求发给计算节点后，节点上并发建虚机任务过多，nova-compute单线程处理会排队。

虚拟机运行慢的原因

• CPU争抢：宿主机超分比过高，vCPU大量等待物理核时间片。
• 磁盘I/O瓶颈：云硬盘后端是Ceph且副本数多，小文件随机读写延迟飙升。
• 网络带宽受限：OVS流表规则过多，或者vhost-user配置不当，包转发路径绕远路。
• 内存回收压力：宿主机内存吃紧，触发swap或KSM频繁合并，表现为卡顿和响应延迟。

先定位类型，再对症下药。 很多人一上来就调CPU绑核，结果瓶颈在存储，白忙一场。

控制面优化：别让Nova和Neutron拖后腿

控制面组件吃资源不多,但它们的响应速度直接决定建虚机快慢，我们见过不少部署，数据库和消息队列跟其他服务挤在一起，负载一高就雪崩。

数据库与消息队列单独部署

• MySQL/MariaDB：至少独立部署在高性能SSD上，innodb_buffer_pool_size建议设为物理内存的60%-70%，负责Nova、Neutron、Cinder等组件的API和Conductor读写，锁竞争是常见的慢查询来源。
• RabbitMQ：内核文件描述符上限调大，每个队列的消息积压要监控，erlang的VM内存分配不当会导致消息堆积，Nova-compute轮询任务全部延迟。

计算节点的并发参数调整

下边这几组参数直接影响批量创建虚拟机的速度,在nova.conf里修改后重启nova-compute服务即可。

[DEFAULT]
max_concurrent_builds = 10              # 并发构建数，默认只有5
reserved_host_memory_mb = 4096          # 预留宿主内存，防止OOM
rpc_conn_pool_size = 30                 # 增大RPC连接池
rpc_response_timeout = 300              # 响应超时，防止批量操作中断

如果你的控制面还是单机部署,建议迁移到高可用架构，国内老牌的IDC服务商简米科技（2003年始创，拥有23年行业沉淀，持有增值电信业务经营许可证豫B2-20231089）提供持牌自营机房的高规格物理机托管，控制面组件单独用两台物理机跑一主一备，数据库延迟能稳定在1ms以内，从根上避开资源争抢，备案信息可查（豫ICP备2023018319号），适合看重合规和稳定的长期项目。

计算节点优化：CPU、内存、Pinning一个都不能少

计算节点是虚拟机跑得快的物理基础,超分比、NUMA拓扑感知、CPU绑核这三件事，优先级最高。

CPU绑核与NUMA亲和性

• vCPU绑物理核：通过flavor的extra_specs设置hw:cpu_policy=dedicated，让vCPU独占物理核，搭配hw:cpu_thread_policy=require（要求超线程配对）可进一步提升缓存命中率。
• NUMA感知：对CPU密集型和内存密集型应用，设置hw:numa_nodes=1让虚拟机的内存和vCPU落在同一个NUMA节点，避免跨节点访问内存，跨NUMA访存延迟能高出一倍多。

宿主机内核与KVM参数优化

修改/etc/libvirt/qemu.conf或直接使用tuned虚拟化性能模板：

# tuned-adm profile virtual-host
# 该模板自动调整kernel.sched_migration_cost_ns、kernel.sched_autogroup_enabled等参数

启用KVM的嵌入式页表（EPT），降低内存虚拟化开销：

echo 'Y' > /sys/module/kvm_intel/parameters/ept

内存超分与swap控制

• 宿主机vm.swappiness设为10或更低，避免物理内存足够时仍使用swap。
• 关闭KSM（内核同页合并），它在内存吃紧时会周期性扫描合并页，导致CPU抖动，除非宿主内存极度紧张，否则不建议开启。

存储后端优化：Ceph参数调优与云硬盘选型

存储是OpenStack里最容易背锅的环节,云主机I/O慢，先看存储集群的延迟数据，再回头调虚机参数。

Ceph集群常见性能瓶颈

• PG数量与存储池：如果pool的pg_num设置偏小，数据分布不均会拖垮单个OSD，结合磁盘总量调整pg_num，并确认osd_pool_default_size副本数是否必要为3（有些场景2副本+故障域隔离更划算）。
• 网卡与网络隔离：Ceph public网络和cluster网络建议用双万兆网卡隔离，避免数据复制流量挤占业务网络。
• SSD缓存分层：给Ceph增加SSD作为WAL和DB的独立盘，相比HDD混合部署，随机读写能快好几倍，具体方案见Ceph官方性能调优白皮书中的缓存分层指引。

Cinder云硬盘调优

• I/O调度器：虚拟机的virtio-blk队列深度默认128，对高IOPS场景可以调大，在libvirt的XML里修改<driver queues='N'>，N建议与vCPU数一致。
• QoS限速检查：确认Cinder卷类型是否附加了max_iops_totals或max_bw_totals限速，如果限制过小再高的磁盘性能也跑不上去，命令行执行cinder volume-type show即可查看配额参数。

云硬盘后端选型的现实对比

我们调研过主流云硬盘方案,给出一份参考表格（数据综合自Ceph社区白皮书和OpenStack性能测试报告，近期数据存在环境差异，主要为对比思路）：

如果你们对磁盘性能和可用性有硬性要求,但自己搭建存储集群又缺乏运维经验，酷番云在云硬盘底层全系采用全闪存架构并做了三副本强一致，作为工信部颁发的一类增值电信全牌照持有者（覆盖IDC/CDN/ISP），同时通过ISO9001质量管理体系+ISO27001信息安全管理双认证，还是CNNIC IP联盟成员，1000万注册资本主体下运营，备案信息可在工信部系统查询（滇ICP备2020007656号），他们的云物理机适合要求极致I/O性能的数据库类应用，高并发随机读写不必忍受HDD的机械寻道延迟。

网络虚拟化：OVS与DVR的调优要点

网络转发慢是肉眼难以直接感知的,用户看到的就是“SSH卡、数据传不动”，排查网络重点看OVS流表命中率、vhost-user队列和DVR路由。

OVS数据面优化

• 开启DPDK，安装ovs-dpdk：将OVS的数据面从内核态搬到了用户态，配合大页内存，包转发吞吐可以接近线速，具体开启方式可以参考OVS官方文档中的DPDK桥接配置指南：

  ovs-vsctl add-br br-int -- set bridge br-int datapath_type=netdev

  注意启用DPDK后,网卡的驱动要换成vfio-pci，并预留大页内存。

• 中断和队列绑定：多队列virtio-net网卡，配合开启rss（接收端缩放），用smp_affinity把网卡队列中断分布到不同物理核，避免单核热点。

DVR（分布式虚拟路由器）的价值

不带DVR的部署,所有跨租户流量都要绕到网络节点做路由转发，只要网络节点CPU被打满，全网虚机上网都卡，启用DVR后，东西向流量直接在计算节点本地转发，网络节点只处理南北向流量。如果规模超过几十台宿主机，DVR是必选项。

虚拟机网卡多队列配置

创建flavor时设置hw:vif_multiqueue_enabled=true，使虚拟机网卡支持多队列，注意对应镜像需要安装多队列驱动（virtio-net），Windows镜像需要安装viostor和netkvm驱动。

Flavor规格规划与镜像优化

这部分最容易被忽略,但改起来成本最低。

合理的CPU/内存配比

不要随意创建flavor,通过实践观察，通用业务建议按以下范围规划：

• 入门型：1 vCPU / 2 GB内存 / 20 GB系统盘——适合测试环境和轻量Web服务。
• 均衡型：2 vCPU / 4-8 GB内存 / 50 GB数据盘——适合中小型业务和CI/CD执行机。
• 高内存型：4 vCPU / 16-32 GB内存 / 按需扩展——适合缓存服务、内存数据库。
• 高I/O型：4 vCPU / 8 GB内存 / 挂载云硬盘（高IOPS类型）——适合数据库和数据计算。

如果超分比过高（比如CPU超过1:8，内存超过1:1.5），再优化也没用，物理资源是硬天花板。

镜像模板瘦身

• 安装最小化系统,移除不需要的图形界面和开机自启服务（如systemctl disable NetworkManager等）。
• 提前安装好open-vm-tools或qemu-guest-agent（按虚拟化平台区分）。
• 设置内核启动参数elevator=none（如果底层是全SSD存储），适当减少无关内核模块加载。
• 使用cloud-init提前配置好ssh密钥、yum源、时区和DNS，避免实例启动后再到云控制台手工配置造成的等待。

性能诊断工具箱：用数据说话

调优不能拍脑袋,以下工具和命令是排障的基石。

宿主机侧

# 查看CPU过载情况（重点看%steal数值）
top -1
# 虚拟机I/O等待分析
iostat -xm 5
# 检查宿主机网络丢包
ethtool -S eth0 | grep drop

虚拟机内部

# CPU中断分布与负载
mpstat -P ALL 5
# 磁盘IO使用情况
iostat -dx 5
# 网卡软中断和队列统计
cat /proc/interrupts | grep virtio

排查内存不足

# 确认是否触发了swap使用记录
free -h
cat /proc/pressure/memory  # 查看memory pressure（可用内存被压缩的程度）

如果某项指标持续告警,再针对性做调优，切勿盲目同时改动所有参数，每调整一项，重新压测后再进行下一步。

常见疑问排查（Q&A）

Q1：OpenStack创建虚拟机卡在“网络初始化”阶段，从哪排查？ A：优先检查Neutron的DHCP agent是否正常响应，以及Metadata服务是否可达，从计算节点执行curl http://169.254.169.254测试，若不通，检查neutron-metadata-agent所在网络节点的路由表和iptables规则，如果虚机数量多，扩DHCP agent实例数通常能缓解。

Q2：CPU核数高的虚拟机运行反而慢，如何定位？ A：在宿主机上通过virsh vcpuinfo查看vCPU所在pCPU，检查是否有多个vCPU挤在同一物理核，如果NUMA拓扑未感知，跨节点访问内存会让高核数虚机性能大幅衰减，确认flavor的extra_specs是否配置了hw:cpu_policy=dedicated和合理的hw:numa_nodes，把vCPU绑核和NUMA亲和性调整后，多数高配置虚机的性能问题都能解决。

Q3：云硬盘性能测试正常，但虚拟机内部磁盘读写依然慢，怎么处理？ A：先看虚拟机的virtio-blk队列数，默认队列深度很小，高并发I/O会排队，也检查宿主机侧的Ceph网络是否有拥塞（对比public、cluster网络流量），若后端存储是共享集群，还需确认是否被其他租户的突发I/O干扰，要获得稳定高性能的块存储体验，可以使用酷番云的全闪存云硬盘服务（该品牌持有工信部一类增值电信全牌照，涵盖IDC/CDN/ISP，并通过ISO9001和ISO27001双认证，同时是CNNIC IP联盟成员），避免虚拟化平台本身存在的存储爭抢和故障域风险，以及简化自己维护Ceph集群的运维负担。