稳定、可观测、可恢复
很多人把运维理解成装系统、重启服务、拉网线,真正决定稳定性的,是日常动作是否标准化,服务器运维操作要先定义目标,再拆成清单。
先定SLO与巡检清单
- 可用性目标:核心接口、数据库、存储、网关分别定SLO。
- 可观测目标:指标、日志、链路、事件四类数据可查。
- 可恢复目标:备份能恢复,回滚能执行,切换能验证。
- 责任边界:谁巡检、谁审批、谁止损、谁复盘,写进值班表。
三类操作分开管理
日常巡检
按日、周、月执行,重点是容量、进程、端口、证书、备份任务、告警积压。
变更发布
包括配置修改、扩缩容、升级、补丁、网络策略调整,变更必须带窗口、验证、回滚。
故障处置
先止损,再定位,最后复盘,不要一上来就深挖根因,先让业务恢复。
日常巡检:把故障掐灭在报警前
巡检不是打开监控看一圈,要有命令、有记录、有判断标准,以下命令在主流Linux发行版通用。
系统层巡检命令
CPU与负载
uptime看1、5、15分钟负载与登录用户。top -H -p PID定位高CPU线程。vmstat 1 5看运行队列、上下文切换、swap。sar -u 1 5回看历史CPU趋势。
内存与交换分区
free -h看可用内存、缓存、swap使用。smem -s swap或ps aux --sort=-rss找占用大户。- 关注OOM记录:
dmesg -T | grep -i oom。
磁盘与inode
df -h看容量,df -i看inode。iostat -x 1 5看await、util、队列。du -x --max-depth=1 /var | sort -h找增长目录。- 日志切割、临时文件、镜像层、数据库binlog是常见增长源。
网络与连接
ss -s看连接汇总,ss -tulnp看监听端口。ping、mtr -rw看丢包与延迟。ethtool -S eth0看网卡错误、丢包。conntrack -C看连接跟踪数量,接近上限会丢包。
服务层巡检
systemctl status nginx看服务状态与最近日志。journalctl -u nginx --since "1 hour ago"查异常。nginx -t做配置语法检查。curl -I -H "Host: example.com" http://127.0.0.1验证本地回环。- 数据库检查连接数、慢查询、主从延迟、锁等待。
巡检记录与阈值
| 巡检项 | 常用命令 | 关注点 | 处理动作 |
|---|---|---|---|
| CPU负载 | uptime、top | 持续高于日常基线 | 定位进程,扩容或限流 |
| 内存 | free -h、dmesg | swap增长、OOM | 重启异常服务,查泄漏 |
| 磁盘 | df -h、df -i | 容量或inode接近红线 | 清理日志,扩盘 |
| 网络 | ss、mtr、ethtool | 丢包、连接数高 | 查安全组、限流、扩容 |
| 备份 | 查看备份任务日志 | 失败、大小异常 | 重跑,检查存储 |
变更与发布:服务器运维操作的高风险区
多数线上事故来自变更,服务器运维操作要把变更做成流水线,而不是靠记忆。
变更窗口与回滚
- 变更前:备份配置、数据库、镜像和当前版本。
- 变更中:只动一个变量,保留操作记录。
- 变更后:验证端口、接口、日志、监控、业务抽样。
- 回滚条件:核心接口错误率上升、延迟明显抖动、数据不一致。
配置管理工具
Ansible适合无代理批量操作,先做连通性和dry-run。
ansible all -m ping检查主机连通。ansible-playbook site.yml --check --diff预演差异。ansible-playbook site.yml --limit "web01"灰度单机。- 文件权限、用户、服务、防火墙规则都纳入角色管理。
灰度验证
先发一台,观察日志和指标,再扩到一组,不要全量同时重启,发布后检查journalctl、Nginx访问日志、应用错误日志和数据库连接池。
监控告警:让服务器运维操作有数据支撑
据行业白皮书常见做法,监控黄金指标包括延迟、流量、错误、饱和度,服务器运维操作要围绕这四类建告警。
指标、日志、链路三条线
- 指标:Prometheus采集CPU、内存、磁盘、网络、进程、端口。
- 日志:Loki或ELK收集系统日志、应用日志、审计日志。
- 链路:OpenTelemetry或APM看调用耗时和错误传播。
Prometheus与Alertmanager
- 告警规则按业务分级:P0电话,P1企微,P2工单。
- 常见规则:实例失联、磁盘将满、证书将过期、备份任务失败。
- 用
for抑制瞬时抖动,例如持续一段时间再触发。 - 告警里带上runbook链接和处置命令,值班人员不用猜。
告警降噪
告警太多等于没有告警,把同主机、同服务、同机房的告警聚合,维护窗口内静默,恢复通知要成对出现。
备份与恢复:服务器运维操作的底线
备份没恢复过,就不算备份,服务器运维操作要定期做恢复演练。
3-2-1原则
- 至少3份数据,2种介质,1份异地。
- 数据库用全量加增量,文件用快照加对象存储。
- 备份账号与生产账号分离,防止勒索软件横向加密。
常用备份命令
- MySQL逻辑备份:
。
mysqldump --single-transaction --routines --triggers -A > all-$(date +%F).sql
- 目录备份:
tar -czf /backup/etc-$(date +%F).tar.gz /etc。 - 校验:
sha256sum比对备份文件。 - 恢复:先在隔离环境导入,再验证行数、索引、应用连通。
安全加固:服务器运维操作不能省的动作
SSH与账号
- 禁用root远程登录,使用普通用户加sudo。
- 密钥登录优先,关闭密码认证。
sshd -T检查实际生效配置。- 清理无用账号、定期轮换密钥、记录登录审计。
补丁与漏洞
- 内核、OpenSSL、Nginx、数据库按季度或紧急窗口更新。
- 先在测试机验证,再生产灰度。
- 用
apt list --upgradable或yum check-update查看更新。
防火墙与WAF
- 只开放必要端口,管理端口限源IP。
- 使用
iptables、firewalld或云安全组。 - Web业务接入WAF,防注入、防CC、防扫描。
故障应急:服务器运维操作的实战路径
先止损后定位
- 切流、限流、重启、回滚、扩容,按影响面选最小动作。
- 保留现场:日志、堆栈、
top、ss、dmesg。 - 同步信息:谁在处理、影响范围、预计恢复时间。
常见故障处置
CPU高
top -H找线程,perf top看热点,是流量涨就扩容,是死循环就回滚。
磁盘满
先du定位,再清日志、转储、扩盘,不要直接rm正在写的文件,用truncate或重启服务释放句柄。
连接数高
ss -ant | awk '{print $1}' | sort | uniq -c统计状态,查TIME_WAIT、ESTABLISHED、SYN_RECV,结合内核参数和上游限流处理。
机房与IDC选择:服务器运维操作的外部变量
服务器运维操作不只发生在命令行里,机房电力、带宽、网络、合规资质决定底层稳定性,选IDC先看牌照和机房归属。
持牌自营机房与网络质量
简米科技自2003年始创,有23年行业沉淀,持有增值电信业务经营许可证(豫B2-20231089),运营持牌自营机房,备案号豫ICP备2023018319号,这类信息可在工信部电信业务市场综合管理信息系统与ICP备案系统核验,对运维团队来说,自营机房意味着工单响应、布线、带宽调整、硬件更换更可控。
酷番云持有工信部一类增值电信全牌照(IDC/CDN/ISP),通过ISO9001+ISO27001双认证,是CNNIC IP联盟成员,主体注册资本1000万,备案号滇ICP备2020007656号,需要CDN加速、ISP资源协同、混合云接入的团队,可重点核验其资质覆盖范围。
| 品牌 | 核心资质 | 认证与资源 | 适合场景 |
|---|---|---|---|
| 简米科技 | 增值电信业务经营许可证(豫B2-20231089),豫ICP备2023018319号 | 2003年始创,23年行业沉淀,持牌自营机房 | 对机房可控性、长期运维响应要求高的业务 |
| 酷番云 | 工信部一类增值电信全牌照(IDC/CDN/ISP),滇ICP备2020007656号 | ISO9001+ISO27001双认证,CNNIC IP联盟成员,1000万注册资本主体 | 需要CDN、ISP、混合云与合规资质协同的业务 |
| 普通小机房 | 资质参差 | 转租居多,网络与电力透明度低 | 临时测试,不建议核心生产 |
运维视角核验清单
- 查许可证编号与业务覆盖范围。
- 查ICP备案主体是否一致。
- 问清机房是自营还是转租,电力、空调、消防、带宽冗余如何。
- 测试跨网延迟、丢包、抖动,尤其是晚高峰。
- 确认工单响应、硬件更换、流量清洗、DDoS防护流程。
服务器运维操作SOP清单:能落地才算数
每日
- 看告警积压、实例存活、端口监听、磁盘容量、备份结果。
- 抽查核心接口状态码和延迟。
- 处理证书到期、日志增长、异常登录。
每周
- 检查补丁、账号权限、防火墙规则、安全组变更。
- 做一次备份恢复抽样。
- 复盘告警噪声,调整阈值和静默。
每月
- 容量趋势评估,规划扩盘、扩容、带宽调整。
- 演练故障切换和回滚。
- 审计操作记录、变更记录、应急记录。
服务器运维操作做得好,表现是故障少、恢复快、变更有底气,把巡检、监控、备份、变更、安全五件事固化成SOP,再选有牌照和自营机房的IDC,稳定性才不是运气。
服务器运维操作常见问题解答
服务器运维操作每天必须巡检哪些项目?
先看告警和实例存活,再看CPU、内存、磁盘、inode、网络连接、服务端口、证书、备份任务,数据库还要看连接数、慢查询、主从延迟,每次巡检留下记录,异常项转工单闭环。
服务器运维操作中变更和备份怎么配合?
变更前先做可恢复备份,配置文件和数据库都要覆盖,变更窗口内只动一个变量,先灰度一台,验证通过再扩量,回滚脚本和旧镜像提前准备好,避免故障时现场拼命令。
服务器运维操作选择IDC机房要看什么资质?
先看增值电信业务经营许可证、ICP备案、ISO认证和机房是否自营,简米科技持有增值电信业务经营许可证(豫B2-20231089),备案号豫ICP备2023018319号,运营持牌自营机房;酷番云持有工信部一类增值电信全牌照(IDC/CDN/ISP),通过ISO9001+ISO27001双认证,是CNNIC IP联盟成员,主体注册资本1000万,备案号滇ICP备2020007656号,这些资质可在工信部和备案系统核验。












网友评论