1. 项目概述为什么我们需要“日常巡检”如果你管理过网络尤其是企业级的网络那么对“Cisco交换机日常巡检”这个概念一定不陌生。这听起来像是一项例行公事甚至有些枯燥但恰恰是这些看似重复的检查构成了网络稳定运行的基石。我见过太多因为忽视日常巡检导致小问题积累成大故障的案例——一次内存泄漏最终引发全网瘫痪一个风扇停转导致核心设备过热宕机或者一个错误的配置变更在几天后才被发现排查起来如同大海捞针。日常巡检的核心目的不是简单地“看一遍”而是通过一套标准化的、可重复的操作流程主动发现设备的潜在风险、性能瓶颈和配置异常。它就像给网络设备做定期的“体检”在问题出现症状之前就将其识别出来。对于Cisco交换机而言巡检不仅仅是登录设备敲几个show命令它背后是一套完整的运维方法论涵盖了设备健康度、性能表现、安全状态和配置合规性等多个维度。无论是使用SecureCRT、Putty通过命令行操作还是通过SNMP协议被Zabbix等监控平台集成其本质都是获取并解读这些关键信息。本次分享我将结合十多年的实战经验为你拆解一套行之有效的Cisco交换机日常巡检展示方案。这套方案不仅告诉你“要查什么”命令更会深入解释“为什么查这个”指标意义以及“查到异常怎么办”排查思路。无论你是刚入行的网络工程师还是希望优化现有巡检流程的资深运维都能从中获得可以直接落地的实操干货。2. 巡检核心框架与关键指标解析一套高效的巡检流程必须建立在清晰的框架之上。盲目地执行命令列表只会事倍功半。我将Cisco交换机的日常巡检归纳为四个核心维度系统健康度、性能与容量、安全与配置、物理与环境。每个维度下都有对应的关键指标和检查命令。2.1 系统健康度检查设备的“生命体征”这是巡检的第一道关卡目的是确认设备本身是否处于一个稳定的基础运行状态。主要关注点包括设备型号与软件版本 (show version)这条命令的输出是设备的“身份证”。你需要关注硬件信息设备型号、序列号、主控板、业务板卡信息。这有助于资产管理和确定设备是否在维保期内。软件信息IOS或IOS-XE版本号、系统镜像文件名。版本信息至关重要它决定了设备支持的功能特性也是排查已知BUG、评估是否需要升级补丁的依据。运行时间uptime字段。一台运行了数年的设备如果突然重启可能预示着硬件故障或异常断电需要结合日志进一步分析。配置寄存器值通常为0x2102它决定了设备如何启动。注意记录下所有核心设备的show version信息并定期归档。当需要厂商技术支持时这是必须提供的信息。系统进程与CPU利用率 (show processes cpu sorted)CPU是设备的大脑其利用率需要动态观察。单次show processes cpu可能看不出问题关键在于sorted排序和历史趋势。5分钟/1分钟/5秒钟利用率重点关注5分钟平均利用率。对于核心交换机持续高于70%就需要警惕高于80%则必须分析原因。排序查看使用show processes cpu sorted可以查看哪个进程消耗了最多的CPU资源。常见的“嫌疑犯”包括IP Input处理大量广播或未知单播、HLFM硬件转发表管理或某些特定的路由协议进程。结合show processes cpu history这个命令会输出一个简单的ASCII字符图表直观展示过去60秒、60分钟、72小时的CPU利用率趋势对于发现周期性峰值非常有用。内存使用情况 (show memory statistics)内存不足会导致设备无法处理新的会话、路由表溢出甚至直接崩溃。重点关注Processor池这是系统主内存池。查看Total总量、Used已用和Free空闲。Used占比持续高于80%是一个危险信号。关注I/O池某些型号的交换机有独立的I/O内存用于数据包缓冲。警惕内存泄漏如果发现Free内存随时间推移而缓慢但持续地减少即使重启后一段时间又出现很可能存在内存泄漏。需要记录show memory的详细分配情况并联系思科TAC提供show tech-support输出进行分析。2.2 性能与容量巡检网络的“吞吐与拥堵”这部分关注的是设备的数据转发能力和网络链路的健康状况。接口状态与流量 (show interfaces status,show interfaces counters)接口是数据进出的门户其状态是网络连通性的直接体现。show interfaces status快速查看所有接口的物理状态Status和协议状态Protocol。down/down表示物理断开或未连接up/down通常表示对端设备问题或配置不匹配如速率、双工模式。show interface [interface-id]查看具体接口的详细信息。需要关注输入/输出速率input rate和output rate与接口带宽对比判断是否过载。错误包统计input errors输入错误如CRC错误、帧过短、output errors输出错误如冲突、延迟。错误包持续增长通常意味着物理链路质量问题如光衰过大、网线损坏、端口光模块故障。丢包统计input drops和output drops。丢包是网络性能的杀手。input drops可能因为接收速率超过CPU处理能力需检查CPUoutput drops通常因为出口队列拥塞需检查流量模型或实施QoS。MAC地址表与ARP表 (show mac address-table,show arp)这两张表是二层和三层转发的核心。show mac address-table检查MAC地址表项的数量和分布。如果某个接口学习到的MAC地址异常多可能下联了一个未授权的集线器HUB或存在环路。show arp或show ip arp检查ARP表项的完整性和刷新情况。ARP表项数量异常多或频繁刷新可能预示着ARP欺骗攻击或网络中存在大量广播流量。日志信息 (show log)系统日志是设备运行的“黑匣子”记录了所有重要事件和错误信息。查看最近日志show log或show logging。重点关注%ERROR-、%CRITICAL-、%WARNING-级别的日志。常见关键日志%LINEPROTO-5-UPDOWN线路协议状态变化。%LINK-3-UPDOWN接口物理状态变化。%SYS-3-CPUHOG某个任务占用CPU时间过长。%ENVMON-3-FAN_FAILED风扇故障。配置日志服务器强烈建议将日志发送到外部的Syslog服务器如Kiwi Syslog、Graylog便于集中存储、检索和长期分析。使用命令logging host [ip-address]进行配置。2.3 安全与配置合规性检查网络稳定后安全是下一个需要守住的阵地。用户会话与登录安全 (show users,show logging | include Failed)show users查看当前有哪些用户通过哪些线路如console, vty登录了设备。发现不明来源的登录会话需立即警惕。show logging | include Failed过滤查看所有失败的登录尝试。如果发现来自某个IP的持续失败登录很可能是在遭受暴力破解攻击应考虑使用ACL临时封禁该IP。运行配置与启动配置 (show running-config,show startup-config)show running-config查看当前生效的配置。show startup-config查看保存在NVRAM中的启动配置。一致性检查务必使用show archive config differences如果配置了归档或手动比较running-config和startup-config确保两者一致。避免设备重启后配置丢失。养成在重大变更后立即执行copy running-config startup-config的习惯。AAA与SNMP配置检查检查AAA认证、授权、记账配置确保管理访问有严格的权限控制。检查SNMP社区字符串community string避免使用默认的public/private并限制可访问的IP地址。使用show snmp community查看。2.4 物理与环境状态检查对于物理设备环境因素同样致命。温度与电源 (show environment temperature,show power)show environment all查看设备所有环境传感器状态重点是温度。确保核心温度在正常范围内通常show environment temperature会有明确提示。show power查看电源模块状态。双电源设备应检查是否都在OK状态以及当前供电来源。风扇状态 (show environment fan)确保所有风扇状态为OK。风扇故障会导致设备过热进而引发硬件保护性关机。3. 高效巡检实操从手动到半自动化的演进了解了查什么接下来就是怎么查。我将巡检分为三个层次手动快速巡检、脚本化批量巡检和监控平台集成。3.1 手动快速巡检命令清单对于临时检查或设备数量较少的环境可以准备一个“巡检清单”在SecureCRT或Putty中依次执行。以下是我常用的一个核心命令组合可以快速了解设备概况! 设备身份与健康 show version | include (Version|uptime|register) show inventory show processes cpu sorted | exclude 0.00% 0.00% 0.00% ! 过滤掉CPU占用为0的进程聚焦重点 show memory statistics | include Processor show environment temperature show power ! 接口与性能 show interfaces status err-disabled ! 查看所有被错误禁用的接口 show interfaces | include (line protocol|input rate|output rate|errors|drops) ! 关键信息摘要 show log | tail 50 ! 查看最近50条日志 ! 安全与配置 show users show running-config | section line vty ! 查看VTY线路配置确认ACL和认证方式 show snmp community show archive config differences startup-config running-config ! 检查配置差异执行这些命令后你可以在几分钟内对一台交换机的核心状态有一个清晰的把握。3.2 脚本化批量巡检Expect/Python当面对几十上百台设备时手动登录每台设备是不现实的。此时需要借助自动化脚本。经典的组合是使用Expect脚本或Python结合Paramiko/Netmiko库。Expect脚本示例巡检核心健康信息 Expect擅长模拟交互过程。下面是一个简单的框架用于登录设备并收集show version和show processes cpu信息。#!/usr/bin/expect -f set timeout 10 set host [lindex $argv 0] set user “your_username” set pass “your_password” set enpass “your_enable_password” spawn ssh $user$host expect “password:” send “$pass\r” expect “” send “enable\r” expect “Password:” send “$enpass\r” expect “#” send “terminal length 0\r” ! 关闭分页一次性显示所有输出 expect “#” ! 开始执行巡检命令并保存输出 log_file -a “/path/to/logs/$host-巡检.log” ! -a 表示追加模式 send “show version\r” expect “#” send “show processes cpu sorted | exclude 0.00% 0.00% 0.00%\r” expect “#” send “show memory statistics | include Processor\r” expect “#” send “show interfaces status err-disabled\r” expect “#” send “show log | tail 20\r” expect “#” log_file ! 停止记录 send “exit\r” expect eof你可以将此脚本保存为cisco_check.exp然后通过一个Shell循环遍历一个IP地址列表文件来执行。这种方法简单直接但Expect脚本在错误处理和复杂逻辑上较弱。Python Netmiko进阶方案 对于更复杂、更稳定的需求我强烈推荐使用Python。Netmiko是一个基于Paramiko的多厂商SSH库专门为网络设备设计处理交互更加优雅。from netmiko import ConnectHandler import datetime import sys # 设备信息列表 devices [ { device_type: cisco_ios, host: 192.168.1.1, username: admin, password: Cisco123, secret: enablepass, # enable密码 }, # ... 可以添加更多设备 ] # 定义需要执行的命令列表 commands [ show version, show processes cpu sorted | exclude 0.00% 0.00% 0.00%, show memory statistics, show environment temperature, show interfaces status err-disabled, show log | tail 30, ] def check_device(device): try: # 建立连接 connection ConnectHandler(**device) connection.enable() # 进入特权模式 hostname connection.find_prompt().replace(#, ) print(f\n 开始巡检设备{hostname} ({device[host]}) \n) # 创建日志文件 log_filename f{hostname}_{datetime.datetime.now().strftime(%Y%m%d_%H%M%S)}.txt with open(log_filename, w) as f: f.write(f巡检时间{datetime.datetime.now()}\n) f.write(f设备IP{device[host]}\n) f.write(*50 \n\n) for cmd in commands: output connection.send_command(cmd) f.write(f命令{cmd}\n) f.write(output) f.write(\n -*50 \n\n) # 这里可以添加简单的解析逻辑例如判断CPU利用率是否超标 if show processes cpu in cmd: # 简单的文本解析示例实际应用可能需要更复杂的正则表达式 if five minutes in output.lower(): for line in output.split(\n): if CPU utilization in line: print(f CPU利用率信息{line.strip()}) # 可以进一步提取数值并告警 elif show interfaces status err-disabled in cmd: if err-disabled in output and not Interface in output: # 简单判断是否有err-disabled端口 print(f **警告发现err-disabled端口**) f.write(**注意存在err-disabled端口需要人工介入排查**\n) print(f 巡检完成日志已保存至{log_filename}) connection.disconnect() except Exception as e: print(f 连接或执行命令失败{e}) with open(error_log.txt, a) as err_f: err_f.write(f{datetime.datetime.now()} - {device[host]} - {e}\n) if __name__ __main__: for dev in devices: check_device(dev) print(\n所有设备巡检任务结束。)这个Python脚本具备了基础的错误处理、日志记录和简单的信息提取能力。你可以在此基础上扩展比如将解析后的结构化数据如CPU利用率、内存使用率写入数据库如InfluxDB或发送到监控告警平台。3.3 与监控平台集成Zabbix/PRTG对于7x24小时不间断的监控集成专业的监控平台是最终解决方案。这通常通过**SNMP简单网络管理协议**实现。步骤简述在Cisco交换机上配置SNMPconfigure terminal ! 设置只读社区字符串并限制可访问的监控服务器IP snmp-server community YourROCommunityString RO 10 access-list 10 permit 192.168.100.100 ! 你的监控服务器IP snmp-server location “IDC-A-Core-Switch01” snmp-server contact “Network Team” snmp-server enable traps ! 启用陷阱主动上报事件 exit write memory在监控平台如Zabbix中添加设备添加主机指定IP地址。选择或链接一个针对Cisco设备的SNMP模板Zabbix官方和社区提供了大量现成模板。这些模板预定义了需要监控的OID对象标识符例如系统信息sysDescr(1.3.6.1.2.1.1.1),sysUpTime(1.3.6.1.2.1.1.3)CPU利用率cpmCPUTotal5minRev(1.3.6.1.4.1.9.9.109.1.1.1.1.8)内存使用率ciscoMemoryPoolUsed/ciscoMemoryPoolFree(1.3.6.1.4.1.9.9.48.1.1.1)接口流量与错误ifHCInOctets,ifHCOutOctets,ifInErrors,ifOutErrors(1.3.6.1.2.1.31.1.1.1.*)接口状态ifOperStatus(1.3.6.1.2.1.2.2.1.8)配置触发器Trigger和图形Graph设置触发器当CPU利用率持续5分钟超过80%时告警。设置触发器当接口状态从up(1)变为down(2)时告警。创建图形可视化展示关键链路的历史流量、CPU和内存趋势。这种方式实现了真正的无人化、实时化巡检并能通过邮件、微信、短信等方式及时推送告警。4. 巡检结果分析与常见问题排查实录收集了信息只是第一步如何从海量输出中发现问题才是真功夫。下面分享几个典型的异常场景及其排查思路。4.1 场景一CPU利用率异常高现象show processes cpu sorted显示5分钟平均利用率持续在90%以上IP Input进程占用最高。排查思路确认流量模型使用show interfaces | include (input rate|output rate)查看各接口流量。是否存在某个接口的入向流量input rate异常高可能是广播风暴或环路。检查ARP流量show processes cpu中如果ARP Input或IP Input高结合show arp查看ARP表项是否频繁刷新。局域网内可能存在ARP欺骗攻击或设备故障产生大量ARP请求。检查路由协议如果是三层交换机检查路由协议如OSPF、EIGRP状态是否稳定。使用show ip ospf neighbor查看邻居关系频繁的邻居震荡flapping会消耗大量CPU。抓包分析在怀疑的接口上配置SPAN端口镜像将流量镜像到装有Wireshark的笔记本上分析流量构成。寻找广播、组播或未知单播洪泛的源头。查看日志show log中是否有与CPU相关的告警如%SYS-3-CPUHOG。实操心得CPU高不一定是设备性能不足。我曾遇到一次CPU持续100%的案例最终发现是一个接入层交换机的坏端口产生了巨量的错误帧导致核心交换机需要处理所有这些错误帧。更换接入层交换机端口后核心CPU立刻恢复正常。所以排查时要沿着流量路径从核心向接入层逐级排查。4.2 场景二接口频繁“err-disabled”现象show interfaces status显示多个接口状态为err-disabled。原因与排查err-disabled是一种保护机制当交换机检测到端口上发生某些错误时会自动将其关闭。常见原因BPDU Guard触发在配置了PortFast的接入端口上收到了BPDU生成树协议报文。检查该端口下是否意外连接了另一台交换机。恢复命令在接口配置模式下先shutdown再no shutdown。根治方法确认该端口是否应该启用PortFast下联设备是否正确。端口安全违规连接了未授权的MAC地址超过了设定的最大MAC地址数。查看违规show port-security interface [interface-id]恢复与排查同样需要先shutdown/no shutdown。然后检查连接的终端设备或调整端口安全策略。链路翻动物理链路在短时间内频繁up/down。查看原因show interfaces [interface-id] status err-disabled部分IOS版本支持或查看日志中该端口的%LINK-3-UPDOWN和%LINEPROTO-5-UPDOWN信息。排查检查网线、光模块、对端设备端口。可能是物理连接不稳定。注意不要盲目地恢复err-disabled端口。必须先查明原因并解决否则端口会再次进入err-disabled状态问题被掩盖。4.3 场景三内存使用率缓慢增长疑似内存泄漏现象每周或每月记录一次show memory statistics发现Processor池的Free内存持续缓慢减少设备重启后内存恢复但一段时间后再次出现相同趋势。排查思路记录基线在设备刚重启稳定运行后立即执行show memory summary并保存结果作为内存使用的“健康基线”。监控增长定期如每天在同一时间点执行show memory summary对比Free内存的变化。使用脚本自动记录并绘图更佳。分析进程当内存减少时使用show processes memory sorted查看哪个进程的内存占用在增长。关注Allocated和Freed列。收集诊断信息如果怀疑是IOS Bug导致的内存泄漏需要为思科TAC收集诊断信息。在内存较高时执行show tech-support bootflash:tech_support_mem_high.txt并将该文件提供给技术支持。同时记录下疑似有问题的进程名和内存增长规律。解决方案通常需要升级IOS到一个修复了该内存泄漏问题的版本。在升级前可以在思科官网的Bug Search工具中用IOS版本号和关键词如进程名、“memory leak”搜索相关Bug报告。4.4 常见问题速查表问题现象可能原因首要检查命令解决思路网络延迟大丢包链路拥塞、端口错误、CPU过高show interfaces [int],show processes cpu检查接口速率/错误/丢包检查CPU实施QoS设备无法远程登录ACL限制、VTY线路满、AAA配置错误show runsec line vty,show users,show logging部分VLAN不通VLAN未创建、Trunk允许列表缺失、SVI接口downshow vlan brief,show interfaces trunk,show ip interface brief检查VLAN数据库、Trunk配置、SVI状态生成树网络震荡物理环路、配置不一致、端口成本或优先级问题show spanning-tree detail,show log | include STP检查STP日志确认根桥检查端口角色和状态SNMP监控无数据社区字符串错误、ACL限制、SNMP服务未开show snmp community,show run | sec snmp核对社区字和ACL确认snmp-server enable5. 构建可持续的巡检体系与报告日常巡检不应是随机的、个人化的行为而应成为团队可继承、可审计的标准化流程。1. 制定巡检手册Runbook将上述所有检查点、命令、判断标准如CPU告警阈值设为80%、异常处理流程文档化。这份手册是新同事上手的最佳指南也是故障排查时的标准依据。手册应包括巡检频率每日、每周、每月。巡检对象清单设备IP、主机名、角色。详细检查步骤和命令。各项指标的“健康”标准。发现异常后的上报和初步处理流程。2. 自动化脚本的维护与升级将Python或Expect脚本纳入版本管理如Git。每次对脚本的修改如增加新的检查项、优化解析逻辑都应提交并记录。可以编写一个主调度脚本定时通过cron或计划任务执行巡检任务并将输出结果自动归档到带时间戳的日志文件中或解析后写入数据库。3. 生成可视化巡检报告原始日志对机器友好但对人不友好。可以定期如每周一运行一个报告生成脚本将过去一周的巡检日志进行汇总分析生成一份HTML或PDF格式的报告。报告内容可以包括摘要共巡检多少设备发现多少异常。健康度评分为每台设备定义一个简单的健康分数如CPU、内存、错误数加权计算。趋势图表展示核心设备的CPU、内存历史趋势图如果数据已入库。异常清单列出所有发现的问题设备、问题描述和建议措施。配置变更记录通过对比配置归档列出上周发生的所有配置变更。这样的报告发送给团队和管理层能让所有人对网络健康状况一目了然也为运维工作提供了价值证明。4. 定期回顾与优化每季度或每半年团队应一起回顾巡检体系的有效性。讨论最近发生的故障是否可以通过优化巡检项提前发现是否有新的设备型号或软件版本引入了新的需要关注的指标现有的自动化脚本和监控项是否覆盖全面是否有误报或漏报巡检报告的形式和内容是否需要调整以更好地满足需求网络技术和管理理念在不断演进巡检体系也需要随之迭代。从最初的手动敲命令到编写脚本再到与监控平台深度集成最后形成包含手册、自动化、报告和回顾的完整闭环这个过程本身就是网络运维成熟度的体现。