Prometheus 监控 Graphite 全栈实战让老牌时序数据库透明可观测Graphite 作为监控领域的先驱至今仍服务于大量基础设施。它的 Carbon 守护进程负责接收和存储指标Graphite-Web 提供查询与图表。然而Carbon 的接收队列、缓存使用率、写入延迟、落盘错误往往被忽视一旦出问题就会造成监控数据空洞。Prometheus 生态通过 Carbon 内置的Prometheus 指标端点或carbon-exporter能将 Graphite 的内部状态转为标准指标让这套经典引擎也融入统一可观测体系。本文将带你从零开启 Graphite 的自监控实现从队列积压到磁盘故障的全方位告警。1. 方案选型如何暴露 Graphite 的内部指标方式适用版本说明Carbon 原生/metricsGraphite 1.1.0Carbon 配置ENABLE_PROMETHEUS_METRICSTrue后直接提供 Prometheus 格式端点默认端口 8080指标丰富推荐首选carbon-exporter(独立进程)所有版本解析 Carbon 的carbon-cache/carbon-relay的内部统计 TCP 端口或 JSON 接口适合旧版本uWSGI / Gunicorn 指标graphite-web通过django-prometheus或 WSGI 服务器导出 Web 请求、响应时间、数据库连接等本文将采用原生/metrics graphite-web 扩展的组合覆盖 Carbon 与 Web 层。2. 启用 Carbon 的 Prometheus 指标2.1 配置 Carbon编辑 Carbon 的配置文件通常位于/opt/graphite/conf/carbon.conf在[metrics]部分添加或修改[metrics] ENABLE_PROMETHEUS_METRICS True PROMETHEUS_METRICS_PORT 8080 PROMETHEUS_METRICS_INTERFACE 0.0.0.0 # 根据需要调整监听地址重启 carbon-cache、carbon-relay 等服务systemctl restart carbon-cache验证端点curlhttp://localhost:8080/metrics你会看到大量以carbon_开头的指标如carbon_destinations_received_total、carbon_metrics_received_total、carbon_cache_queries_total等。2.2 为 graphite-web 添加指标Graphite-Web 基于 Django推荐使用django-prometheus来暴露 HTTP 请求、数据库查询、缓存等指标。安装pipinstalldjango-prometheus编辑graphite-web的settings.py或local_settings.py在INSTALLED_APPS和MIDDLEWARE中添加INSTALLED_APPS[...django_prometheus,]MIDDLEWARE[django_prometheus.middleware.PrometheusBeforeMiddleware,...django_prometheus.middleware.PrometheusAfterMiddleware,]然后在 URL 配置中暴露端点。编辑urls.pyfromdjango_prometheusimportexports urlpatterns[...path(metrics,exports.ExportToDjangoView,nameprometheus-metrics),]或者使用独立的 WSGI 服务器如 gunicorn直接挂载。重启 graphite-web 后访问http://graphite-web:8080/metrics或你配置的路径即可得到django_http_requests_total等指标。3. 配置 Prometheus 抓取在prometheus.yml中添加两个 Jobscrape_configs:# Carbon 指标-job_name:graphite-carbonscrape_interval:30sstatic_configs:-targets:-carbon-host:8080labels:instance:graphite-carbon-prodcomponent:carbon# Graphite-Web 指标-job_name:graphite-webscrape_interval:30sstatic_configs:-targets:-graphite-web-host:8080labels:instance:graphite-web-prodcomponent:webmetrics_path:/metrics如果使用 HTTPS 或认证对应配置scheme、basic_auth等。4. 核心监控指标与 PromQL4.1 Carbon 指标Carbon 的原生/metrics非常详细重点关注指标名含义PromQL 示例carbon_metrics_received_total接收到的指标总数Counterrate(carbon_metrics_received_total[1m])得写入速率metrics/scarbon_destinations_received_total接收到的数据点destinations总数类似上面监控数据点速率carbon_cache_overflow_total缓存溢出次数rate(... [5m]) 0表示缓存已满需扩容或调优carbon_cache_queries_total缓存查询总次数rate(carbon_cache_queries_total[1m])carbon_queue_size当前写入队列长度 1000 可能积压carbon_committed_points_total已写入磁盘的点数与接收量对比追踪是否丢失carbon_errors_total错误总数rate(... [5m]) 0立即告警carbon_whisper_create_totalWhisper 文件创建次数监控文件创建频率过高可能影响磁盘carbon_whisper_update_totalWhisper 更新次数写入负载4.2 Graphite-Web 指标通过django-prometheus暴露指标含义PromQLdjango_http_requests_total_by_view_transport_method按视图/方法的请求计数计算错误率、QPSdjango_http_requests_latency_seconds(Histogram)请求延迟分布histogram_quantile(0.99, rate(django_http_requests_latency_seconds_bucket[5m]))django_db_errors_total数据库错误异常告警django_cache_hits_total/django_cache_misses_total缓存命中/未命中缓存命中率4.3 服务器资源务必结合node_exporter监控运行 Carbon 和 graphite-web 的主机 CPU、内存、磁盘 IO特别是 Whisper 文件所在的磁盘因为磁盘瓶颈是 Graphite 最常见的故障点。5. Grafana 仪表盘推荐Graphite Carbon Dashboard社区 ID12349基于 Prometheus carbon 指标包含接收速率、队列、缓存溢出、错误等。Django / Graphite-WebID12888Django Prometheus展示请求延迟、QPS、错误率。通用 Node 监控ID1860补充主机视图。导入后选择数据源将instance变量映射至对应组件。6. 告警规则实战groups:-name:graphite_alertsrules:-alert:GraphiteCarbonDownexpr:up{jobgraphite-carbon} 0for:1mlabels:severity:criticalannotations:summary:Carbon 实例 {{ $labels.instance }} 不可达-alert:GraphiteWebDownexpr:up{jobgraphite-web} 0for:1mlabels:severity:criticalannotations:summary:Graphite-Web 实例 {{ $labels.instance }} 不可达-alert:GraphiteCarbonOverflowexpr:rate(carbon_cache_overflow_total[5m])0labels:severity:criticalannotations:summary:Carbon 缓存溢出数据可能丢失-alert:GraphiteCarbonQueueBuildingexpr:carbon_queue_size1000for:10mlabels:severity:warningannotations:summary:Carbon 写入队列堆积超过 1000-alert:GraphiteCarbonErrorsexpr:rate(carbon_errors_total[5m])0labels:severity:criticalannotations:summary:Carbon 发生错误写入-alert:GraphiteWebHighLatencyexpr:histogram_quantile(0.99,rate(django_http_requests_latency_seconds_bucket[5m]))2for:5mlabels:severity:warningannotations:summary:Graphite-Web P99 延迟超过 2 秒-alert:GraphiteDiskSpaceLowexpr:(1-node_filesystem_avail_bytes{mountpoint/opt/graphite/storage/whisper}/ node_filesystem_size_bytes{mountpoint/opt/graphite/storage/whisper}) * 10080for:5mlabels:severity:criticalannotations:summary:Whisper 存储目录磁盘使用率超过 80%7. 进阶旧版本支持与多实例监控7.1 旧版本 Carbon (1.0.x)如果无法升级到 1.1可以部署prometheus-community/carbon-exporter。它通过 TCP 读取 Carbon 的carbon-cache统计端口默认 2003 的管理模式或 7002 的--instance统计接口并转换为 Prometheus 指标。dockerrun-d--namecarbon-exporter-p9124:9124\-eCARBON_HOSTcarbon-host:2003\prometheuscommunity/carbon-exporter:latest然后抓取exporter:9124/metrics。7.2 监控多个 Carbon 实例如果有多个 carbon-cache 或 carbon-relay 节点为每个节点配置一个 target并用instance标签区分。在 Grafana 中可通过变量切换。7.3 安全与性能Carbon 的/metrics端口8080应仅对 Prometheus 开放防火墙或反向代理加 Basic Auth。指标抓取间隔 30s 对 Carbon 几乎无影响。注意 Whisper 文件的 I/O 压力强烈建议结合node_disk_io_now等指标一起观察。8. 总结通过 Carbon 的原生 Prometheus 端点与 graphite-web 的 Django 指标Graphite 整个内部运行状态——从数据接收速率、缓存溢出到 Web 请求延迟——尽收眼底。一旦出现队列堆积、写入错误或磁盘告急Prometheus 告警会立即通知防止监控数据断层。这套方案将经典 Graphite 平台无缝纳入现代化可观测体系让你的监控系统自身不再是一块“盲区”。