1. 项目背景与挑战国际计费系统作为企业核心业务支撑平台随着全球业务扩张面临着数据量激增的典型挑战。我们遇到的具体情况是单库数据量突破2TB日均交易记录超过300万条传统垂直扩展方式已无法满足性能需求。特别是在月末结算高峰期系统响应延迟经常超过15秒严重影响了客户体验。核心痛点集中在三个方面存储瓶颈单机MySQL实例的物理存储上限性能衰减索引膨胀导致的查询效率下降运维风险全量备份时间窗口不足经过对业务数据的分析我们发现计费记录具有明显的租户分布特征约80%的查询操作都带有付款方ID条件。这为分库分表方案提供了理想的拆分维度基础。2. 技术选型与方案设计2.1 主流方案对比我们评估了三种主流解决方案方案类型代表技术优势劣势中间件方案Sharding-Proxy对应用透明改造成本低需要独立部署代理层客户端分片Sharding-JDBC性能损耗小需要业务代码适配数据库原生方案MySQL Cluster官方支持完善商业版成本高扩展性有限2.2 Sharding-Proxy核心优势最终选择Sharding-Proxy主要基于以下考量无缝迁移保持MySQL协议兼容现有应用无需改造灵活路由支持、BETWEEN、IN等多维度分片策略治理能力内置熔断、禁用从库等治理功能生态完善Apache基金会项目社区活跃度高特别值得关注的是其SQL解析能力可以智能识别包含分片键的SQL语句自动路由到对应分片。对于不包含分片键的查询则采用广播方式查询所有分片后归并结果。3. 分库分表实施细节3.1 分片策略设计采用付款方ID作为分片键sharding-key设计要点包括哈希算法CRC32 MOD 32确保均匀分布分片数量32个物理库预留50%扩容空间表命名规则billing_[0-31]关键配置示例config-sharding.yamlshardingRule: tables: t_order: actualDataNodes: ds_${0..31}.billing_${0..31} tableStrategy: inline: shardingColumn: payer_id algorithmExpression: billing_${crc32(payer_id) % 32}3.2 数据迁移方案采用双写过渡方案确保业务连续性全量迁移阶段使用DTS工具初始化基础数据配置where条件分批迁移每次50万条启用CRC校验确保数据一致性增量同步阶段基于binlog的实时同步延迟500ms双写校验机制老库成功才写新库流量切换阶段灰度切流按账号段逐步切换实时监控关键指标QPS、延迟、错误率重要提示必须提前准备回滚方案我们实际迁移时准备了两种回滚路径快照回滚基于Percona XtraBackup的物理备份逻辑回滚通过DTS反向同步4. 性能优化实践4.1 连接池配置调整HikariCP关键参数maximumPoolSize50 minimumIdle10 connectionTimeout30000 idleTimeout600000 maxLifetime18000004.2 SQL优化策略禁止全表扫描配置强制分片键规则索引优化为分片键建立全局二级索引批处理合并小额交易记录批量提交实测优化效果平均响应时间从1200ms降至280ms99线延迟从5s降低到800msTPS从1500提升到42005. 典型问题解决方案5.1 分布式事务处理采用BASE事务补偿机制// 伪代码示例 try { beginTransaction(); // 主业务操作 commitTransaction(); } catch (Exception e) { // 记录补偿日志 compensationLogService.save(log); // 异步重试 retryQueue.send(msg); }5.2 跨分片查询解决方案对比方案实现方式适用场景内存归并各分片查询后程序合并中小数据量(10万)预聚合提前计算统计指标固定维度报表搜索引擎同步到Elasticsearch复杂条件检索我们最终采用ESCanal的方案构建实时搜索服务数据同步延迟控制在1秒内。6. 监控体系建设6.1 关键监控指标基础资源Proxy节点CPU/Memory网络吞吐量连接数使用率业务指标分片查询命中率跨分片查询比例慢SQL分布6.2 报警规则配置示例Prometheus报警规则- alert: HighShardingLatency expr: rate(shard_query_duration_seconds_sum[1m]) 0.5 for: 5m labels: severity: warning annotations: summary: 分片查询延迟过高 description: {{ $labels.instance }} 分片查询平均延迟超过500ms7. 经验总结与建议拆分键选择优先选择高基数字段避免频繁更新的字段业务查询必须携带的条件容量规划单分片建议控制在500GB以内预留30%以上的增长空间提前规划冷热数据分离策略迁移注意事项务必进行全量数据校验准备完善的回滚方案选择业务低峰期操作在实际实施过程中我们发现历史数据中存在约0.3%的脏数据主要是拆分键为空的情况通过开发数据清洗工具提前处理避免了迁移过程中的中断。建议在方案设计阶段就加入数据质量检查环节这能节省大量后期处理时间。