第6章数据工程数据工程是信息系统的基石它贯穿数据的整个生命周期——从采集、存储、治理到分析应用为信息系统提供可靠的数据基础并保障数据共享的安全高效。可以把它想象成一条“数据生产线”先获取原材料采集然后清洗整理预处理存入仓库存储管理再按需加工治理建模最终制成产品供人使用分析应用。6.1 数据采集和预处理数据的质量决定了数据价值的上限。采集到高质量的数据并对其进行必要的预处理是数据工程的起点。6.1.1 数据采集数据采集就是根据需要收集数据的过程。数据类型包括结构化数据像表格一样规整例如关系数据库中的表。半结构化数据有一定结构但不严格比如日志文件、XML文档、电子邮件。非结构化数据没有固定格式如办公文档、图片、音频、视频等。采集方法主要有四种传感器采集通过传感器感知物理世界的信息并转换为电信号比如温度传感器、GPS、摄像头等。系统日志采集读取服务器、应用等产生的日志文件如Logstash、Flume等工具。日志就像系统的“黑匣子”记录着一切活动。网络采集通过API接口或网络爬虫从互联网抓取数据。爬虫就像一只自动浏览网页的“蜘蛛”按照规则提取所需信息。其他方式例如与数据服务商合作购买数据。6.1.2 数据预处理预处理是为了让数据变得干净、规范。流程包括三个步骤如图6-1数据分析先摸清数据的“脾气”找出控制规则比如字段取值范围、业务逻辑。数据检测根据规则检查数据是否有问题如缺失、异常、重复。数据修正手工或自动修正错误数据。6.1.3 数据预处理方法不同的问题采用不同的处理方法问题类型常用方法解释缺失数据删除缺失值、均值填补、热卡填补像填空一样要么整行删掉要么用周围的值补上异常数据分箱法、回归法把数据放进“箱子”里平滑处理或用函数拟合消除噪声不一致数据人工修改、ETL工具转换纠正逻辑矛盾如年龄与生日不符重复数据Excel、Python等去重删掉重复记录节省存储格式不符统一格式转换把各种乱七八糟的格式统一成标准样式6.2 数据存储及管理经过预处理的数据是宝贵的数字资产需要妥善存储和管理。6.2.1 数据存储存储包括介质和形式两个方面。存储介质表6-1磁带成本低、容量大但速度慢适合归档。光盘只读、不受电磁干扰适合永久备份。磁盘通过RAID技术组合多个磁盘提高性能和安全性。内存速度极快但断电数据丢失。闪存介于内存和磁盘之间如固态硬盘。云存储通过网络访问的异地存储可扩展性强。存储形式表6-2文件存储分层目录结构就像电脑里的文件夹。块存储将数据分成固定大小的块每个块有唯一标识适合高性能计算。对象存储把数据和元数据打包成对象适合海量非结构化数据如图片、视频。存储管理表6-3包括资源调度动态分配存储节点。资源监控监控硬件状态、性能。负载均衡避免某些节点过忙。安全管理防攻击、防数据泄露。6.2.2 数据归档将不常访问的“冷数据”从高性能存储迁移到低成本存储如磁带释放空间。注意在业务低峰期执行以免影响线上业务。归档后原数据被删除可能产生“数据空洞”需后续填充。一旦影响业务立即停止并排查问题。6.2.3 数据备份备份是为了防止数据丢失将数据复制到其他介质。备份结构表6-4DAS备份设备直连服务器适合小规模环境。基于LAN通过局域网共享备份设备方便集中管理但占用网络带宽。LAN-FREE备份数据走专用存储网络SAN业务数据走局域网互不干扰。SERVER-FREE不经过应用服务器由第三方代理直接传输性能最好。备份策略图6-2完全备份每次都全量备份恢复简单但费时费空间。差分备份只备份自上次完全备份以来变化的数据恢复需要完全最后一次差分。增量备份只备份自上次备份无论哪种以来变化的数据最省空间但恢复时需要依次恢复所有增量风险较高。6.2.4 数据容灾容灾是在灾难发生时能快速恢复系统。两个关键指标RPO恢复点目标允许丢失多少数据时间维度。RTO恢复时间目标需要多长时间恢复。关键技术远程镜像将数据同步复制到异地主备镜像实时或准实时更新。快照数据在某个时间点的“照片”可用来快速恢复或用于测试分析。6.3 数据治理和建模数据治理是对数据资产进行管控确保数据可用、可信、可管。6.3.1 元数据元数据是“关于数据的数据”就像图书馆的卡片目录描述数据的来源、格式、质量、所有者等。元数据体系图6-3从底层到高层包括原始数据描述、数据字典、元元数据等。元数据的作用表6-5描述让用户理解数据含义。资源发现帮助快速检索到所需数据。组织管理按主题组织数据资源。互操作性不同系统之间能交换和理解数据。归档保存记录数据的来源和变化便于长期保存。6.3.2 数据标准化让数据“说同一种语言”包括元数据标准化统一描述方式。数据元标准化定义数据的基本单元如“姓名”的格式。数据模式标准化统一数据结构。数据分类与编码标准化为数据分类并赋予统一代码。标准化过程分四步确定数据需求 → 制定数据标准 → 批准数据标准 → 实施数据标准。6.3.3 数据质量数据质量衡量指标完整性、规范性、一致性、准确性、唯一性、及时性。质量评价过程图6-4确定数据质量元素如完整性。确定评价方法直接对比或间接推断。执行评价并报告结果。质量控制分为前期录入前和录入中和后期入库后检测。6.3.4 数据模型数据模型是现实世界的抽象分为三层概念模型表6-6面向用户描述实体、属性、关系如E-R图。逻辑模型表6-7在概念模型基础上细化用关系、视图等表示如关系模型。物理模型在逻辑模型基础上考虑具体数据库技术如表、索引、存储过程等。6.3.5 数据建模建模过程数据需求分析了解用户需要什么数据用数据流图描述。概念模型设计抽象出实体和关系。逻辑模型设计转换为关系模式。物理模型设计实现为数据库表、索引等。6.4 数据仓库和数据资产6.4.1 数据仓库数据仓库是一个面向主题、集成、稳定、随时间变化的数据集合用于支持决策。它由四部分组成数据源内部业务数据、外部数据。数据存储与管理核心按主题组织数据。OLAP服务器多维分析支持快速查询。前端工具报表、分析、挖掘工具。6.4.2 主题库主题库是围绕特定主题如人口、企业构建的数据集合便于快速反映该主题全貌。采用三层结构数据源层原始数据。构件层基础构件和组合构件用于数据交互和维护。主题库层按业务需求组合成统一接口的主题库。6.4.3 数据资产管理数据资产管理是对数据资产进行规划、控制和增值。包括两个核心环节数据资源化通过治理将原始数据变为有序的数据资源。数据资产化将资源转化为可计量、可交易的数据资产。之后还有数据资产流通通过共享、开放、交易实现价值。数据资产运营持续跟踪和优化数据服务。数据价值评估计量数据的经济效益和业务效益。6.4.4 数据资源编目编目就像给数据建立“户口本”便于管理、查找和共享。包括数据资源目录分为资源目录原始数据、资产目录处理后数据、服务目录对外提供的数据服务。信息项元数据的流水账包括资源信息项、资产信息项、服务信息项。数据资源库物理存储分专题库、主题库、基础库。标准规范元数据、编码、分类等标准。6.5 数据分析及应用6.5.1 数据集成将分散在不同数据源的数据整合起来提供统一视图。常用方法模式集成构建全局模式用户查询时实时转换。复制集成将数据复制到统一位置提高查询性能。混合集成两者结合。数据访问接口标准ODBCWindows平台通用的数据库接口。JDBCJava语言的数据库接口。OLE DB基于COM的数据访问组件。ADO应用层的数据访问接口简单易用。Web Services技术通过WSDL、SOAP、UDDI实现跨平台服务调用和数据集成。WSDL描述Web服务的“说明书”。SOAP消息传递协议基于XML。UDDI服务注册中心用于发布和查找服务。数据网格技术实现分布式、异构数据的透明访问用户感觉不到数据的位置和异构性。6.5.2 数据挖掘从大量数据中自动发现隐含的、有用的知识。它与传统数据分析的区别数据量更大方法更综合统计、AI、可视化更注重预测和发现部分方法仍处于发展阶段主要任务数据总结浓缩数据如计算平均值、方差。关联分析发现数据间的关联规则如“买尿布的顾客也买啤酒”。分类和预测根据已有数据建立分类模型预测新数据类别。聚类分析将数据分成相似的组无预先定义类别。孤立点分析找出与众不同的异常数据可能代表欺诈或故障。挖掘流程图6-7确定分析对象 → 数据准备 → 数据挖掘 → 结果评估 → 结果应用。6.5.3 数据服务为用户提供数据访问功能数据目录服务类似搜索引擎帮助用户发现数据。数据查询与浏览及下载服务通过关键字检索下载数据集。数据分发服务将数据从生产者传送到用户包括发布、发现、评价。6.5.4 数据可视化将数据转换成图形直观展示信息。常见表现方式表6-8一维文本、数字列表。二维地图、平面图。三维立体模型。多维通过降维技术展示三维以上数据。时态随时间变化的图表如股票走势。层次树形结构如组织结构图。网络节点和连接关系如社交网络图。6.6 数据脱敏和分类分级6.6.1 数据脱敏对敏感数据进行模糊化处理保护隐私的同时保留数据可用性。敏感数据包括个人隐私姓名、身份证、商业机密、国家秘密等。可划分为L1~L5五个密级。脱敏方式可恢复通过加密/解密还原如加密算法。不可恢复替换或生成无法还原。脱敏原则算法不可逆不能从脱敏数据反推原始数据。保持数据特征脱敏后仍保留原始数据的分布、格式等特征。保留引用完整性主键和外键关系不变。规避融合风险多个非敏感字段组合可能推导出敏感信息需一并处理。自动化脱敏过程自动执行。结果可重复同一数据多次脱敏结果一致或可控的不一致。6.6.2 数据分类按属性或特征将数据分门别类。分类依据应选择最稳定的本质属性。分类有助于统一数据管理。6.6.3 数据分级根据数据被破坏后的危害程度进行定级以制定相应的安全策略。国家数据安全框架将数据分为三级表6-9一般数据危害很小或无危害。重要数据可能危害国家安全、公共利益等。核心数据危害严重涉及国家安全。