data-quality-frameworks

数据质量框架技能提供了维护高完整性数据管道的强大架构模式。它是为数据工程师与分析工程师所设计，旨在防止生产环境中的数据漂移、静默故障与模式降级。通过整合 Great Expectations 与 dbt 等业界标准工具，此技能使团队能够通过自动化验证套件，从被动调试转向主动监控。

• 数据质量维度：涵盖完整性、唯一性、有效性、准确性、一致性与时效性，并提供具体的检查定义。

• 测试金字塔：实现分层测试策略，从模式层级的结构检查到复杂的跨数据表集成测试。

• Great Expectations 集成：包含设置数据源上下文、创建期望套件与调度检查点的模板。

• 数据契约：提供在上游数据生产者与下游消费者之间建立严格接口要求的模式。

• CI/CD 自动化：促进将验证套件集成至部署管道中，防止错误数据进入正式数据表。

• 先决条件：需要运行中的 dbt 项目或已安装 great_expectations 包的 Python 环境。

• 工作流程：从定义模式与唯一性约束开始，进而实施业务逻辑有效性检查，最后建立数据时效性警报。

• 操作最佳实践：务必对期望套件进行版本控制；将数据质量故障视为关键生产事故处理。

• 限制：验证结果应存储于集中式的数据文档存储中，以确保团队成员间的可见性。