data-quality-frameworks

資料品質框架技能提供了維護高完整性資料管線的強大架構模式。它是為資料工程師與分析工程師所設計，旨在防止生產環境中的資料漂移、無聲故障與綱要退化。透過整合 Great Expectations 與 dbt 等業界標準工具，此技能使團隊能夠透過自動化驗證套件，從被動除錯轉向主動監控。

• 資料品質維度：涵蓋完整性、唯一性、有效性、準確性、一致性與時效性，並提供特定的檢查定義。

• 測試金字塔：實作階層式測試策略，從綱要層級的結構檢查到複雜的跨資料表整合測試。

• Great Expectations 整合：包含設定資料來源環境、建立預期套件與排程檢查點的範本。

• 資料合約：提供在上游資料生產者與下游消費者之間建立嚴格介面要求的模式。

• CI/CD 自動化：促進將驗證套件整合至部署管線中，防止錯誤資料進入正式資料表。

• 先決條件：需要運作中的 dbt 專案或已安裝 great_expectations 套件的 Python 環境。

• 工作流程：從定義綱要與唯一性限制開始，進而實作業務邏輯有效性檢查，最後建立資料即時性警報。

• 操作最佳實踐：務必對預期套件進行版本控制；將資料品質故障視為關鍵生產事故處理。

• 限制：驗證結果應儲存於集中式的資料說明文件中，以確保團隊成員間的可見度。