ヤフー株式会社 / Tech Lead / AI エンジニア / PO / PdM
執筆「データ品質をコード化!AIプラットフォームのデータ品質管理システム」
大規模なAIプラットフォーム(ACP)において、機械学習モデルの信頼性を支える「データ品質」をいかに継続的・効率的に管理するかという課題に対し、独自のデータ品質管理システム「ACP Data Quality」を開発・導入した事例を紹介しています。 【独自DSL「DQML」の設計と実装】 データサイエンティストがSQLやプログラムを詳細に記述することなく、宣言的に品質要件を定義できるドメイン固有言語(DQML)を開発しました。 【「Data Quality as Code」の実践】 品質要件をコード化してGit等でバージョン管理可能にすることで、データ品質の評価プロセスをCI/CDやGitOpsのフローへ統合可能な構成にしました。 【Kubernetesネイティブな基盤構築】 カスタムリソース(CRD)として品質モデルを定義し、Argo Workflows等のワークフローエンジンと連携して、スケーラブルかつサーバーレスに評価・監視を実行する仕組みを構築しました。 【組織間のコミュニケーション改善】 データ消費者(サイエンティスト)と運用者(エンジニア)の間で曖昧になりがちな「品質責任」の所在を明確にし、共通言語(DQML)を通じて情報の非対称性を解消するアプローチを提案しています。 【執筆の背景】 MLOpsエンジニアおよびプロダクトオーナーとして、AIモデルの精度維持に不可欠な「データの整合性」を、属人的な作業から「仕組み」による自動管理へとシフトさせることを目指しました。プラットフォーム側で抽象度の高いツールを提供することで、各プロジェクトの構築コストを下げつつ、組織全体のデータ信頼性を底上げするための知見をまとめています。