皆さん、こんにちは!エッジテクノロジー株式会社 採用担当です。
先日、社内勉強会にて「AI時代のデータ基盤開発になぜdbtが必要なのか」というテーマで講演が行われました! 今回は、dbt Labs, LLC.のPartner Solutions Architectである三角勇貴氏を講師にお招きし、AIエージェント時代におけるデータ開発の課題と、dbtを活用した最適化・コストマネジメント手法について深掘りしました。
【三角勇貴氏プロフィール】
大手IT企業を経て、現在はフリーランスのデータエンジニアとして活躍。dbtやSnowflakeを軸としたデータ基盤の設計・構築からBI最適化まで、幅広いクライアントに向けたデータコンサルティングに従事しています。ソフトウェアエンジニアリングとデータプライバシーガバナンスの確かなバックグラウンドを持ち、日本のデータエンジニアコミュニティにおいて「dbt Fusion」を中心とした積極的な発信活動も行っています。
本記事では、大盛況だった勉強会の内容をお届けします!
■ AI時代におけるデータ基盤開発の何が問題になるのか?
「既存のデータ基盤は人間のために設計されている。しかし、AIエージェント時代では通用しない」 人間はコンテキスト(文脈)の欠如を直感的に補完し、判断力でエラーを検出しますが、AIエージェントはコンテキストを明示的に必要とし、ためらいなくミスを拡大(スケール)させてしまいます。 プロセスなきデータ基盤開発は、データの信頼性の崩壊や、繰り返しのデータ取得によるコストの爆増を招き、結果としてAIのROIがゼロになってしまいます。エージェントが力を発揮するには、適切に管理されたコンテキストとデータをコスト効率よく提供することが不可欠です。
■ dbtが変えるAIエージェント
「AIエージェントによるデータ開発には、データ資産に関する情報をいかに効率よく参照しやすい形で提供できるかが重要」 です。dbtは、データウェアハウス上でSQLとソフトウェアエンジニアリングのベストプラクティスを活用し、データ開発のプロセスを標準化するフレームワークです。加工ロジックやテスト、ドキュメントを集約し、AIが必要とする依存関係を構造化して渡すことで、AIエージェントが機能するための土台を作ります。
■ dbt Wizardとdbt Stateで実現する「正しく作る」と「無駄に動かさない」の両立
勉強会では、AIエージェント時代に不可欠な2つの機能についてもデモを交えて解説されました。
- dbt Wizard:アナリティクスエンジニアリング専用のAIエージェントであり、dbtプロジェクトの文脈を深く理解することで、より安全な変更やインシデントの削減を実現します。
- dbt State:モデルの変更状況を検知し、「変わったものだけビルドし、変わっていないものはスキップ(再利用)」する機能です。これにより、ウェアハウスのコンピュートコストを最適化しつつ、実行頻度を高めることが可能になります。
AI時代のデータ開発においてdbtが必要なのは、「正しく作ること」と「無駄に動かさないこと」を両立するためであるという力強いメッセージで締めくくられました。
まとめ
- AIエージェントへの文脈提供:人間と違いコンテキストを補完できないAIにおいては、構造化されたデータ資産の提供が不可欠。
- dbtによるプロセスの標準化:AIが必要とするロジックやテスト、依存関係を構造化して渡すことで、正しい変更と検証を可能にする。
- コストの最適化:dbt Stateを利用し、変更された部分のみをビルドすることで、ウェアハウスコストを抑えつつ高い実行頻度を実現する。
【勉強会の様子】
【勉強会後は懇親会も開催!】
勉強会の終了後は、参加者が交流できる時間も設けられました! 三角氏と参加者が積極的に交流し、AI時代のデータ基盤のあり方や現場のリアルな悩みについて直接語り合うなど、熱量そのままに大いに盛り上がる有意義な時間となりました。
エッジテクノロジー株式会社では、共に未来を創る仲間を募集しています!
エッジテクノロジーでは、今回の勉強会のようなインプットを通じて、社員一人ひとりが市場やクライアントの課題に対する解像度を高める機会が多数あります。 AIやデータ基盤構築といった最先端分野で、エンジニアと企業の成長をサポートする仕事に挑戦したい方、新しい分野でキャリアを築きたい意欲をお持ちの方、ぜひカジュアル面談でお話しませんか? 皆様からのご応募をお待ちしております!
【会社紹介資料】https://bit.ly/4cU880E 【職種紹介資料】 https://bit.ly/4oYhsDX