皆さん、こんにちは！エッジテクノロジー株式会社 採用担当です。

先日、社内勉強会「データエンジニアリング概論」が開催されました！今回は、stable株式会社 代表取締役の宮崎一輝氏を講師にお招きし、データエンジニアリングの役割や重要性を深掘りしました。

宮崎氏はコンサルティング会社を経験し、データアナリストからデータエンジニアへ転身された経験をお持ちで、現在はdbtを用いたデータモデリングなどを得意とし、データエンジニアリング領域でご活躍中です。本記事では、その勉強会の内容をお届けします！

【Why：なぜデータエンジニアリングが重要なのか？】

「Garbage In, Garbage Out」

AIは急速に進化していますが、自社のデータ品質は自社でしか改善できません。 AI活用が注目される一方で、データ整備は放置されがちです。

データエンジニアリングの目的は、入力ミスや表記ゆれ、重複、欠損といった「Garbage（ゴミ）」なデータをなくし、AIやデータ活用を成功させるための基盤を作ることです。

【確率論と決定論：AIとデータ基盤の使い分け】

AIが確率論的な意思決定（最も妥当な結果を返す）を主とするのに対し、データエンジニアリングは決定論的な処理（ロジック通りの決まった結果を返す）を基本としています。

• AI（確率論）： 間違いや結果のばらつきがあるが、高速・大量集計に向く。
• データ基盤（決定論）： 正しい結果が安定して返ってくるため、ミスが許されないユースケースに必須。

絶対に集計ミスが許されない業務ではデータ基盤が求められ、両者の利点を生かした使い分けが重要です。最近では、データモデリング後に「セマンティックレイヤー」を介し、AIを介しても確率高く正しい答えを返す仕組みも注目されています。

※セマンティックレイヤーとは：専門用語だらけのデータを、誰もが同じ意味で理解し、迷わずに使えるようにする「翻訳機、辞書」のようなもの

【What & Who：データエンジニアの仕事と役割】

データエンジニアリングの全体像は「データ収集」「データ加工」「データ活用」の3つに大きく分けられます。

データ職種の中で、データエンジニアはこの収集、加工、活用の全てに携わります。データアナリストが活用、アナリティクスエンジニアが加工、活用をメインとすることに対し、データエンジニアは最も最上流を担うポジションです。

【まとめと質疑応答】

まとめ

• AIが発展しても、データ品質を担保するデータエンジニアの重要性は残ります。
• データエンジニアは、データ職種の中で最も上流を担う、幅広い業務を行うポジションです。

受講者からの質問（抜粋）

質疑応答の時間では、日ごろから経営層や意思決定を担う担当者と接する機会が多い営業メンバーやコンサルタントから、提案における具体的な実践に向けた質問が相次ぎました。

Q. データエンジニアリングの重要性を、経営層に認識してもらうには？

A. 小さい成果を出し続けることが重要です。「データ整備によってAIが効率化される」といった実績を作り、データ整備がコストではなくビジネスを加速させるレバレッジであることを認識してもらうことが有効です。

Q. データエンジニアがいない企業は、どこからスタートすべき？

A. ビジネスユーザーにSQLを教えるなどして、データ整備の必要性を知ってもらうことから始め、データエンジニアの活躍領域を徐々に拡大させていきながら、専任者を設置の検討を進めていく事が良いでしょう。

最後に

エッジテクノロジーでは、今回の勉強会のようなインプットを通じて、社員一人ひとりが市場やクライアントの課題に対する解像度を高める機会が多数あります。

AIや機械学習といった最先端分野で、エンジニアと企業の成長をサポートする仕事に挑戦したい方、新しい分野でキャリアを築きたい意欲をお持ちの方、ぜひカジュアル面談でお話しませんか？

皆様からのご応募をお待ちしております！

【会社紹介資料】https://bit.ly/4ktq6c3

【職種紹介資料】https://bit.ly/3Ed7Tza