こんにちは、メンバーズデータアドベンチャー(以下、DA)採用広報担当です。

今日は、DAのデータエンジニアがどのような業務を行っているか、エンジニアの道方さんに一例を紹介していただきます！

道方浩章
2019年にデータアナリストとしてDAに入社、2021年10月からデータエンジニアにジョブチェンジし、現在はデータエンジニアとして現場で活躍しつつ、データエンジニア事業部のチームリーダーも担っている。

―まずは常駐先のクライアントについて教えてください

DAの公式サイトの導入事例でも紹介している株式会社トラストバンク様に常駐しています。トラストバンク様は2012年4月に設立され、「自立した持続可能な地域をつくる」というビジョンの実現のために、ふるさと納税ポータルサイト「ふるさとチョイス」を中心にさまざまな事業を行っている会社です。
DAでは、トラストバンク様の業績を伸ばすことだけでなく、「自立した持続可能な地域をつくる」というビジョンの実現をデータの力で支援しています。

―データの力で支援とはどのようなイメージですか

端的にいうと事業部がコア業務に専念できる状態にするための支援です。例えば、マーケティングの部署のコア業務はマーケティングを行うことであり、コア業務を促進するために施策の効果検証など行うと思うのですが、その際にデータ分析という手段が重要になります。つまり、欲しいデータを抽出する、加工する、分析するなどは事業価値を創出するための強力な手段になるのですが、このデータを扱う業務は専門性も必要ですし、意外と時間もかかります。そこで、データマネジメントチームがデータを扱う業務をまるっと引き受けて、マーケティング部署はコア業務に専念してもらえる環境にしています。そうすることで、事業部がデータを用いた意思決定を素早く行えるようにしています。

―その中でデータエンジニアが担う業務内容を具体的に教えてください

私自身は、データマネジメントチームの中でデータエンジニアとして「データを正しく、早く維持管理し」、「データの意味、意義を正しくみんなに伝え」、「データを活用することによる事業可能性の拡大を支援する」という役目の担うために日々業務にあたっています。

◆事業部のデータを全部データウェアハウス（DWH）に集めること

APIが用意されていればAPI実行なんですが、社内のデータを扱うことが多いのでデータを管理している部署、主に開発部の方とやり取りして、データエンジニアとしてはデータをどういった形で渡してもらうか確認して、その後にDWH上にデータをどういった形でどこに置くかどこに置くかを決めています。データを集めるまでのアーキテクチャを決めたら、データが発生するアプリケーションからデータ基盤へデータを連携するところまで行います。

特に、新しく生まれたデータをDWHに集めることも重要で、なぜかというと新しく生まれたデータは分析や、評価するという観点ですぐに必要になることが多いからです。新しく行ったマーケティング施策、新しく始めたサービスなど、うまくいっているか確認しなければいけないので、可能であればリアルタイムでデータを連携する。新機能リリース、新しいテーブルがリリースされた次の日にはデータが見れる状態になっていることが望ましいです。
これを実現するために、業務フローを作ることも行いました。開発の機能追加で生まれるデータが確定したら、DWHへ連携する際のデータの形式を決めたあとデプロイします。

◆DWH上に連携しているデータを分析できる状態にする

分析できる状態にするのもデータエンジニアの仕事です。例えば、時系列で分析を行いたい場合は、最新のデータだけでなく過去の分のデータも含めたテーブルを準備する必要があります。そのためには過去のある時点のデータのスナップショットをとらなければいけません。一見何の問題もなさそうに見えますが、単純にすべてのデータを毎日コピーすると膨大なデータ量になってしまいます。つまり、必要なデータを正しく定義できないと余計なコストがかかる仕組みになってしまいます。なので、データ利用者とコミュニケーションをとって分析に必要なデータを定義して、必要なデータのみをテーブル化する取り組みを行っています。

◆データ利用者が分析できる環境を作る

まずはデータカタログの作成です。データ利用者が求めるデータの定義文と開発者が求めるデータの定義文の内容が違うので、開発側に確認しながらデータ利用者用のデータカタログを作成しています。
次に、分析環境の管理で、データアナリストから要望をヒアリングしながら技術選定や環境構築を行っています。例えば、やりたい分析に対してスペックが足りないといった相談を受けて、環境をバージョンアップしたり、新しく環境を準備したりします。

―データアナリストからデータエンジニアにキャリアチェンジして1年、どんな成長がありましたか？

データエンジニアを目指したのは、データアナリストの仕事をしているときに分析に入る前のデータ分析環境を整えるところに課題を感じて、そこをできるようになろうと思ったのがきっかけでした。そして、いざデータエンジニアになろうと思ったときに、アナリストをしていたので当たり前ですがシステムよりの知識、スキルが不足していました。なので、この1年でシステム開発側から必要な情報をもらう方法を身に着けたのが自分としては大きなポイントだと思います。他にも、現場では新しい技術にも触れる機会が多いので、これからさらに必要となるデータ領域に関するIT技術の知識も深まりました。

さらに、SQLのスキルも伸びたと思います。クエリ自体の可読性もそうですが、クエリを後から見た人でもわかる状態にするためにどんな情報がいるのかを考えるようになりました。データの持ち方によって抽出できるかどうかを考えることができるようになったと感じています！

道方さん、ありがとうございました！

データエンジニアの業務に関して知っていただくことができたでしょうか？DAのデータエンジニアについてもっと知りたい方はこちらの記事も！