芳賀 祐仁

アナリストが作成したSQLを一括で管理するrepositoryがあり、各々SQLの記載方法が異なっていた。 これを解決するためにgithub actionとsqlfluffを用いてCIを実装した。 具体的にはPRが上がるとgithub actionが実行され、sqlfluffのフォーマットを自動で実行し、差分を該当のbranchにpushする仕組み。

スプレットシートで管理されているrawデータを、Datalakeへ取り込むためのプログラムの新規作成を行った。 特定のシートのセルからデータを取るために、spread sheetのAPIを叩く。 その後BigQueryの型に合わせるためキャストなどを行い、BigqQueryに入れる。 前任者が作成した類似物があったが、イメージ内部にクラウドの認証情報を持つ作りになっており、コンテナ利用も簡素なものとなっていた。 そのため今回はdocker-compioseを用いたり、必要なバイナリのみをイメージに含めることで、コンテナ周りのナレッジを組織に共有した。 以前はJenkinsを用いてバッチ処理を実現していたが、可能な限りパブリックな空間にデプロイした方が運用や保守が楽になるので、クラウドサービスを用いてcron処理を実現するよう提案した。 それによりアプリケーションサーバとして起動させる要件が必要になったため、APIを立てるコマンドと即時に実行するコマンドの２つのエントリポイントを実装した。 BigQueryなどのライブラリを考慮して、利用したアプリケーション言語はgolangを選定した。

Datalake取り込みプログラムのCI/CDパイプラインがなかったので設計・実装した。 cloudbuildの利用実績があるとのことなので、可能な限りcloud buildで実行するようなパイプラインを構築した。 まずdevelopへmergeされるとcloud buildが実行され、イメージのbuildを行いタグをつけてgcrへpushする。その後developのcloud runへデプロイする。 developからmasterへmergeされると、別のcloud buildが実行され該当のタグをpullし、productionのcloud runへデプロイする。 masterへのmerge時はコンテナイメージのbuildをせず、developにリリースされてるタグに張り替えることでdevelop完全に同じものをproductionにリリースできる。

ワールドグループに所属するブランドである、Original Stichの生産管理を行うシステムを構築した。 Original Stich はユーザがカスタマイズ可能な商品を主力にしており、注文毎に商品を作成するビジネスとなっている。（オーダーメイド） そのため注文商品毎に利用する生地や、仕立てが異なっておりそれらを一元管理出来るシステムを構築した。 主な担当領域はバックエンドAPI開発とインフラ環境構築。 利用技術は以下の通り - golang - MySQL - k8s - terraform - GCP - React - Vercel

部署変更などにより、新規システムの開発が禁止された。 またデータ基盤も別部署が外注を用いて作成し、プロダクト開発に関わるデータはそちらで賄うようになった。 ここからはビジネスサイドの企画やキャンペーンの効果測定に用いるようなデータの取り込みや、毎日のワークフローの運用作業が主となる。 また上述した別部署に対してクラウド環境のナレッジ共有や、自チームに所属することとなったアナリストの方へのナレッジ共有を行った。 （githubの使い方など） この辺りから訪問分析も行うようになり、Adobe AnalyticsやGoogle Analyticsのデータを取り込み始めた。 またTableauやdata portalを用いたダッシュボードの作成をし、他所官へ展開をした。 - Tableau - GA - AA - data portal

ECサイトのバックエンドとして構築されたDBから、日次でAWSのDatalakeへデータ転送をする基盤を構築した。