DIP株式会社 / データエンジニア
データ基盤パイプライン構築・運用保守
【内容】WebSiteDB・CRMDBからBigqueryに集めるパイプラインを開発・運用保守 【期間】2021.12月~2022.5月 【職業】データエンジニア(6人体制) 【開発言語】Scala、Pyhton、SQL 【DWH】Bigquery 【DB】WebSiteDB:Oracle(S3)、CRMDB:MySQL 【ETL】Composer(ApacheAirflow)、dataproc(ApacheSpark) 【バージョン管理】GitHub 【役割】データパイプライン一部設計と実装及びリファクタリング