データ基盤

Dockerを使用したApache Airflow環境構築手順を解説。ワークフローのスケジューリングと監視を行うオープンソースツールApache AirflowにDockerを利用して環境依存性... Read more

クラウドコンピューティングを最大限に活用するためには、インフラストラクチャのコード化と自動化は不可欠。 GCPでのインフラ管理を簡素化するため、Terraformを使用してGCPでVMインスタン... Read more

大規模なデータセットを管理するためのSnowflakeのデータウェアハウスに、S3（Amazon Simple Storage Service）からのデータロード方法について説明します。S3はデ... Read more

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。※ この記事は、記事執筆者の代理として藤井によってアップロードされ... Read more

こんにちは。バンダイナムコネクサス データエンジニアの上田です。 ※ この記事は、記事執筆者の代理として藤井によってアップロードされています。内容に関する質問やコメントは藤井経由にてご連絡くださ... Read more

こんにちは！バンダイナムコネクサス データ戦略部の吉村です。今回は、わたくしデータマネージャーが、高品質のデータ基盤を構築するための進めかたと意識しているポイントをご紹介します。高品質のデータ基... Read more

2016年に入社した伊中 茂。電気系エンジニアとして約3年間勤務した後、社内の研修制度を利用してデータサイエンスの部署に異動しました。異動後はデータ基盤の開発を担当しています。大きなキャリアチェ... Read more

データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来た... Read more

こちらの記事はカケハシ Advent Calendar 2022 の21日目の記事になります。はじめにこんにちは、カケハシのデータ基盤チームのデータエンジニアの大木です。今年も残すところ10日ほ... Read more

こんにちは、データ基盤の開発、運用をしていた谷口です。最近は配信基盤の開発と運用をしています。ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています... Read more

こんにちは。今回から数回にわたり先日紹介した『Gunosy 第10期上半期締め会』の表彰式で受賞した社員へのインタビューをお送りします！記念すべき第一回は「日々の地道な改善を行なうことで持続的な... Read more

こんにちは、データ基盤の開発・運用をしている谷口です。本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮した... Read more

目次はじめに従来のデータ基盤（構想段階）3つの問題と解決策の振り返り問題1：データ変換処理の分散化解決策問題2：データパイプラインのワークフロー管理解決策問題3：手作業によるインフラ構築の負債化... Read more

こんにちは、『地球の歩き方ムー』創刊のニュースに心を踊らせている、データ基盤ブロックの塩崎です。本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介... Read more

こんにちは。ニフティ採用育成担当の米田です。N1!メンバーの紹介も残り2名となりました！今回はデータアーキテクトとして活躍する黒羽さんをご紹介します。はじめにこんにちは。ニフティ株式会社の黒羽で... Read more