株式会社SiNCE 5 months ago Follow SiNCE 編集部 and 5 others Apache Beam (Dataflow) の基本用語とデータの流れ Apache Beamはビッグデータ時代のデータ処理フレームワークとして非常に強力なツール。Google Cloud Dataflowは、Apache Beamで定義されたパイプライン実行のため... Read more
株式会社SiNCE 6 months ago Follow SiNCE 編集部 and 5 others 【Google Cloud Dataflow】リアルタイムデータ処理の効率化 このブログでは、Cloud Dataflowがどのようにリアルタイムデータストリームを効率的に処理するかについて掘り下げていきます.続きはこちらから。 Read more
株式会社ZOZO about 2 years ago Follow 株式会社 ZOZO 【TECH BLOG】全社共通データ基盤を廃止して新しいデータ基盤に引越した話 こんにちは、データ基盤の開発、運用をしていた谷口です。最近は配信基盤の開発と運用をしています。ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています... Read more
株式会社ZOZO over 2 years ago Follow 株式会社 ZOZO 【TECH BLOG】BigQueryで時を遡って過去のテーブルを再構成する はじめにこんにちは、データシステム部データ基盤ブロックSREの纐纈です。本記事では、過去に遡ってBigQueryのデータを参照する方法(以下、タイムトラベルと呼びます)をご紹介します。また、この... Read more