ライトコード技術記事 3 months ago Follow Hiroyuki Choshi 【dbt × BigQuery】増分更新について挙動を詳しく確認してみる【insert_overwrite(Dyn... こんにちは!普段データ関連のお仕事をしています。現在所属しているチームではデータマートの作成の際にdbtを使用しており、コスト削減のために差分更新の対応中です。差分更新処理を書いていると「あれ?... Read more
株式会社SiNCE 4 months ago Follow SiNCE 編集部 and 5 others ClaudeとBigQueryを接続してみた!Node.jsとMCPで自然言語分析を実現 この記事では、AIアシスタント「Claude」とGoogle Cloudのデータウェアハウス「BigQuery」を、MCP(Multi-Connection Plugin)を使って接続し、自然言... Read more
株式会社SiNCE 5 months ago Follow SiNCE 編集部 and 5 others SQLクエリ最適化入門 SQLクエリ最適化の基本テクニックを学び、パフォーマンス向上を目指しましょう。SELECT * の回避や、JOINの最適化、サブクエリの代替方法、パーティション分割・クラスタリングの活用方法を解... Read more
株式会社SiNCE 7 months ago Follow SiNCE 編集部 and 5 others 【自動化】ブログページの週間ランキングをXに自動投稿する方法 今回はブログページの週間ランキングをXに自動投稿する方法を紹介していきます。今回扱うブログページは「https://blog.since2020.jp/」です。続きはこちらから。 Read more
株式会社SiNCE 11 months ago Follow SiNCE 編集部 and 5 others 【LookerStudio】自分の思い通りにグラフの要素を並び替える LookerStudioを使っていると、「この棒グラフ、要素を自分の思い通りに右から配置したいな」と思う時があるかと思います。今回は自分の思い通りにグラフの順序を並び替える方法を説明したいと思い... Read more
株式会社SiNCE 11 months ago Follow SiNCE 編集部 and 5 others 【最速レビュー】BigQueryデータ準備(Introduction to BigQuery data prepa... GoogleCloudの新機能である「BigQueryデータ準備(Introduction to BigQuery data preparation)」。この記事では、この機能を実際に試してみた... Read more
株式会社SiNCE 11 months ago Follow SiNCE 編集部 and 5 others Looker Studioでデータの反映に時間がかかる時の対処法 Looker Studioでデータ反映が遅い原因がBigQuery接続にある場合の対処法を紹介。テーブル再作成やUNIONテーブルの接続方法を解説し、反映速度を改善します。続きはこちらから。 Read more
株式会社SiNCE 11 months ago Follow SiNCE 編集部 and 5 others BigQueryでフィードバックを翻訳ML.TRANSLATE関数の利用 本記事では、Google Cloud上でBigQueryとCloud Translation APIを接続し、USリージョンでの製品フィードバックデータを日本語に翻訳し、結果を新しいテーブルに保... Read more
株式会社SiNCE about 1 year ago Follow SiNCE 編集部 and 5 others データクレンジングとは?基礎知識から実践まで デジタル化が進む現代では、膨大な量のデータが日々生成されています。データの正確な管理や効率的な活用には、欠損値や誤ったデータを修正し、データセット全体の品質を向上させるクレンジングが欠かせません... Read more
株式会社SiNCE about 1 year ago Follow SiNCE 編集部 and 5 others サブクエリとWITH句の使い分け:プロジェクトから考える可読性の重要性 SQLクエリを書く際、サブクエリやWITH句(Common Table Expressions、CTE)を使う場面に直面することがよくあります。どちらを選ぶか迷った時に、それぞれの特徴と利点を理... Read more
株式会社SiNCE about 1 year ago Follow SiNCE 編集部 and 5 others BigQueryでマテリアライズドビューを試してみた BigQueryでは、事前に計算されたデータを保存し複雑なクエリを効率的に実行できる「マテリアライズドビュー」の利用でクエリの実行速度向上ができます。テーブルを結合・集計しマテリアライズドビュー... Read more
ライトコード技術記事 over 1 year ago Follow Hiroyuki Choshi BigQueryのテーブルの外部データとしてスプレッドシートを使う【株式会社ライトコード】 はじめに新田こんにちは。今回はBigQueryのテーブルの外部データとしてスプレッドシートを利用する方法をまとめたいと思います。特にマスタ系のデータを扱うような場合はデータの更新が面倒ですが、こ... Read more
株式会社SiNCE over 1 year ago Follow SiNCE 編集部 and 5 others 初心者必見!GCPの基本概念と主要サービス解説 この記事では、GCPについての基本的な役割とその主要なサービスであるBigQuery、GCS、Cloud AutoMLについて初心者向けにわかりやすく説明します。続きはこちらから。 Read more
株式会社SiNCE over 1 year ago Follow SiNCE 編集部 and 5 others BigQueryでクラスタリングとパーティショニングを行う データ分析において、大規模なデータセットを効率的にクエリすることは非常に重要。Google BigQueryは、データウェアハウスとして広く利用されており、データセットに対する高速クエリを可能に... Read more
株式会社SiNCE over 1 year ago Follow SiNCE 編集部 and 5 others BigQuery Dataform:基本的な使い方とメリットについて 近年、データ分析の重要性がますます高まっていますが、膨大なデータを収集・分析するには適切なツールが必要。今回はGoogle Cloud Platform上のデータパイプラインサービスDatafo... Read more