株式会社SiNCE about 1 month ago Follow SiNCE 編集部 and 5 others サブクエリとWITH句の使い分け:プロジェクトから考える可読性の重要性 SQLクエリを書く際、サブクエリやWITH句(Common Table Expressions、CTE)を使う場面に直面することがよくあります。どちらを選ぶか迷った時に、それぞれの特徴と利点を理... Read more
株式会社SiNCE about 1 month ago Follow SiNCE 編集部 and 5 others BigQueryでマテリアライズドビューを試してみた BigQueryでは、事前に計算されたデータを保存し複雑なクエリを効率的に実行できる「マテリアライズドビュー」の利用でクエリの実行速度向上ができます。テーブルを結合・集計しマテリアライズドビュー... Read more
ライトコード技術記事 3 months ago Follow Hiroyuki Choshi BigQueryのテーブルの外部データとしてスプレッドシートを使う【株式会社ライトコード】 はじめに新田こんにちは。今回はBigQueryのテーブルの外部データとしてスプレッドシートを利用する方法をまとめたいと思います。特にマスタ系のデータを扱うような場合はデータの更新が面倒ですが、こ... Read more
株式会社SiNCE 4 months ago Follow SiNCE 編集部 and 5 others 初心者必見!GCPの基本概念と主要サービス解説 この記事では、GCPについての基本的な役割とその主要なサービスであるBigQuery、GCS、Cloud AutoMLについて初心者向けにわかりやすく説明します。続きはこちらから。 Read more
株式会社SiNCE 4 months ago Follow SiNCE 編集部 and 5 others BigQueryでクラスタリングとパーティショニングを行う データ分析において、大規模なデータセットを効率的にクエリすることは非常に重要。Google BigQueryは、データウェアハウスとして広く利用されており、データセットに対する高速クエリを可能に... Read more
株式会社SiNCE 4 months ago Follow SiNCE 編集部 and 5 others BigQuery Dataform:基本的な使い方とメリットについて 近年、データ分析の重要性がますます高まっていますが、膨大なデータを収集・分析するには適切なツールが必要。今回はGoogle Cloud Platform上のデータパイプラインサービスDatafo... Read more
株式会社SiNCE 4 months ago Follow SiNCE 編集部 and 5 others BigQueryでデータ分析をスマートに!Gemini in BigQuery 入門 近年、データ分析はビジネスにおいて必須のスキル。しかし複雑なSQLクエリの記述スキルがないため、分析を諦めてしまう人も多いのではないでしょうか。そこで今回は、Google Cloud Platf... Read more
株式会社SiNCE 4 months ago Follow SiNCE 編集部 and 5 others BigQueryにGoogleドライブのスプレッドシートをデータとして取り込む方法 今回はBigQueryにスプレッドシートのデータを取り込む際の方法と注意点についてまとめてみたいと思います。続きはこちらから。 Read more
ライトコード技術記事 5 months ago Follow Hiroyuki Choshi 【GCP】BIG QUERYを触り程度に理解してみる【株式会社ライトコード】 弊社エンジニアの記事になります。はじめにこんにちは!今回は高速データ処理を行えるBIG QUERYを調べ、実際に使ってみるところまでやっていきたいと思います!調べるきっかけ業務でBIG QUER... Read more
Tech Blog 7 months ago Follow Mana Nakamura BigQueryのSQLとPaLM2でRAGを作ってみた みなさんこんにちは、システム部の岡崎です。今回はBigQueryのSQLだけでRAGを作ってみようと思います。目次1. RAG(Retrieval-Augmented Generation)とは... Read more
株式会社SiNCE 7 months ago Follow SiNCE 編集部 and 5 others PIVOT関数を使わずに縦列変換を行う方法 データの縦列変換を行いたい方に向けてサンプルを用いて方法を説明しています。続きはこちらから。 Read more
株式会社SiNCE 8 months ago Follow SiNCE 編集部 and 5 others Google Colab Enterpriseについて徹底調査 | BigQueryとの統合、他のプラン・Vert... 新しくEnterprise版がリリースされたGooogle Colabをプランごとの違いを詳しく調査・比較しました。ここではBigQueryとの統合、他のプラン・VertexAI Workben... Read more
株式会社SiNCE 8 months ago Follow SiNCE 編集部 and 5 others PythonからBigQueyへ列名とデータ型指定なしでアップロードする方法 PythonからpandasデータをBigQueryにアップする際の列名とデータ型の指定が煩わしい点への解決策を出しました!コード例を交えながら、効率的に解決する方法を紹介します。BigQuer... Read more
株式会社SiNCE 8 months ago Follow SiNCE 編集部 and 5 others Bigqueryのスケジューリング設定で気を付けること3選 本記事ではBigqueryで実際にスケジューリング設定を行う際に出てきた壁3つとその解決方法をお伝えします。続きはこちらから。 Read more
株式会社SiNCE 9 months ago Follow SiNCE 編集部 and 5 others dbt core環境構築 for BigQuery dbt (data build tool) はデータサイエンティストやデータエンジニアがSQLを用いてデータ変換処理(Transformation)をより効率的に行うためのツールです。この記事で... Read more