KOKI OTANI

【概要】 GCP上でスクレピングからデータ基盤構築までを実行し、データ分析をした。 【目的】 ・GCP上でデータ基盤構築を構築する方法を身につけるため ・BIツールに慣れるため 【流れ】 1. オークション価格相場研究所から2022/8/11までの商品情報をスクレピングする。 　スクレピングはAI Platform上で実行、対象商品はライトセーバーのレプリカ。 2.取得したデータをAI PlatformからGCSへ転送する。 3.GCS上のデータをもとにBigQueryのテーブルを作成する。 4.GCFを使って月に一度新たなデータを取得し、BigQueryのテーブルへ挿入する。 5.GCS上にある2022/8/11までのデータに前処理を施した後に商品の最終落札価格を予測する　　　　モデルを作成。 6.DataPortalを使ってデータを可視化し、レポート作成。 【身についたこと】 ・GCP上でデータ基盤を構築する方法 ・GCP上で定期的にデータを収集するように関数を設定する方法 ・DataPortalを使ったデータの可視化