Cloud Functions と Cloud PubSub を利用した並列処理からCloud Run Jobsに移行したらいい感じになった
.tl:dr; CloudFunctions + Cloud Pub/Sub(Fanout)の構成だと終了を検知する方法が複雑 Cloud Run Jobs なら終了判定をサービスに任せることができるし、並列化も容易 Cloud Run Jobs はイイゾやりたいこと社内のとあるプロジェクトにおいて、以下の要件を満たすようなバッチ処理のアーキテクチャを設計・実装することになりました。定期的に外部より提供される数GBのデータ(以下、`フィード`という)をRDBに取り込みしつつ、RDBからElasticsearchにも同期させる。この処理を1時間で終わらせたいフィードの種類はリリース段階では...
Chat with the team