S3

大規模なデータセットを管理するためのSnowflakeのデータウェアハウスに、S3（Amazon Simple Storage Service）からのデータロード方法について説明します。S3はデ... Read more

お陰様で litera.app/blog のアクセス数が月間 100 万 PV に迫る勢いまで成長し、今まで適当に設定した（嘘です）冗長化と負荷分散設定ではもはや死に体になってきていたので、ちゃ... Read more

はじめに皆さん、どうもです。ｋ．ｓ．ロジャースのやすもんです。今回は先日、うちの社長が投稿した記事で紹介されたre:Inventで発表されたAWS新機能をいじってみようと思います記事的に長くなっ... Read more

技術課の森です。今回は、２つのCSVに対して、クエリを発行して、一覧を表示したいと思い、やったことを書いてみます。はじめに今回使うAWSリソースはS3とAthenaの２つ。S3にあるファイルを基... Read more

S3バケットに対してファイルをアップロードしたり、S3からファイルをダウンロードする際に気になるのが、ファイルの同一性（データ整合性）。転送中にファイルが破損していないか、ハッシュ値を用いて確認... Read more

指定したS3バケットだけアクセスさせたいしバケット一覧も見せたくない！多くの利用者さんが一つのAWSアカウントを使っているが、それぞれの利用者さんには指定したS3バケットにだけアクセスさせたい、... Read more

こんにちは、技術3課の峯です。前に『【やってみた】ZabbixのアラートをQuickSightで見える化！』という記事を書きましたが、今回もQuickSightをつかった記事になります。今回はf... Read more

今回はWindowsのフォルダにあるファイルを定期的にs3バケットに同期させる方法について書きます。ベタな内容とは思いますが、日頃はMacやLinuxな方には新鮮な内容かもしれません。前提とする... Read more

最近AWSのいろんなサービスを使ってます。AWSの中でも一番基本的なサービスのひとつ、S3についてのお話です。S3に保存するファイル名（S3上でいうところのキー名）を決める際に、AWS開発者ガイ... Read more

こんにちは。エンジニアの志村です。先日assets on S3についての実装を行いました。 　その記事は下記になります。今回はasset_syncにより、S3にassetファイルがアップロードさ... Read more