■データエンジニアの担当領域について リブセンスの開発チームはプロダクトごとに編成されており、ソフトウェアエンジニアは各開発チームに所属しています。 データエンジニアは全てのプロダクトをまたぐかたちで設けられた横断組織に所属し、分析基盤・機械学習基盤のアーキテクチャ設計や機能拡張などを行います。 ■本ポジションに関して リブセンスでは「リアルデータエンジニアリング」という戦略のもと、事業成長のために横断的な専門組織でデータ分析・活用の強化を進めています。 その中核として、データ分析基盤 Livesense Analytics および機械学習基盤 Livesense Brain を開発・運用しています。 https://www.livesense.co.jp/about/strategy/ Livesense Analytics では、各メディアのログデータ・アプリケーションデータ・広告等の外部データなど、データ分析や機械学習に必要な幅広いデータを収集・蓄積・加工し、社内に提供しています。 Livesense Brain では、Livesense Analytics の提供するデータをもとに検索・推薦などの最適化のための機械学習システムを開発し、さらにその効率的な改善・運用を支える様々な仕組みを構築しています。 この求人で募集しているデータエンジニアは、Livesense Analytics, Livesense Brain の開発・運用を担い、データエンジニアリングのエキスパートとして活躍し、各プロダクトでのデータドリブンな意思決定やユーザ体験の最適化を行う基礎を支えます。 我々の活動内容はブログでも発信していますので御覧ください。 https://analytics.livesense.co.jp ■具体的な仕事内容 下記を一例として、データ分析・活用を支える様々な業務を担っていただきます。 事業へのインパクトや社内のニーズを踏まえ、能動的にアクションを起こすことが求められます。 ・ AWS上でのログデータ・アプリケーションデータの収集システムの開発 ・ Amazon Redshift を中心とするデータウェアハウスの運用 ・ クライアントサイドのログ収集ライブラリの開発 ・ Redash, Google Sheets 等の分析ツールとの連携システムの開発 ・ GCP上での機械学習・統計モデリング等を活用した推薦・検索システムの開発 ・ Kubernetes を中心とするMLシステム実行・監視基盤の運用 ・ バンディットアルゴリズム等を利用したA/Bテスト支援ツールの開発 ・ 各事業におけるデータマーケティング・データマイニングプロジェクトの支援 ■開発環境・利用技術 ・　主なプログラミング言語: SQL, Ruby, Python, Scala, Go, R, Julia ・ AWS: Redshift, ElasticBeanstalk, EMR, Glue, Athena, SQS, Lambda, Kinesis ・ GCP: GKE, GAE, Cloud SQL, BigQuery, Pub/Sub, Cloud Build ・ 主なインフラ技術: Linux, Docker, Kubernetes, MySQL, PostgreSQL, Apache Spark, Fluentd, Embulk, Airflow, Digdag, Argo Workflow ・ 主な開発・運用ツール: Github, Bitbucket, ConcourseCI, CircleCI ■必要な経験・スキル ・ SQLを用いてRDB上の必要なデータを取得・加工できること ・ データベース設計・データモデリングに関する基礎知識 ・ Webアプリケーションの設計〜開発〜運用の一連のプロセスの経験 ・ 各種サービス・ライブラリについての英語資料を読解できること ■歓迎する経験・スキル ・ Redshift, BigQuery 等のOLAP向けデータベース技術の利用経験 ・ Kubernetes, Docker Swarm 等のコンテナオーケストレーション技術の利用経験 ・ Airflow, Digdag, Luigi 等を用いたデータパイプライン構築・管理の経験 ・ Apache Hadoop, Apache Spark 等の分散処理フレームワークの利用経験 ・ 機械学習・自然言語処理・統計モデリングのアルゴリズム実装経験