【現状の課題】 事業拡大と共にユーザーが拡大していく中、真に求める情報を届けるために以下のような課題に向き合っています。 ・効率的に情報拡充するためのデータパイプラインの開発、改善 ・Web上のニュース、論文、特許、社内文書などを安定的に収集・拡充していくための監視基盤の構築 ・ユーザーの行動を元に情報を完全自動で拡張する仕組みの構築 【業務内容】 全プロダクト共通のデータ配信システムに位置する、Webクローラーと文書配信パイプライン の設計、開発、運用を行なっていただきます。 データプラットフォームチームをリードし生産性の最大化を行うことも期待しています。 ・TypeScript/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用 ・大規模言語モデル(LLM)の学習に必要となる日本語データセットの作成 ・顧客の社内文献を解析/配信するための解析ロジック及びデータパイプラインの新規構築と運用 ・FaaS/CaaSによる分散処理のスケーラビリティ向上と監視設計 ※変更の範囲：開発関連業務 【チーム体制】 Opendata Team（8名） 内訳：Manager1名、サーバーサイドエンジニア2名、データエンジニア1名、機械学習エンジニア2名、MLOps1名、Data Reliability Engineer1名 【開発環境】 [開発言語] Webクローラー: TypeScript(Node.js) データパイプライン: Python [コンテナ] Docker [IaC] Terraform [クラウド] AWS, GCP 【ポジションの魅力】 ・数億件規模の文書データのサーバーレス分散処理に携わることができる ・数万サイトを対象としたWebクローラーの開発に携わることで、Webフロント・バックエンド両方の知見を活かしつつ、不安定なシステムの監視・運用設計のノウハウを取得できる ・PdMやCustomer Successチームとコミュニケーションしながら新規開発や改善策を自身で提案・開発することで、事業へのコミットを経験できる 【必須スキル】※すべて必須 ・エンジニア経験5年以上 ・要件定義から設計〜実装〜運用に至るまでを一気通貫での経験 ・サーバーレスを用いたフルスタックな開発/運用及びそのリード経験（Lambda, ECS, Fargate, Step Functions, Cloud Functions, Cloud Runなど） 【歓迎スキル】 ・コンピュータサイエンスに関連する技術分野の修士号または博士号 ・チーム開発をリードした経験 ・顧客向け自社開発サービスの開発、運用経験 ・文書検索や文書推薦を行うサービスの開発、運用経験 ・サーバーレスに対する幅広い知見と業務経験 ・Terraformを用いた開発/運用経験 ・データパイプライン・ETLの構築やワークフローエンジン、分散処理フレームワークを用いた開発/運用経験（Hadoop、Sparkなど） 【求める人物像】 ・コンピュータサイエンス、分散処理が好き ・最新の理論や事例をフォロー、検証するのが好き ・与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せる ・ビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられる ・前向きなチャレンジ精神 ＜その他＞ ・入社後、必要に応じて東京オフィスへの出社が可能な方 ・開発に関する技術的な内容含め、日本語で円滑にコミュニケーション可能な方 　目安：日常会話レベル 最後に、 当社は独自の自然言語処理AIを活用した、AI SaaSで日本企業の成長を後押しすることを目指しているスタートアップです。これから急速に成長をしていくために、一緒に事業を成功に導く仲間を募集しています！ リモートワークなど働きやすさも大事にしていますので、少しでも気になりましたら、ぜひ、お気軽に「話を聞いてみたい」よりエントリーしてください。 お会いできることを、楽しみにしています。 【関連資料】 Opendata Unitまとめサイト https://stockmark.wraptas.site/48e328c4d33a480f837a6509f575db8f