RimoはInputが動画という特性上、音声・言語・画像のどれを処理できる機械学習エンジニアで全方位で求めています。具体的には以下のような業務がありますが、この先作りたくて公開できないものも多いので、これだけにとどまりません。 - [音声認識] 文字起こし、話者分離 - 最近はWhisperのファインチューニングがメインテーマになっています。 - Facebook(Meta)なども良いものを出してきているので別の方法でもいいです。 - 話者分離も、高速で、精度が良く、事前の声紋があるときにも使え、ないときにも使えるなどの条件を全て満たすものがなかなかなく、この領域も鋭意探索中です。 - [言語処理] 要約/議事録生成 - ここはWritingだと記事生成、商談だとSalesForceに入力する項目を自動抽出など応用により変化します。 - ここはChatGPT等を利用できるため、プロンプトエンジニアリングも重要です。 - ローカルLLMを利用することもできますが、費用対効果が現状薄そうなので現状そこまで手を出さない判断です。今後この判断は覆ることがあり得ます。 - 要約や抽出箇所のオリジナルの場所を特定する必要があるため、そこは自前で行っています - ToDoの抽出などではChatGPTの処理の後に、誰がいつまでにやるべきかなどをさらに推論しより精度を上げる必要がありそうです - [画像認識] 動画からの情報抽出 - 資料を共有しているところを見つけ出してその中身も議事録に反映させる - 顔認識を通じて、動画からの話者分離 ## 求める人物像 要件としては、Kagglerでも大学の助教授や、企業の研究所の方、MLエンジニアでも大丈夫です。 ただし、Rimoは調達なしで売上から皆の給与を出し、一人当たり給与を上げようと努力している組織なことは頭に入れておいてください。現状、サーバー代を莫大に使い、成果が1年以内に出るかわからないものには投資できないです。 それを分かった上で、まずは1ヶ月で実装方針が立つものから始め、3-6ヶ月で身を結ぶものをユーザーに届けていくことを楽しめる人が向いているかと思います。 また、副業で働いてくれている人で論文を何本も国際学会に通してICPCなどでも世界大会経験のある人がいるため、機械学習の知識はないけれど、実装力には自信があって色々実験できますという人でも大丈夫です。 ## 必須スキル - 求める人物像に書いた内容に当てはまっていること ## 歓迎スキル - タスクをKaggleのように整理でき、データセットを準備し解ける問題にできる - コードを高速にできる限りバグを出さずに書くノウハウを持っている - 特定のタスクが与えられたとき、そのデータセット、論文、実装済みコードを探せる - 採用候補者のいるような学会の論文を書き、スポンサードし、Rimoの代表として学会に参加できる ## この仕事の魅力 - 機械学習の内容自体が面白い。 - 音声認識×GPTという世の中のトレンドを捉えたサービスであることから、利用者を飛躍的に向上させるチャンスがある。現在も契約者数が急増中。 - 世界展開を計画しており、プロダクトを日本だけではなく世界に広げて行ける。 ## 開発環境 言語：Python, Go, TypeScript フレームワーク：pytorch, fastAPI, sklearn, openai api, LangChain, gin, React(Next.js), データベース：Firestore(Firebase), BiqQuery ソースコード管理：GitHub 情報共有ツール：Slack, Zoom, Notion, Rimo インフラ：GCP(Kubernetes Engine, Cloud Run)