ML エンジニアの森直幸が AI 機能で大ヒットを飛ばしている背景

ANDPAD 初の AI 機能「豆図 AI キャプチャー機能」が2023 年にリリースされ、プロダクトの MRR を大きく上げる大ヒットを記録しています。その立役者が機械学習（ ML ）エンジニアの 森直幸 です。

今回は森に大ヒットに繋がった背景やアンドパッドが抱えるデータの魅力についてインタビューしました。

森直幸
データ部 ML Product Dev グループ

大学・大学院で画像処理を研究。総合商社を経て、10 年間、画像処理エンジニアとして活躍したのち、 2021 年 12 月にアンドパッドに入社。 2023 年 7 月にリリースされた「豆図 AI キャプチャー機能」を開発。

データ組織の成長と自身の成長が sync する

―― 森さんはアンドパッドの Wantedly ページに初登場されるので、まずはご自身のプロフィールについてお聞かせいただけますか？

大学・大学院で画像処理の研究をして、大阪の会社で画像処理のエンジニアになり、そこで 10 年経験しました。事業は高速道路の構造物の外観検査が中心だったので、現場に行くときは作業着とヘルメットをかぶっていくというシーンが日常的な会社でしたね。

―― アンドパッドでも同様の風景をよく見かけますが、その後アンドパッドに入社された際、どのようなことを期待されていましたか？

前職は安定的な成長を志向する雰囲気があり、圧倒的な成長を目指す環境に身を置きたいと考えていました。そういう非連続な成長をしている会社なら仕事も人も広がることを期待していました。

―― 森さんが入社された当時のデータグループは立ち上げ期の組織で、6人目のメンバーだったとのことですが、その頃の状況や、期待通りに仕事も人も広がったというこれまでの軌跡について、お聞かせいただけますか？

当時は機械学習（ ML ）を中心とした組織ではなく、広いスコープをもつデータグループに配属されたのですが、それがよかったですね。そこでデータ基盤を利用してビジネスからの依頼でデータを集計するところからアンドパッドでの仕事を始めたのですが、依頼そのものがドメイン知識のかたまりで、建築・建設業界の人たちが何を期待しているか、というのがわかってきました。

―― 森さんならではの方法でドメイン知識を獲得されたのですね。具体的にどのように進められたのでしょうか？

そうして社内データ基盤やデータ分析プラットフォームがしっかり出来上がるころには、人数も増えて、データグループからデータ部に組織が拡大しました。そのころから徐々に ML での PoC を行うようになりました。

―― 前職と機械学習（ML）の環境で最も異なるのは、クラウドの利用だったと思いますが、いかがでしたか？

前職では手元の PC で開発していたものが、クラウドの VM 上に変わったので、それは大きな変化でした。 AWS などはほんの少し使った経験がありましたが、 Google Cloud は皆無で、とても困りましたし、最初は周りに質問してよいのか、迷いもありました。

―― クラウド環境への移行はよくある課題ですが、どのように突破されたのでしょうか？

アンドパッドには優れたエンジニアが一杯いるので、誰かに質問すれば、誰かが答えてくれるという安心感がありました。実際、恥ずかしさを振り切って質問してみると、質問以上の回答をもらっただけでなく、ペア作業もしてくれるほどで、今ならどんどん質問していけ、とアドバイスしたいですね。

―― いい話ですね

あとは会社のサポートもあって、 Google Cloud Innovators Gym （ G.I.G. ）に参加でき、無事に Professional Data Engineer の資格を取得できて、クラウドを苦にしない転機になりました。それで自信がつき、 Professional Machine Learning Engineer も取得できました。知識や操作でつまづくことはなかったのですが、英語の試験だったので、そのほうが大変でした。ギリギリで到達できそうな課題感を設定してくれたのがありがたかったですね。

―― 会社の資格取得支援制度を有効活用できてよかったですね

（写真はすべて hsbt が撮影）

絶賛大ヒット中！豆図 AI キャプチャー機能の誕生秘話

豆図とは

―― 組織が拡大し、機械学習（ML）を活用した様々な PoC が始まったとのことですが、具体的にどのようなプロジェクトから着手されたのですか？

ML 研究会を社内で立ち上げ、様々なプロダクト、事業本部とのディスカッションや調査を行ったのですが、ビル建設における建築図面での ML ニーズが高そうというのがわかってきました。その建築図面でも特に豆図でのペインが大きいことが伺えました。

―― 建築・建設業界の図面に詳しくない読者のためにも、この図面、特に「豆図」が具体的にどのようなものか、もう少し詳しく解説いただけますか？

まずビル建設では鉄筋コンクリート造の建物が多く、梁や柱などの鉄筋はこちらの写真のように位置、構造、材質、断面図などの情報が配筋図という建築図面にまとめられています。

配筋図イメージ

この配筋図における豆図とは鉄筋の断面図のことを指しています。

豆図イメージ

建設の現場では工事の証拠資料として写真が使われますが、その際、工事名、種類、工事日などを記録した "黒板" と呼ばれる看板が必要で、豆図も一緒に撮影する必要があります。ビル建設の現場では配筋図と呼ばれる建築図面から、この豆図を一つひとつ切り出して撮影するという作業が発生していました。

配筋図のイメージでは 1 枚にいくつもの豆図があり、この配筋図が大量に存在するため、それぞれの配筋図から豆図を切り出す必要があります。

―― 何度聞いても、この豆図を切り出す作業は大変ですね

この豆図を ML で判定し、自動でキャプチャーできないか、ということでターゲットが決まり、アンドパッド初の AI 機能の開発が始まりました。

100 % の精度は出せない

―― 実際に始めてみて、いかがでしたか？

開始当初に収集できた配筋図と豆図を見てみると、出来そうだと感じ、実際、 PoC の初期段階では期待が持てる成果を出せました。それによって開発チームもグッと前向きになったことを感じました。ですが、実際に現場の図面が集まってくると、色んな種類の図面や豆図がでてきました。IT における仕様書と同様に、特に建築・建設業界で定まった仕様がある訳ではありません。図面の多様性がわかっておらず、かなり苦労しました。

―― となると、精度向上が難しくなりますよね

そうなんです。通常、こういった ML プロジェクトでは目標性能を決めてからスタートしますが、フタを開けてみないとわからないので PoC があり、精度が出ないこともあることを PdM やビジネスサイドも理解していないと上手くいきません。それがアンドパッドの場合、初の ML を活用した機能の開発ということもあって、 AI だけで完結できないなら、後処理でなにかしようと AI を補足する UX を作ろうとしてくれたので、安心して精度向上に取り組めました。

―― 森さんが精度の限界の話を丁寧に説明しながら進めていたと当時のメンバーも語っていました。森さんのその姿勢も成功の背景にあるのかも知れませんね

大ヒットを記録し、全社表彰

―― そんな苦労を経て、豆図 AI キャプチャー機能としてリリースしていかがでしたか？

社内の Slack で「 MRR これだけ上がってます！」というのがレポートされていて、やったことのレスポンスがリアルすぎましたね。前月と比べてもわかるぐらいのインパクトで、ゼネコン等から沢山の引き合いが増えているということでした。会社の成長にも貢献できて、それが地続きで、建設の現場や社会の役に立っていることを感じています。

―― 大ヒットですよね。2023 年最終期で豆図 AI キャプチャー機能開発チームは全社表彰もされましたし！

一方で、性能が悪いと MRR に直撃するだろうということもわかるので、気が引き締まる思いです。こういった責任感を感じられることもうれしいですね。実際にフィードバックもたくさんいただいていますので、さらに改善を進めたいと思っています。

研究や PoC とプロダクションの違い

―― 一方で課題と感じたことはありますか？

先程も触れましたが、学習モデルをプロダクトに載せるとなるとクラウドの MLOps 基盤が必要です。豆図 AI キャプチャー機能では MLOps 基盤の構築は Data Platform チームが全面的に協力してくださったので、とても助かりました。

豆図 AI キャプチャー機能に続く、新しい学習モデルを載せるための MLOps の基盤は、私が構築しているのですが、ドキュメントがあるようでない状況で、調べては進むことの繰り返しで、失敗を重ねながら何とかリリースまでこぎつけました。PC ではあまり気にする必要がなかったネットワークやセキュリティの設定、監視などなど、インフラも含めてサービスを作る必要があり、まだまだ知識とスキルを上げなければなりません。

―― 基盤構築はよく属人化しがちなので、チームで基盤を作り、ボタン一つでリリースできるような仕組みを整えたいですね

あとは MLOps と言うぐらいですから、リリースしてからも大事だ、ということに気づいてなかったことも課題でしたね。Web アプリケーションなどと同様に、 MLOps 基盤もリリースしたそばから性能は落ちていくのです。そうならないよう、逆に性能を上げるために、設計 → 実装 → 運用をグルグル回して行かねばなりません。これまでの研究や PoC プロジェクトを行っている分にはリリースまでできれば OK と考えがちだったのですが、これがプロダクションとの差だなと痛感しました。まだまだチームにこの経験がないので、リリース以降のことも見据えられるよう、チームで知見を共有したいですね。

アンドパッドの ML Product Dev グループの可能性黒板 AI 作成機能をリリース！

―― 新しい学習モデルという話も出ましたが、豆図 AI キャプチャー機能に続き、新しい AI 機能がリリースされましたね

「黒板 AI 作成」機能ですね。

―― 例によって、読者への解説をお願いします！！

前回、豆図 AI キャプチャー機能でやったことは、豆図を取り出すことでした。今回は同じく配筋図にある、豆図だけでないテーブル情報から AI を使って Key と Value を抜き出し、黒板を自動生成するというものです。

配筋図

現場で行われているのは、豆図だけでなく、豆図の周辺にある鉄筋コンクリートの仕様を含めたものも黒板に転記することなのです。

黒板 AI 作成機能のイメージ

―― ビル建設ともなると、この黒板へ転記する時間と工数は相当ですよね

これもビル建設の現場では課題とされている業務だったので、 AI で変えていきたいですね。

―― 手応えはいかがですか？

最初の PoC の段階から比べると、検証いただける企業様が 3 倍程度に増加し、先日行われた建築・建設業界のイベント、建設 DX 展ではとてもいい反響をもらえたとのことなので、期待できます。

色々なデータが集まるのが Vertical SaaS の面白さ

―― 立て続けに AI 機能をリリースできていますが、 ML エンジニアの森さんから見てアンドパッドのポテンシャルをどう見ていますか？

冒頭のデータ組織の紹介でも触れた通り、アンドパッドのデータ組織の起源はデータを集めるところから始まっています。そうして出来たデータ基盤がしっかりしているところが、他とまったく異なるところですね。

―― どうしても AI や ML ありきで、データを集めるところから始まりがちですものね

おっしゃるとおり、そのデータ集めがボトルネックになることが多く、それがアンドパッドでは完了していて、なおかつキレイで活用しやすい状態になっています。

―― データの種類も豊富ですものね。森さんからみてアンドパッドのどういうデータに可能性を感じますか？

ひきつづき画像データは大きな価値を秘めていますね。一日だけでもアップされる写真が膨大な量に上りますし、今回の AI 機能の開発テーマとなった配筋図は建築図面のほんの一部ですから、まだまだ活用できる図が沢山あります。

―― ここで公開できないのが悔しいぐらいの量がありますよね（笑）

もちろん画像や図面データだけではない非構造化データが他にもたくさんあります。チャットのテキストデータ、遠隔臨場している動画、リモート通話の音声。そして画像でも新しく 360 度画像を取り込んでいます。

―― 構造化データもありますしね

工程管理のデータや、受発注などのデータも面白いデータですよね。Horizontal SaaS などでは単一的になりがちですが、 Vertical SaaS は本当に様々な種類のデータが集まります。アンドパッドのデータはポテンシャルしかないですね。

―― そんなデータが集まるアンドパッドで活躍できる ML エンジニアがどんな人か伺ってみましょう

当たり前ですが、テクノロジーに対する深い知識は必要です。ただ、それよりもお客様がどういう課題をもっていて、どう解決するとよいか考えられる人が活躍できます。ML エンジニアはどうしても学習モデルの面白さに酔いがちです。大切なのはお客様観点を忘れないこと、これが AI 機能をリリースして改めて感じたことです。

―― まさしくそうですね。ぜひそういう方に Join してもらい、森さんをはじめとする ML エンジニアのみんなと一緒にがんばって飛躍してもらいたいですね。今日はありがとうございました！

こちらこそ、ありがとうございました！