ポートフォリオ2
◯アプリケーション名 AnalyzeBoxing ◯何ができるか 動画の内容を解析し格闘技におけるスパーリング・試合でのジャブの回数をデータ通信せずその場で分析することができます。 ◯誰のために作ったのか ボクシングジムではスパーリングや試合を行った際に動画を撮影し、後に見返し自己分析することが一般的であり、その際にデータに基づいた自己分析を行い、より高めを目指すボクサーのために作りました。 ◯なんのために作ったのか いつもと違う観点から自分のボクシングを見ることで、普段気づかない自分の弱点や強みを認識することにより、さらなる成長ができると考えたため作りました。 ◯利用方法 1. 分析画面にて分析モデルをロードする。 2.分析したい動画を選択する。 3.自分と相手の顔をそれぞれAIに学習させる。 4.再生ボタンを押すことで自動で分析開始。 ◯今後実装する予定の機能 1.現在は処理の負荷の関係でパソコンにのみ対応しているが軽量な分析モデルを用いてスマートフォンにも対応する。 2.今後は右ストレート、左右のフック、左右のアッパーなどの情報もLSTMに学習させ検出できるようにする。 3.パンチが命中したかどうかを姿勢推定により判別できるようにする。 ◯使用技術 フレームワーク:Next.js 言語:typescript 推定に使用したライブラリ:tensorflow.js 分析モデル: 1.pose Detection(MoveNet(姿勢推 定),BlazePose(精密な姿勢推定)) 2.MobileNet（特徴量算出、人物の学習に使用） 3.LSTM（時系列データのパターンを学習・推定） インフラ:vercel 開発人数:個人開発 ◯ジャブ検出のロジック 1.MoveNetにより人物のバウンディングボックス（ビデオフレーム内の人物を囲む矩形）を推定 2.MobileNetによりバウンディングボックス内の人物を特定 3.BlazePoseにより人物の姿勢推定 4.LSTMにより姿勢推定の情報を処理し、ジャブを検出