骨髄損傷者向け AI Faceコントローラーの作成

骨髄損傷にて首の上だけが動かすことが出来る方向け前提で、FaceコントローラーをPythonとオープンソースのパッケージを使って作ってみました。

デモはYouTubeにて動画を確認できます。 ↓ ↓ ↓
https://youtu.be/PHAsT8K9SFk

↑↑のデモでは、YouTubeを開いて「お文具のアニメ」を再生するまでの過程が見れます。

Media Pipeの顔認識でカーソルを動かし、専用のキーボードを動かしたり、マウスをコントロール可能です。
また、voskによる音声認識も可能となっています。



オープンソースをつなぎ合わせるだけで、誰でも簡単にこのレベルの物ができる時代になったと言うのは凄いですね。

障害がある方も、自分自身だったり、周りの方のサポートだったりで、生活の内容に合わせたカスタマイズをできる可能性が広がっているのではと思いました。

ところで、今回は首でコントロールしましたが、もし視線検知で開発していたら、目が凄く疲れそうですね。

【主な使用パッケージ】
顔認識：Media Pipe
画面系：PyGame
操作系：PyAutoGUI
音声認識：vosk（今回のDemoでは未使用）

【環境】
OS：Windows10
CPU：Core i5 8th Gen
GPU：なし
メモリー：8GBytes