深層学習に関する理論解析
画像認識や音声認識で用いられる深層学習モデル (CNN) の理論解析を行い、機械学習のトップカンファレンスであるICLR2021に採択されました。ChatGPTや画像生成モデル等で世界的に注目されている深層学習ですが、「なぜうまくいくのか？」という視点からの原理解明は進んでおらず、解決すべき課題が山積している状態です。本研究では、数理的なアプローチにより深層学習がうまくいく理由を説明することを試みました。概要を説明しますと、画像や音声のような超高次元のデータであっても「実質的な次元」に相当する量が小さければ、深層学習がうまく構造を学習できることを証明しました。添付画像は、横軸が次元、縦軸が誤差、凡例に表示されているpは実質的な次元となります。実質的な次元pに応じて誤差が決定され、横軸の次元には無関係に誤差が推移しているのが画像から確認できます。