manhwa-viewer — Android・iOS向け漫画翻訳ビューアー
日本語の漫画画像から文字を認識し、韓国語の訳文を元の位置に重ねて表示するAndroid・iOS向け漫画翻訳ビューアー「manhwa-viewer」を単独開発しました。 ・既存OCRモデルをモバイルで実行できるよう、変換ツールが対応していない演算を置き換え、推論グラフを再構成(Android:LiteRT・ONNX Runtime、iOS:Core ML)。吹き出しの検出とOCRは端末内で行い、翻訳APIには認識したテキストを送信します。 ・UI、状態管理、OCR・翻訳の処理制御を、Android・iOS共通のコードで実装。画像の前処理とOCRのデコード制御もKotlinで共通化しました。 ・OCR結果と訳文をページごとに別々に保存し、再読時の推論と翻訳APIの呼び出しを省略。翻訳失敗時はOCR結果を再利用し、翻訳のみを再試行できるよう実装しました。 ・翻訳エンジンのタイムアウトや翻訳結果の欠落時に、別のエンジンへ切り替えます。最後に試すエンジンの応答を待つ時間を先に確保し、先行エンジンの応答が遅れても代替エンジンを試せるよう、待機時間を制御しました。 ・翻訳APIキーをアプリに含めず、Cloudflare Workersで管理。Play Integrity / App Attestでアプリを検証し、検証後に発行するセッションからの翻訳リクエストのみを受け付けるプロキシを実装しました。 画像の1枚目は、翻訳前(左)と訳文を重ねて表示した翻訳後(右)の比較です。2枚目は、吹き出しの検出・切り出し・OCR・翻訳の処理状況(左)と、選択した吹き出しの原文・訳文を確認する画面(右)です。 環境:Kotlin Multiplatform / Compose Multiplatform / Coroutines / Room / LiteRT / ONNX Runtime / Core ML / Cloudflare Workers(TypeScript) 公開状況:利用対象を正規に入手した漫画画像に限定できないと判断し、アプリの一般配信は見送っています。ソースコードとデモを公開しています。