ようさんRalomi（マイコンで動く日本語の音声認識）
日本語の音声をひらがなに変える約 205 万パラメータの音声認識モデルです。M5Stack CoreS3（ESP32-S3）の本体だけで、PC もネットワークも使わずに認識します。
概要
マイコン・組み込み機器での音声認識を目指して作った、日本語の軽量な音声認識モデルです。16kHz の音声を、正規化したひらがなに変えます。M5Stack CoreS3（スタックチャン）に 1 ファイルを書き込むと、画面をタッチして話すだけで、認識したひらがなが画面に出ます。デモではブラウザの中で音声をひらがなに変換できます。
担当
モデルの設計、ReazonSpeech 約 10,000 時間でのゼロからの学習、ESP32-S3 向けの量子化、firmware、Python の推論コード、ブラウザ用デモ、評価と公開までを担当しました。
技術的なポイント
- DFSMN と CTC の構成で、FP32 の ONNX は約 8.3MB、ESP32-S3 用に 16bit 量子化（W16A16）したモデルは約 4.3MB です。
- 量子化したモデルと FP32 の差は、Common Voice 8.0・ReazonSpeech 各 300 件で 0.5 ポイント以内でした。8bit 量子化は精度が大きく下がるため採用していません。
- 音声を 1 秒ずつ区切って録音しながら認識するので、話し終えてから約 0.5 秒で結果が出ます。
- 出力はひらがなのみで、漢字変換・句読点には対応していません。Validation（1,319 件）の文字誤り率は 21.03% です。モデルの重みとコードは Apache-2.0 です。
