
KoeAct-JP(音声から直接ロボットを動かす日本語モデル)
日本語の音声を、文字起こしを挟まずに動作の呼び出し(Action JSON)に変える 259 万パラメータのモデルです。PC の CPU と M5Stack CoreS3(ESP32-S3)で、クラウドなしに動きます。
モバイルゲームの Unity エンジニアとして働きながら、音声合成(TTS)の ML エンジニアとして AI キャラクターや音声対話サービスを開発しています。オンデバイスで動く日本語 TTS、音声対話、Unity への組み込みが専門です。
日本語TTS・音声認識・G2P・アクセント、音声対話(S2S)。モデルの学習から Unity / C# への組み込み、マイコン(ESP32-S3 など)の上だけで動く小さなモデルまで。

日本語の音声を、文字起こしを挟まずに動作の呼び出し(Action JSON)に変える 259 万パラメータのモデルです。PC の CPU と M5Stack CoreS3(ESP32-S3)で、クラウドなしに動きます。

日本語の音声をひらがなに変える約 205 万パラメータの音声認識モデルです。M5Stack CoreS3(ESP32-S3)の本体だけで、PC もネットワークも使わずに認識します。

ESP32-S3 だけで動く、日本語の依頼をロボットの動作の呼び出し(JSON)に変える 315 万パラメータの超小型言語モデルです。

55.9 万パラメータの日本語 TTS を ESP32-S3 の上だけで実時間より速く合成します。漢字かな交じり文の読みとアクセントの推定も端末の中で行います。

英語のストリーミング音声認識モデル moonshine-streaming-small を日本語化した、日本語ストリーミング ASR モデルです。

軽量な日本語対応 TTS「piper-plus」と、それを Unity から使うためのライブラリ「uPiper」。
音声対話とキャラクター表現を組み合わせたAIキャラクターの開発。デスクトップマスコットや対話アプリ。

次世代型の、ユーザーがカスタマイズできるデスクトップマスコットの OSS です。

YouTube のコメントを拾って会話を広げる AI Agent のキャラクター「ミラ」を開発しました。
Unity でのゲーム開発と、生成AIを組み込んだゲーム・プロトタイプ。生成AIの展示会の主催。

森の奥の魔法学院を舞台にした探索アドベンチャーゲームに PM / ディレクターとして参加しました。

生成AI を使った個人制作のデモ会「生成AIなんでも展示会」を主催し、企画と運営を担当しています。

花屋を舞台に花束を作る ADV ゲームです(制作期間 2023 年 7 月〜11 月)。
Unity 向けライブラリ、開発基盤、コミュニティ運営。

PoC と技術検証を行い、知見を公開するコミュニティ MidraLab の運営に関わっています。

Unity で Google Sheets のマスターデータを扱いやすくするライブラリです。

Fungus と Google Sheets で Unity の ADV 制作を簡単にするライブラリです。
2026-11-13 時点