JapaneseTinyAgentLM(マイコンで動く日本語 Tool Calling モデル)
ESP32-S3 だけで動く、日本語の依頼をロボットの動作の呼び出し(JSON)に変える 315 万パラメータの超小型言語モデルです。
概要
マイコン(ESP32-S3)の上だけで動く、日本語の超小型言語モデルです。最初のモデル Action LM(315 万パラメータ)は、「左を見て」のような日本語の短い依頼を look(direction=left) のような動作の呼び出し(JSON)に変えます。M5Stack のスタックチャン(CoreS3)の本体だけで、NPU もネットワークも使わずに、首を動かし、表情を変えます。デモではブラウザの中で実機と同じ C の runtime(WebAssembly)と INT4 の重みが動きます。
担当
学習データの生成と検査、ゼロからの学習、INT4 への量子化、C の推論 runtime と ESP32-S3 の firmware、ブラウザ用デモ、評価と公開までを担当しました。
技術的なポイント
- 実機に書き込むファイル(INT4 の重みと tokenizer)は 2.0MB で、応答は 1 文あたり中央値 1.3 秒です。
- 生成の各 step で schema に合う token だけを選ぶ文法による制約で、必ず正しい形の JSON を出します。確信度が閾値より低いときは何もしません。
- 人が書いた依頼文で 85.2 ± 6.4%(5 seed 平均)、動作の依頼でない文 1,097 件で誤って動いた割合は 0.0%、実機と PC の出力は 300 / 300 で一致しました。
- コードは Apache-2.0、モデルの重みは CC BY-SA 4.0 です。
リンク
デモ(Hugging Face Space)JapaneseTinyAgentLM Action 3M - a Hugging Face Space by ayousanzhuggingface.co
GitHubayutaz/JapaneseTinyAgentLMTiny Japanese language models that run entirely on an ESP32-S3. Action LM (3.15M params, INT4) turns Japanese requests into robot actions on M5Stack Stack-chan. - ayutaz/JapaneseTinyAgentLMgithub.com
Hugging Faceayousanz/JapaneseTinyAgentLM-Action-3Mhuggingface.co