ようさん
相談する

← Works 一覧へ

JapaneseTinyAgentLM(マイコンで動く日本語 Tool Calling モデル)

ESP32-S3 だけで動く、日本語の依頼をロボットの動作の呼び出し(JSON)に変える 315 万パラメータの超小型言語モデルです。

時期
担当
設計・データ作成・学習・実機実装・公開
技術
Tiny LM, Tool calling, ESP32-S3, INT4, C, WebAssembly

概要

マイコン(ESP32-S3)の上だけで動く、日本語の超小型言語モデルです。最初のモデル Action LM(315 万パラメータ)は、「左を見て」のような日本語の短い依頼を look(direction=left) のような動作の呼び出し(JSON)に変えます。M5Stack のスタックチャン(CoreS3)の本体だけで、NPU もネットワークも使わずに、首を動かし、表情を変えます。デモではブラウザの中で実機と同じ C の runtime(WebAssembly)と INT4 の重みが動きます。

担当

学習データの生成と検査、ゼロからの学習、INT4 への量子化、C の推論 runtime と ESP32-S3 の firmware、ブラウザ用デモ、評価と公開までを担当しました。

技術的なポイント

リンク