Meta Superintelligence Labsは、ローカル環境で常時動作するAIエージェント向けに最適化した300億パラメーターのモデル「Muse Glimmer」を発表し、モデルの重みをApache 2.0ライセンスの下で公開しました。現在、Hugging Faceから入手でき、開発者向け文書も提供しています。
Muse Glimmerは、消費者向けGPUを1基搭載したMacまたはPCで動かせる規模を目標に設計されています。ローカルエージェント、関数呼び出し、ローカルでのコーディング、大規模言語モデルを評価器として使う「LLM-as-a-judge」といった用途を想定します。クラウドやネットワーク接続に依存しがちなAIモデルを端末上で動かすことで、インターネット接続の有無にかかわらず利用できる点を、同社はローカル実行の利点として挙げています。
同モデルは、予定管理、メッセージ作成、ファイル整理など、個人の文脈への深いアクセスを必要とするエージェントを念頭に置いています。長期にわたる処理、正確なツール呼び出し、画像とテキストを扱うマルチモーダル理解、長い文脈の記憶、指示への追従を組み合わせることを目指しました。専用の知覚エンコーダーにより、テキストと画像を交互に入力でき、スクリーンショット、グラフ、文書を会話と併せて解釈できます。100を超える言語のデータで学習したほか、OpenClawなどのエージェントのオーケストレーション方式に対応するとしています。
学習では、大規模な教師モデル「Muse Spark」の出力を用いるlogit蒸留を事前学習に採用しました。中間学習では、より長い文脈とエージェント処理に重点を置いたデータ、より詳細な推論過程、自然由来のデータを使い、事後学習では教師ありファインチューニング、オンポリシー蒸留、強化学習を組み合わせました。MetaのAdvanced AI Scaling Frameworkに基づいて評価し、公開重みとしてリリースするため関連する全カテゴリーで評価したと説明しています。
消費者向け機器での動作に向け、モデル重みを約4ビット精度に量子化し、言語モデル部分の容量を20GB未満に圧縮しました。Metaによると、300億パラメーターのモデルをフル精度で扱う場合は55GB超のメモリーが必要です。圧縮後は、作業用メモリーであるKVキャッシュ、画像理解用エンコーダー、推測デコーディング用の補助モデルを含め、24GBまたは32GBのメモリー範囲で同時に動作させることを想定しています。同社は、この圧縮によるエージェントタスクの性能低下は最小限、またはないと検証したとしています。
推論速度の改善には、DFlashベースの軽量な「drafter」モデルを用いる推測デコーディングを採用しました。補助モデルがトークンのまとまりを提案し、主モデルが並列に検証する方式で、通常の1トークンずつの生成より高速な出力を狙います。量子化したdrafterも公開に含め、追加のメモリー使用量を抑えるとしました。MetaはK-Quant-17GBモデルと量子化DFlash drafterをMacBook M4-Max、M5-Max、RTX 5090で測定し、端末上で会話やリアルタイムのエージェント操作に対応できる速度だと説明しています。
今後数日中に、llama.cpp、MLX、ExecuTorch向けの最適化統合を提供する予定です。Ollama、LM Studio、Unsloth、vLLM、SGLang、Together AI、Fireworks AI、OpenRouterなどを通じた利用も案内しており、AMD、Arm、Dell、Intel、NVIDIAとも各種デバイスでの性能最適化を進めるとしています。
出典：Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device