LFM2.5-1.2B-Thinking：1GB未満で動作するオンデバイス推論

本日、完全にオンデバイスで動作する推論モデル LFM2.5-1.2B-Thinking をリリースします。本モデルはスマートフォン上で 900 MB 以内のメモリに収まり、そのサイズにおいて最速の推論速度と最高水準の品質を実現しています。2 年前にはデータセンターが必要だった処理が、今ではポケットの中でオフライン実行可能になりました。

さらに、私たちはエコシステムを拡大し、新たなローンチパートナーとして Qualcomm Technologies, Inc.、Ollama、FastFlowLM、Cactus Compute を迎えました。これらは、既存のパートナーである AMD および Nexa AI に加わります。これらのパートナーシップにより、車載、スマートフォン、ノート PC、IoT、組み込みシステム全体にわたる強力な導入シナリオが実現します。

LFM2.5-1.2B-Thinking は、本日より Hugging Face、LEAP、そして Playground にてご利用いただけます。

ベンチマーク

LFM2.5-1.2B-Thinking は、LFM2.5 ファミリーへの最新の追加です。推論タスク専用にトレーニングされた、12億パラメータのモデルです。回答を出す前に思考のトレースを生成し、問題を体系的に解決します。このモデルは、LFM 独自の高速な推論能力を活用して、より高品質な回答を生成します。

LFM2.5-1.2B-Instruct と比較すると、数学的推論（MATH-500：63 → 88）、指示追従（Multi-IF：61 → 69）、ツール使用（BFCLv3：49 → 57）の3つの能力が大幅に向上しています。

LFM2.5-1.2B-Thinking は、パラメータ数が40％少ないにもかかわらず、ほとんどの推論ベンチマークにおいて Qwen3-1.7B と同等、もしくはそれを上回る性能を示します。さらに、高品質と効率的なテスト時推論計算の両立を実現しています。Qwen3-1.7B（Thinking モード）と比較すると、全体的な性能が高く、必要な出力トークン数も少なくて済みます。

推論時にはパフォーマンス差がさらに拡大し、LFM2.5-1.2B-Thinking は Qwen3-1.7B だけでなく、速度とメモリ効率の両面において Granite-4.0-H-1B のようなハイブリッドアーキテクチャも上回ります。

LFM2.5-1.2B-Thinking は、エージェント型のタスクや推論集約型のタスク（例：ツール使用、数学、プログラミング）で真価を発揮することがわかりました。モデルが一連のツール呼び出しを計画し、中間結果を検証し、アプローチを調整する必要がある場合に、推論トレースが真の価値を発揮します。一方で、チャット用途やクリエイティブライティングには LFM2.5-1.2B-Instruct の使用をおすすめします。

トレーニングレシピ

優れた小規模な Thinking モデルを構築するには、低レイテンシなエッジ導入に適した簡潔な回答を維持しつつ、多段階推論を通じて限られた知識容量を拡張する必要があります。

LFM-1B-Math の以前の実験では、トレーニング中に推論トレースを含めることで、モデルが「まず理由付けを行い、その後に回答する」というパターンを内面化するのに役立つことが示されました。合成された推論トレースを用いた教師あり微調整（SFT）により、より信頼性の高い思考連鎖の生成が可能になり、特定フォーマットへの報酬付与は不要となります。

しかし、SFT だけでは推論モデルによく見られる問題を解決できません。すなわち、結論に到達する代わりに、繰り返しの多いテキストパターンに陥ってしまうことです。この挙動は一般に「ドゥームループ」と呼ばれます。私たちは、次のシンプルな手法によってこれを軽減しました。

1. 選好アライメントでは、SFT チェックポイントから温度サンプリングされた5つの候補と、1つの greedy 候補を生成しました。採用された回答は LLM 審査員によって最も高いスコアを獲得した候補であり、却下された回答は、ループが存在しない場合には最低スコアの候補、または（審査員スコアに関係なく）ループが検出されたすべての候補でした。
2. RLVR ではさらに、N-gram ベースの繰り返しペナルティを適用し、トレーニング初期段階からループ挙動を抑制しました。

このアプローチにより、代表的なプロンプトデータセットにおいて、ドゥームループの割合は 15.74%（中間学習）から 0.36%（RLVR）へと大幅に低減しました。

私たちの RL パイプラインは、verl [1] の内部フォーク上に構築されており、クリティックを用いない、グループ相対型ポリシー勾配最適化（GRPO スタイル）に焦点を当てています。基本実装は参照不要で、非対称比率クリッピング、ゼロ分散プロンプトグループの動的フィルタリング、過度に長いサンプルのマスキング、アドバンテージの正規化なし、重要度切り捨てサンプリング（[2–6] など）といった手法を取り入れています。各構成要素はターゲットドメインごとに調整されます。検証可能なタスクにはルールベースの報酬を、自由形式のプロンプトには生成型報酬モデルを使用します。また、クロストークナイザーによるオンポリシー蒸留を主目的または補助目的として検討しましたが、現時点では大きな効果は確認されていません。

私たちは、高度に並列化された構造を持つカリキュラム RL アプローチを採用しました。単一のモデルを複数ドメインで同時にトレーニングするのではなく、指示追従の RLVR を基盤として開始し、そこから分岐して推論、数学、ツール使用のドメイン特化チェックポイントを作成します。

この並列アプローチは、すべてのドメインを単一モデルで同時にトレーニングする従来手法とは対照的です。従来手法では、能力間の干渉が生じやすく、回帰の診断も困難になります。私たちのカリキュラムでは、より細かな制御が可能です。各ドメイン固有モデルは、それぞれ独自の報酬設計、ハイパーパラメータ、評価基準を用いて個別に最適化されます。その後、反復的なモデルマージを通じて、目的とする能力をバランスよく統合した新しいチェックポイントを作成します。たとえば、ツール使用に特化したトレーニングの後、以前に数学向けに最適化されたチェックポイントと統合することで、低下した数学推論性能を回復させます。この柔軟性により、純粋な逐次トレーニングよりも能力間のトレードオフを効果的に管理できます。

このアプローチは、少人数で集中して取り組むチームにとっても効率的です。独立したワークストリームが互いの作業を妨げることなく、それぞれのドメインで素早く反復できます。各成果は、調整を要する合同トレーニングを実行するのではなく、マージによって容易に統合できます。モデルマージは、専門的な改善を取り込みながら全体的な性能を維持できることがわかっており、汎用的な RLVR をスケールさせる実用的な道筋となっています。

LFM エコシステムの拡大

LFM2.5 は、TRL および Unsloth で今すぐファインチューニングできます。LFM2.5-1.2B-Thinking は、llama.cpp、MLX、vLLM、ONNX Runtime など、主要な推論フレームワーク全体において、リリース初日から対応しています。これらすべてのフレームワークは、Apple、AMD、Qualcomm、NVIDIA ハードウェアにおける CPU および GPU アクセラレーションの両方をサポートしています。

LFM2.5 モデルの全ファミリーはこちらからご覧いただけます。

LFM2.5 ファミリーを必要な場所で効率的に稼働させるため、私たちはハードウェアおよびソフトウェアのエコシステムを急速に拡大しています。Qualcomm Technologies, Inc.、Ollama、FastFlowLM、Cactus Compute が、新たなローンチパートナーとして参加しました。

この拡張により、ハードウェアおよびソフトウェアのサポートは大幅に拡充されます。既存パートナーである Nexa AI は、Qualcomm Technologies, Inc. のNPU 上で最適なパフォーマンスを実現しており、FastFlowLM は AMD Ryzen™ NPU デバイス向けの専用高性能ランタイムを提供するために参画しています。さらに、Ollama と Cactus Compute もローンチパートナーとして加わり、シームレスなローカルおよびエッジデプロイメントのワークフローを実現します。

以下の表は、これらの最適化された実装によって実現される推論アクセラレーションを示しています。

LFM2.5-1.2B-Thinking の推論速度ベンチマーク

LFM2.5-1.2B-Thinking は、ロングコンテキスト推論に優れています。たとえば、FastFlowLM を搭載した AMD Ryzen™ NPU では、16K コンテキスト時に約 52 トークン/秒のデコードスループットを維持し、フル 32K コンテキストでも約 46 トークン/秒を維持します。これは、ロングコンテキストにおける高いスケーラビリティを示しています。FastFlowLM を搭載した AMD Ryzen™ NPU でのより長いコンテキストのベンチマークの詳細については、こちらをご覧ください。

始めよう

リリース以降、LFM2 ファミリーが Hugging Face において 1,000 万ダウンロードを突破したことをお知らせできることを誇りに思います。

LFM2.5 により、私たちは「どこでも実行できる AI」というビジョンを実現しています。これらのモデルは以下の特長を備えています。

• オープンウェイト — 制約なくダウンロード、ファインチューニング、デプロイできます‍
• 初日から高速 — Apple、AMD、Qualcomm Technologies, Inc.、NVIDIA の各ハードウェアで llama.cpp、NexaSDK、Cactus Engine、LM Studio、Ollama、FastFlowLM、MLX、vLLM をネイティブサポート
• 揃ったファミリー — カスタマイズ向けのベースモデルから、音声・視覚に特化した派生モデルまで、単一のアーキテクチャで多様な用途をカバーします

エッジ AI の未来はすでに到来しています。皆さまが何を構築されるのか、楽しみにしています。

参考文献

[1] Sheng, Guangming, et al. “HybridFlow: A Flexible and Efficient RLHF Framework.” arXiv, 2024.
[2] Ahmadian, Arash, et al. "Back to basics: Revisiting reinforce style optimization for learning from human feedback in llms." arXiv, 2024.
[3] Shao, Zhihong, et al. "Deepseekmath: Pushing the limits of mathematical reasoning in open language models." arXiv, 2024.
[4] Yu, Qiying, et al. "Dapo: An open-source llm reinforcement learning system at scale." arXiv, 2025.
[5] Liu, Zichen, et al. "Understanding r1-zero-like training: A critical perspective." arXiv, 2025.
[6] Yao, Feng, et al. “Your Efficient RL Framework Secretly Brings You Off-Policy RL Training.” Feng Yao's Notion, 2025.

引用

以下の参考文献、または BibTeX 形式の引用をご利用ください。

@article{liquidAI2026thinking,
  author = {Liquid AI},
  title = {LFM2.5-1.2B-Thinking: On-Device Reasoning Under 1GB},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm2-5-1-2b-thinking-on-device-reasoning-under-1gb},
}

エンタープライズ向けデプロイメントおよびカスタムソリューションについては、営業チームにお問い合わせください。実装の詳細については、テクニカルレポートをご覧ください。

GPQA、MMLU-Pro、IFBench、AIME25 はArtificial Analysis の方法論に基づいて評価されています。IFEval および Multi-IF については、プロンプトおよび指示の厳密・非厳密な評価条件における平均スコアを報告します。BFCLv3 では、ツール使用テンプレートをサポートするため、カスタム Liquid ハンドラーを用いて最終的な加重平均スコアを報告します。

^{*：同じ手法に基づき、思考型モデルについては temperature=0.6 で 5 回実行した平均スコアと標準偏差を報告しています。instruct モデルについては貪欲デコードでのスコアを報告しています。}