LFM-1B-Math：小さなモデルは簡潔な推論者になれるか？

要点

• 1.3B の Liquid Foundation Model（LFM）をベースに、小型チャットモデルへ数学的推論能力を付与する体系的な事後学習レシピをご紹介します。
• 厳選した思考連鎖データによる大規模な教師ありファインチューニングが強い推論能力を引き出し、狙いを定めた強化学習が推論の連鎖を簡潔にします。
• できあがったモデル LFM-1.3B-Math は、限られた応答長でも高い性能を発揮します。リソースの限られたエッジデバイスへの展開にとって理想的なトレードオフです。

推論モデルは、複雑な問題を解くために思考連鎖と強化学習（RL）に基づく新しい学習パラダイムを広めました。これにより、通常ならはるかに大きな LLM を要するタスクを、小さなモデルでもこなせるようになります。しかし学術文献の多くは限られたベースモデル群に集中しているため、推論レシピの有効性を、事前学習データやアーキテクチャといったモデル固有の特性から切り分けることが難しくなっています。

本記事では、LFM-1.3B [1] を例に、小規模言語モデル向けの推論レシピを探究して得られた知見をご紹介します。数学に特化した事前学習を経ていない汎用チャットモデルが、大規模なファインチューニングと短期の強化学習の組み合わせによって、簡潔な推論能力を獲得できることを示します。モデル、事前学習の配合、アーキテクチャとともに知見を公開することで、エッジ展開に適した小規模言語モデルへ推論能力を効果的に定着させる方法についての理解を広げたいと考えています。

教師ありファインチューニング

教師ありファインチューニング（SFT）は、厳選した思考連鎖（CoT）のトレースで学習させることにより、従来型のモデルに推論的な振る舞いを取り込ませる一般的な手法です [2]。強力な教師モデルからのオフライン蒸留型 SFT は、純粋な強化学習が難しくなりがちな小型推論モデルにおいて特に効果的です。

指示データの配合

近年の研究では 1,000 件程度のサンプルでも効果的に学習できると報告されています [3] が、私たちは大規模なオープンソースデータセット（100 万件超）を活用する方が特に高い性能につながることを見出しました。極端にデータを絞った条件での知見は、モデルサイズや、数学・推論に特化した事前学習データと相関している可能性があります（[4] も参照）。

この観察は、同種の強力な小型推論モデルの実践とも一致します。たとえば DeepSeek-R1-Distill-Qwen-1.5B [2] は約 100 万件のサンプルで学習され、NVIDIA の OpenMath-Nemotron-1.5B [5] はさらに 300 万件を追加して学習しています。

公開データセットのなかでは、Hugging Face の Open-R1 [7] や Bespoke Labs の OpenThoughts（OpenThoughts2-1M など）[8] も含めて検討した結果、NVIDIA の OpenMathReasoning [5] と Llama Nemotron Post-Training [6] が特に効果的でした。数学問題で高い実験結果を示した OpenMathReasoning を選び、科学問題にも対応できるよう Llama Nemotron Post-Training の科学サブセットと SCP-116K [9] を組み合わせました。合計でおよそ 450 万サンプルになります。

ハイパーパラメータ

これら大規模で高品質なデータセットの利点を最大限に引き出すため、通常の事後学習レシピから大きく離れました。具体的には、3e-4 という比較的高い学習率を用い、合計 3 エポック（約 1,000 億トークン相当）学習しました。こうした思い切ったハイパーパラメータの選択は、本質的に完全な圧縮や過学習が難しい大規模データセットから、できるだけ多くの知識を引き出すうえで決定的でした。図 1（左）は複数エポック学習の累積効果を示しており、1 エポック目で平均性能が 36% 向上し、続く 2 エポックでさらに 7.6% 上乗せされています。

回答の長さ

推論により、モデルは複数の解法を順に試し、誤りを訂正し、最終的な答えを自己検証できるようになります。これは解の正確さを大きく高めますが、応答は自然と長くなり、必ずしも目的に直結しない冗長さが現れることもあります。メモリと生成速度の双方が制約となるエッジ用途とは、これは相容れません。

SFT だけで応答長を短くする方法として、以下を含むいくつかの手法を検討しました。

• 最も長いサンプル上位 20% を除去し、全トークンのおよそ 50% をフィルタする
• 「thinking: {low; medium; high}」のようなシステムプロンプトで、事後的に応答を条件付ける
• 応答全体が 3k トークン以内に収まるよう推論トレースを切り詰める

最後の方法については、切り詰めた推論トレースで学習すれば、4k トークンという制約された応答予算での評価時に性能を高めるだけの情報が得られるのではないかと考えました。図 1（右）に示すとおり、切り詰めた推論トレースでの学習は応答長の短縮には成功しました。しかし 4k トークンの制約下での性能は向上せず、32k トークンの無制約時の性能はむしろ低下しました。したがって、元のモデルの生成長を直接制限する場合と比べて利点は見られませんでした。

強化学習

SFT だけでは、性能を大きく損なわずに推論を短くすることはできないと分かりました。そこで、簡潔な推論の振る舞いへとモデルを仕上げるために強化学習を用います。手法の土台には Group Relative Policy Optimization（GRPO）[10] を採用しました。モンテカルロによるアドバンテージ推定と検証可能な成果報酬の組み合わせにより、素直な最適化目的が得られるためです。学習の安定性をさらに高めるため、アドバンテージの正規化を外し、超過長のフィルタリングを適用しています [11, 12]。これらの変更のもとでは GRPO、RLOO [13]、REINFORCE [14] は近いものになりますが、一貫性のため GRPO と呼びます。

強化学習で冗長さを制御する

モデルの冗長さを抑える第一歩としてよく取られるのは、あらかじめ定めた長さのヒューリスティクスに基づく専用の報酬項を導入することです。しかしこれは、問題の複雑さが多様な状況で推論の予算を調整する余地を奪いかねません。とりわけ小さなモデルはゼロショットの能力が限られており、難問を解くまでに何度か探索的な試行を要することがあります。それでも応答は簡潔さの方向へ正則化したい。そこで私たちは、GRPO-LEAD [15] に基づく難易度を考慮した報酬定式化とアドバンテージの再重み付けを採用し、思考連鎖の長さと問題の複雑さの整合を高めています。

以下では、状態を s、行動を a、報酬を r と表記します。プロンプトごとに G 件の応答をサンプリングし、個々の生成 a_i はトークン単位の行動 a_i,ₜ から成るものとします。成果報酬は、長さを考慮した指数スケーリングにより次のように定義されます。

ここで、μ_G および σ_G は正答応答長のグループ平均と標準偏差を表します。

目的関数は、KL 正則化を用いず単一のオンポリシー更新を行う単純な方策勾配の枠組みのなかで、[15] のアドバンテージ再重み付けの定式化に従います。

ここで sg() は勾配停止演算子を表し、アドバンテージ A_i は次に基づいて重み付けされます。

ここで、ρ_G はグループ G（サンプル i に対応）の正答率を表します。

超過長の応答を大量にフィルタするのを避けるため、[16] の Elastic Reasoning に倣い、最終応答の生成を強制する前に明示的な推論予算を設定します。切り詰めていない推論トレースでのファインチューニングが成功した後は、切り詰められた推論トレースでも、強化学習の段階で最終応答の質を高めるのに十分な信号を含むことが多いと分かりました。得られるサンプルはプロンプト、推論トレース、最終回答から成り、

推論トレースは途中で切れている場合があり、最終回答も終端に達していない場合があります。

強化学習用データの配合

データセットは、いくつかの一般的なオープンソースデータセットのサンプルを組み合わせたものです。全体として、問題の難易度のバランスを取ること以上に、精緻な配合比率が性能を大きく左右することはありませんでした。GRPO に十分な学習信号を確保するため、SFT チェックポイントに基づく実測の正解率を評価し、最終的な配合には 4,096 トークンの生成予算で正解率 20〜80% となるサンプルのみを含めました。さらに大規模なデータセットからランダムにサブサンプリングし、以下の分布からなる 11,373 サンプルの配合としています。

ハイパーパラメータ

128 プロンプトのバッチをサンプリングし、各プロンプトに対して temperature 1.0、コンテキスト長 4,096 トークン、最終応答予算 1,024 トークンで 13 件の応答を生成します。最適化には AdamW を用い、学習率は 5e-6 の定数、KL 正則化は適用しません。GRPO-LEAD のパラメータは α = 0.05、k1 = 0.4、k2 = 1.1、k3 = 10、ρ0 = 0.75 としています。

評価

推論チェックポイントの性能を評価するため、GPQA Diamond、MATH500、AIME24、AIME25、AMC23 といった標準的な推論ベンチマークで検証しました。GPQA Diamond は生物・物理・化学の多様な問題を含み、他は数学に焦点を当てたものです。応答予算は、フルの 32k トークンと、エッジを想定した 4k トークンの 2 通りを検討しています。

表 3 は、32k 出力トークン予算での LFM-1.3B の各チェックポイントおよび他の小型推論モデルの性能を示しています。DeepSeek-R1-Distill-Qwen-1.5B は、数学データで特別に事前学習された Qwen2.5-Math [20] をベースに、長い CoT で教師ありファインチューニングされている点にご留意ください。数学特化の事前学習がないにもかかわらず、LFM-1.3B-Math はこれらの小型推論モデルと互角に渡り合います。特に、長い CoT による SFT で LFM-1.3B-Distill の平均性能は 14.08% から 59.87% へ大きく向上し、難易度の高い AIME サブセットでの好成績を含め、すべてのベンチマークで競争力のある性能に達しました。

小型の推論モデルは、応答が長すぎると表示や計算の制約（スマートフォンでのスクロールなど）によって体験を損ないかねないエッジ用途に特に適しています。理想的なモデルは、応答長を問題の難易度に的確に合わせ、フルのトークン予算では高い性能を、平均応答長は短く保ちます。

そこで表 4 では、応答長を 4k トークンに制限した条件を検討しました。ここでは大半のモデルで性能が大きく低下しており、長い CoT 推論への強い依存がうかがえます。この挙動を緩和するため、長さを制約した強化学習を用いて LFM-1.3B-Math を作りました。得られたモデルは制約条件下の性能を 30.9% から 46.98% へ大きく改善し（表 4）、無制約時の平均性能の低下はわずかにとどまりました（表 3）。図 2 に示す平均応答長の低下からも分かるとおり、冗長さも大幅に減っています。LFM-1.3B-Math は、応答長を問題の複雑さに丁寧に合わせながら、複雑な科学・数学の問題を解ける強力なエッジ向けモデルとして位置づけられます。

まとめ

LFM-1.3B-Math は、数学特化の事前学習に頼らずとも小規模言語モデルが競争力のある推論性能を達成できることを示しています。大規模な教師ありファインチューニングと、狙いを定めた強化学習を丁寧に組み合わせることで、汎用の 13 億パラメータモデルを、専用設計の対抗馬と互角に渡り合う推論者へと変えることができました。ここでは、厳選した思考連鎖データによる大規模な SFT が強い推論能力を引き出し、短期の強化学習が推論の連鎖を簡潔に保っています。

思い切った学習ハイパーパラメータ、難易度を考慮した報酬定式化、明示的な推論予算というこの組み合わせは、限られた応答予算のもとで高い性能を発揮するうえで欠かせないものでした。リソースの限られたエッジデバイスへの展開にとって理想的なトレードオフです。大きなモデルで観察される推論能力は、規模やドメイン特化の学習データだけに依存するのではなく、練られた学習レシピによって効果的に引き出せるのではないかと私たちは考えています。

参考文献

• [1] Liquid AI. “Liquid Foundation Models: Our First Series of Generative AI Models.” https://www.liquid.ai/blog/liquid-foundation-models-our-first-series-of-generative-ai-models (2024)
• [2] DeepSeek-AI et al. "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning." arXiv preprint arXiv:2501.12948 (2025).
• [3] Niklas Muennighoff et al. "s1: Simple test-time scaling." arXiv preprint arXiv:2501.19393 (2025).
• [4] Kanishk Gandhi et al. "Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs." arXiv preprint arXiv:2503.01307v1 (2025).
• [5] Ivan Moshkov et al. "AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset." arXiv preprint arXiv:2504.16891 (2025).
• [6] Akhiad Bercovich et al. "Llama-Nemotron: Efficient Reasoning Models." arXiv preprint arXiv:2505.00949 (2025). https://arxiv.org/abs/2505.00949.
• [7] Hugging Face. "GitHub - huggingface/open-r1: Fully open reproduction of DeepSeek-R1." 2025, https://github.com/huggingface/open-r1.
• [8] Etash Guha et al. "OpenThoughts: Data Recipes for Reasoning Models." arXiv preprint arXiv:2506.04178 (2025).
• [9] Dakuan Lu et al. "SCP-116K: A High-Quality Problem-Solution Dataset and a Generalized Pipeline for Automated Extraction in the Higher Education Science Domain." arXiv preprint arXiv:2501.15587 (2025). https://arxiv.org/abs/2501.15587.
• [10] Zhihong Shao et al. "Deepseekmath: Pushing the limits of mathematical reasoning in open language models." arXiv preprint arXiv:2402.03300 (2024).
• [11] Zichen Liu et al. "Understanding r1-zero-like training: A critical perspective." arXiv preprint arXiv:2503.20783 (2025).
• [12] Qiying Yu et al. "Dapo: An open-source llm reinforcement learning system at scale." arXiv preprint arXiv:2503.14476 (2025).
• [13] Arash Ahmadian et al. "Back to basics: Revisiting reinforce style optimization for learning from human feedback in llms." arXiv preprint arXiv:2402.14740 (2024).
• [14] Ronald J. Williams "Simple statistical gradient-following algorithms for connectionist reinforcement learning." Machine learning 8 (1992): 229-256.
• [15] Jixiao Zhang and Chunsheng Zuo. "Grpo-lead: A difficulty-aware reinforcement learning approach for concise mathematical reasoning in language models." arXiv preprint arXiv:2504.09696 (2025).
• [16] Yuhui Xu et al. "Scalable chain of thoughts via elastic reasoning." arXiv preprint arXiv:2505.05315 (2025).
• [17] Karl Cobbe et al. "Training verifiers to solve math word problems." arXiv preprint arXiv:2110.14168 (2021).
• [18] Dan Hendrycks et al. "Measuring mathematical problem solving with the math dataset." arXiv preprint arXiv:2103.03874 (2021).
• [19] Michael Luo et al. “DeepScaleR: Surpassing O1-Preview with a 1.5B Model by Scaling RL.” https://pretty-radio-b75.notion.site/DeepScaleR-Surpassing-O1-Preview-with-a-1-5B-Model-by-Scaling-RL-19681902c1468005bed8ca303013a4e2 (2025).
• [20] An Yang et al. “Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement.” arXiv preprint arXiv:2409.12122v1 (2024).
• [21] An Yang et al. "Qwen3 technical report." arXiv preprint arXiv:2505.09388 (2025).
• [22] Amrith Setlur et al. "e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs." ICML 2025 Workshop on Long-Context Foundation Models (2025).
• [23] Mingjie Liu et al. "ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models." arXiv preprint arXiv:2505.24864 (2025).