LFM2-24B-A2B：LFM2アーキテクチャのスケールアップ

本日、私たちの最大の LFM2 モデルである LFM2-24B-A2B の初期チェックポイントを公開します。このスパースな Mixture of Experts（MoE）モデルは、総パラメータ数 240 億、トークンあたり 20 億のアクティブパラメータを備えており、LFM2 アーキテクチャがより大規模なサイズへ効果的にスケールすることを示しています。

今回のリリースにより、LFM2 ファミリーは LFM2-350M から LFM2-24B-A2B まで、ほぼ 2 桁の規模にまたがることになりました。規模を一段上げるたびに、標準的なベンチマークで一貫した品質向上が得られています。LFM2-24B-A2B は 32GB の RAM に収まるよう設計しており、統合 GPU（iGPU）や専用 NPU を備えたコンシューマー向けノート PC やデスクトップを含め、クラウドからエッジまで幅広い環境に展開できます。

LFM2-24B-A2B はオープンウェイトで、現在 Hugging Face で公開しています。ローカルでの実行やファインチューニング方法についてはドキュメントをご確認いただくか、Playgroundで簡単にお試しください。

LFM2 MoEのスケールアップ

LFM2 は、効率的なゲート付きショート畳み込みブロックと少数の Grouped Query Attention（GQA）ブロックを組み合わせたハイブリッドアーキテクチャです。この設計は、ハードウェア・イン・ザ・ループによるアーキテクチャ探索を通じて開発され、低メモリコストで高速なプリフィルおよびデコードを実現します。LFM2-24B-A2B は、このバックボーンを Mixture of Experts 構成で適用しています。総パラメータ数は 240 億ですが、フォワードパスごとにアクティブとなるのは 23 億のみであり、推論時には 20 億規模の密なモデルのコストを大きく上回る性能を発揮します。

私たちは LFM2-8B-A1B と同様のレシピを採用しています。本モデルは、LFM2-8B-A1B と同じ隠れ次元（2048）およびアテンション構成を維持しつつ、深さとエキスパート数という 2 つの軸でスケールしています。層数は 24 層から 40 層へ、各 MoE ブロックあたりのエキスパート数は 32 から 64 へ拡張し、top-4 ルーティングを維持しています。アクティブパラメータを 20 億以内に抑えるため、各エキスパートはややスリム化されており（中間サイズは 8B の 1792 に対して 1536）、最初の 2 層は学習の安定性のために引き続き密な構成としています。また、アテンションと畳み込みの比率はおよそ 1:3（40 層中 10 層がアテンション）を維持し、LFM2 バックボーンの高速なプリフィルと低メモリ特性を保持しています。

このスケーリングのレシピは、より深くし、エキスパートを増やし、各エキスパートとアクティブ経路をスリムに保つことです。層を増やすことで、畳み込みブロックと GQA ブロックの両方にわたり、より豊かな表現を構築できるようになります。一方で、エキスパート数を倍増させることで、より細粒度なルーティングと専門化のための余地が広がります。重要なのは、これらの変更がトークンあたりの計算経路を増大させない点です。アクティブパラメータ数は約 1.5 倍（15 億 → 23 億）に増加する一方で、総パラメータ数は 3 倍（83 億 → 240 億）に拡大しています。アクティブパラメータではなく総パラメータに容量を集中させることで、モデルはエッジ環境に適した特性を維持します。推論レイテンシとエネルギー消費は小さなアクティブ経路に比例するため、さまざまなノート PC やデスクトップ PC での展開が可能です。

ベンチマーク

私たちは、推論トレースを含まない従来型のインストラクトモデルとして LFM2-24B-A2B を提供するために、軽量なポストトレーニング手法を採用しました。この方針を選択した理由は、インストラクト版をポストトレーニングする方が迅速であり、また思考バリアントよりもインストラクトモデルの方が一般的に人気が高い傾向にあるためです。

以下に、350M の密モデルから 24B の MoE まで、LFM2 ファミリー全体にわたるベンチマークの平均スコアを示します。

GPQA Diamond、MMLU-Pro、IFEval、IFBench、GSM8K、MATH-500 などのベンチマークにおいて、総パラメータ 350M から 24B へスケールするにつれて品質は対数線形に向上します。このおよそ 100 倍のパラメータ範囲は、LFM2 ハイブリッドアーキテクチャが予測可能なスケーリング挙動に従い、小さなモデルサイズで頭打ちにならないことを裏付けています。

高速・ユビキタス推論

LFM2-24B-A2B は、llama.cpp、vLLM、SGLang による推論を初日からサポートしています。CPU または GPU 上でそのまま実行でき、llama.cpp 向けの GGUF 形式では複数の量子化オプション（Q4_0、Q4_K_M、Q5_K_M、Q6_K、Q8_0、F16）が利用可能です。

私たちはLFM2-24B-A2Bを、同規模の人気MoEモデルであるQwen3-30B-A3B-Instruct-2507（総パラメータ30.5B、アクティブパラメータ3.3B）およびgpt-oss-20b（総パラメータ21B、アクティブパラメータ3.6B）と比較しました。AMD Ryzen AI Max+ 395上でllama.cppを使用し、これらのモデルのQ4_K_Mバージョンにおけるprefillおよびdecodeスループットの両方を測定しました。

異なるコンテキストサイズ（トークン数）において、100トークンを生成する際のdecodeスループット（トークン/秒）：

異なるコンテキストサイズ（トークン数）におけるprefillスループット（トークン/秒）：

また、単一の H100 SXM5 GPU 上で vLLM を使用して達成したスループット（総トークン数／実行時間）についても報告します。高スループットなサービングは、コスト効率の高いデプロイメントおよび RLVR ワークロードにおけるロールアウト生成の両方において極めて重要です。私たちの測定は、本番規模のサービングおよび RL ワークロードを想定した、現実的なプリフィルとデコードを交互に行うセットアップで実施しています。

私たちは、LFM2-24B-A2B を gpt-oss-20b および Qwen3-30B-A3B-Instruct-2507 と比較ベンチマークしました。単一の H100 SXM5 上で vLLM を使用した場合、LFM2-24B-A2B は 1,024 同時リクエスト（最大入力トークン 1,024／最大出力トークン 512）において約 26.8K トークン/秒を達成しました。これは、同程度の規模の MoE モデルを連続バッチ処理下で上回る性能であり、LFM2 アーキテクチャの優れたスループットスケーリング特性を示しています。

さらに私たちは、モバイルデバイスやエッジハードウェア上で LFM2 モデルを NPU で動かせるよう、ハードウェアパートナーと協力しています。トークンあたりの有効パラメータが 20 億にとどまる MoE 設計により、総パラメータ 240 億でもオンデバイス展開の有力な候補となります。

今後の予定

LFM2-24B-A2B はこれまでに 17 兆トークンでトレーニングされており、事前学習は現在も進行中です。事前学習が完了すると、追加のポストトレーニングおよび強化学習を施した LFM2.5-24B-A2B の公開を予定しています。

その間に、重みをダウンロードし、ノートパソコンやクラウド上で実行して、ぜひご意見をお聞かせください！

LFM2 ファミリーが Hugging Face で1,000 万ダウンロードを突破したことを嬉しくお知らせします！ぜひ今すぐオープンウェイトをダウンロードして、開発を始めましょう。

引用

本記事を引用する場合は、以下の形式をご使用ください。

Liquid AI, "LFM2.5-24B-A2B: Scaling Up the LFM2 Architecture", Liquid AI Blog, Feb 2026.

@article{liquidAI202624B,
  author = {Liquid AI},
  title = {LFM2.5-24B-A2B: Scaling Up the LFM2 Architecture},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/},
}