本日、量子化認識蒸留（Quantization-Aware Distillation、QAD）で学習した LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6B の 4 ビットチェックポイントの更新版をリリースします。QAD は、高精度の教師モデルを量子化された生徒モデルへ蒸留する手法です。これらのチェックポイントは、Q4_0 GGUF の小さなメモリフットプリントと高いスループットを維持しながら、量子化によって失われた精度の大部分を回復しています。4 モデルとも、BF16 の平均スコアのおよそ 97% に到達しています。

QAD 版の GGUF は、本日より Hugging Face で公開しています：LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6B。

ベンチマーク

4 モデルすべてについて、学習後量子化（PTQ）で作成した既存の GGUF と、学習済みの QAD Q4_0 チェックポイントを、推論、指示追従、ツール使用、エージェント能力にわたるベンチマークスイート（GPQA Diamond、MMLU-Pro、IFEval、IFBench、Multi-IF、BFCLv4）で比較しました。BF16 GGUF は、同一フォーマット内での上限として扱います。さらに、モデル規模に応じた数学の評価を 1 つ追加しています。LFM2.5-230M と LFM2.5-350M には GSM8K、LFM2.5-1.2B-Instruct と LFM2.5-2.6B には AIME25 を用いました。スコアは 5 回の試行の平均値です。

モデルサイズを問わず、QAD は Q4_0 チェックポイントを大幅に改善します。回復幅は概して、PTQ Q4_0 による相対的な品質低下が大きい小型モデルほど大きくなります。回復度は、BF16 と Q4_0 の品質差のうち QAD が埋めた割合として定量化しています。QAD は LFM2.5-230M で差の 70.6%、LFM2.5-350M で 73.4%、LFM2.5-1.2B で 65.5%、LFM2.5-2.6B で 48.4% を埋めました。その結果、各チェックポイントはそれぞれの BF16 ベースラインの性能の 97.1%、96.5%、97.4%、96.6% を維持しています。

展開におけるトレードオフ

この回復を実際の展開の観点から位置づけるため、7 タスクの平均ベンチマークスコアと、4 つのハードウェアバックエンドで測定した llama.cpp のデコードスループット（tok/s）をプロットしました。2 つのチェックポイントは GGUF フォーマット、テンソルレイアウト、ランタイムパスがすべて同じであるため、QAD Q4_0 には通常の Q4_0 のスループットを使用しています。

• MacBook Pro：Apple M5 Max での GPU 推論。256 トークンのプロンプトをプリフィルした後に 100 トークンを生成。BF16 と F16 の参照点も示しています。
• NucBox EVO-X2：AMD Ryzen AI Max+ 395 での GPU 推論。256 トークンのプロンプトをプリフィルした後に 100 トークンを生成。BF16 と F16 の参照点も示しています。
• Samsung Galaxy S26 Ultra：Qualcomm Snapdragon 8 Elite Gen 5 での Arm CPU 推論。256 トークンのプロンプトをプリフィルした後に 100 トークンを生成。BF16 と F16 の参照点を示しており、実用上のフル精度の基準としては F16 を用いています。
• Raspberry Pi 5：Broadcom BCM2712 での Arm CPU 推論。230M、350M、1.2B モデルについては、プリフィルなしで 32 トークンを生成する短いデコードのみの実行でスループットを測定し、フル精度の基準には F16 を用いています。

LFM2.5-230MLFM2.5-350MLFM2.5-1.2BLFM2.5-2.6B

本来、Q4_0 は 4 ビットフォーマットの中で品質が最も低く、一方で今回のすべてのバックエンドで最も高速です。QAD が狙うのはまさにこのトレードオフです。QAD Q4_0 は、230M と 350M では実行ごとのばらつきの範囲内で Q5_K_M と同等の品質を示し、1.2B でも 0.5 ポイント以内に迫りながら、より小さく高速なままです。

また、標準的な 4 ビットの選択肢である Q4_K_M を上回り、強力な外部の学習後量子化チェックポイントである Unsloth の UD-Q4_K_XL と同等の性能を示しています。

はじめる

QAD 版の GGUF は、本日より Hugging Face で公開しています：LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6B。

引用

引用の際は、以下の参考文献または BibTeX をご利用ください：

@article{liquidAI2026Q40,
  author = {Liquid AI},
  title = {LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/qad},
}