LFM2.5-VL-DSpark：エッジからその先まで、視覚言語モデルを高速化

本日、LFM2.5-VL-3B 向けに、実験的な視覚言語モデル（VLM）用 DSpark ドラフトモデルを公開します。テキストベースの Liquid Foundation Models（LFM）向けに先日リリースした LFM2.5-DSpark ドラフターモデルと同様に、出力品質を変えることなく、メモリフットプリントのわずかな増加と引き換えにデコードを大幅に高速化します。デコードのスループットはGPU で最大 2.66 倍、エッジデバイスで最大 3.13 倍向上し、エンドツーエンドのスループットもそれぞれ最大 2.27 倍、2.62 倍向上しました。

本記事では、視覚言語ドラフターの学習方法、それがもたらす高速化、そしてエッジハードウェアにおけるビジョンワークロードでの投機的デコーディングの限界について説明します。

ビジョン向け DSpark モデルは Hugging Face で公開されており、llama.cpp、SGLang、MLX-VLM でサポートされています。

視覚言語モデルにおける投機的デコーディングの仕組み

ビジョン向けドラフターは、以前リリースした LFM2.5-DSpark ドラフターモデルとほぼ同じコンセプト [1] に基づいています。モデルの複数の層の隠れ状態を利用し、軽量なドラフターモデルで次の k 個のトークンを投機的に予測します。

Figure 1: DSpark for vision-language models.

ドラフターから見れば、入力のモダリティは関係ありません。トークンが隠れ層に到達する時点で、テキストも画像パッチも多次元テンソルとして表現されているからです。それらの状態が段落を表しているか画像を表しているかは、ドラフト計算にとって何の違いもありません。そのため、視覚言語モデルにもテキストベースのモデルとまったく同じ推論アルゴリズムを適用できます。

学習

ドラフターモデルの学習データミクスチャを選定するため、アブレーションを実施しました。最終的なミクスチャは、一般的な視覚言語タスクを含む教師ありファインチューニング（SFT）データで構成され、モデルが担うと想定されるワークロードに重点を置いた配分になっています。

ドラフターのアーキテクチャは、テキスト版 DSpark リリースのレシピを踏襲しました。簡略化した Attention のみのドラフトモデルを採用し、層数とブロックサイズは学習データの一部を用いたアブレーションで選定しています。コーパスで 10 エポック学習し、ターゲットとするビジョンベンチマーク全体での受理率を報告します。ターゲットハードウェアでの実験に基づき、4 層・ブロックサイズ 9 のドラフターに決定しました。推論時には、ハードウェアに応じてブロックサイズ 8 または 9 を推奨します（「推論」セクションを参照）。

得られたドラフターのパラメータ数は約 280M（表 1）で、デプロイするモデルのパラメータ数の増加はわずか 8.9% です。すべてのアブレーションと学習は、Liquid AI の学習フレームワークを用いてAMD ハードウェアのみで実行しました。

コンポーネント

LFM2.5-VL-3B

デコーダスタック（4 層）

193.0M

隠れ状態プロジェクション

21.0M

マルコフヘッド

65.5M

正規化層 + 信頼度ヘッド

6.4k

合計

279.5M

表 1：ドラフトモデルのサイズ。埋め込み層と LM ヘッドはターゲットと共有されており、ドラフト側には含まれません。

推論

LFM2.5-VL-3B 向けの DSpark ドラフトモデルは、リリース初日から推論エコシステム全体でサポートされています。

  • llama.cpp — 効率的なエッジ推論のための GGUF チェックポイント
  • MLX-VLM — Apple Silicon 向けに最適化された推論
  • SGLang — 高性能な GPU サービングフレームワーク

掲載している推論の数値はすべて、エンコーダと言語バックボーンの両方を 16 ビットで処理したものです。量子化モデルの高速化は今回のリリースの対象外です。すべての計測は、Liquid AI が公開しているデバイス性能データと同じベンチマーク基盤である Pipette で収集しました。

どちらの構成も、MMSpec ベンチマーク [2] に従い、6 種類の多様なビジョンタスク（General VQA、Text VQA、Image Captioning、Chart VQA、Complex Reasoning、Multi-turn Conversation）で評価しています。

オンデバイス推論。オンデバイスのスループットは、M5 Max 搭載の MacBook Pro 上の MLX-VLM と M3 Ultra 上の llama.cpp で、FP16 重み、バッチサイズ 1、温度 0、ブロックサイズ 8、最大 2,048 出力トークン（回答長の中央値は 90 トークン）の条件で測定しました。

投機的デコーディングにより、両スタックとも 6 つのタスクカテゴリすべてでスループットが向上しました。M5 Max 上の MLX では、タスクに応じてデコードが 2.30〜3.13 倍高速化し、エンドツーエンドのレイテンシは 1.56〜2.62 倍改善しました。M3 Ultra 上の llama.cpp では、デコードが 1.57〜2.14 倍、エンドツーエンドが 1.30〜1.77 倍改善しています。受理率は両スタックで同程度の範囲に収まり、1 回の検証パスあたりおよそ 3.2〜4.5 トークンでした。これは、受理率がハードウェアやランタイムではなく、ドラフターとワークロードに依存することを示しています。

GPU 推論。GPU のスループットは、単一の H100 80GB 上の SGLang で、BF16、バッチサイズ 1、温度 0、ブロックサイズ 9 の条件で測定しました。

同じドラフターにより、H100 ではデコードが 2.04〜2.66 倍高速化し、エンドツーエンドでは 1.64〜2.27 倍改善しました。受理率は 1 回の検証パスあたり 3.46〜4.57 トークンです。

インタラクティブ性

DSpark の効果はバッチサイズ 1 にとどまらず、高い同時実行数でも持続します。ここでは、同時実行数の変化に伴うシステム全体の総スループットと、各ユーザーが体感する生成速度とのトレードオフを捉えたスループットとインタラクティブ性のフロンティアを評価します。同時実行数を増やすと演算強度が高まり、デコードフェーズはメモリ律速から計算律速の領域へと徐々に移行します。DSpark はターゲットモデルの 1 回のパスで複数のドラフトトークンを検証するため、演算強度はブロックサイズに比例して増加します。

図 5 に示すとおり、同時実行数が増えるにつれて差は縮まるものの、DSpark は測定したすべての同時実行レベルでスループットの優位性を維持しています。すべてのテストは、固定の検証ウィンドウを使用し、単一の H100 上の SGLang で実行しました。

サンプリングが速度と品質に与える影響

温度が 0 でない場合、ドラフターは自身の分布からトークンをサンプリングし、ターゲットはそれを受理するか、補正した代替トークンを引き直します。サンプリング設定が一致していれば、投機的デコーディングはターゲットモデルから直接サンプリングした場合と分布的に等価であり [3]、したがって出力はロスレスです。

温度を上げたときに影響を受けるのは受理率であり、ひいてはスループットです。温度が低いと、ドラフターとターゲットは同じ上位トークンに集中する傾向があります。温度が上がると、確率質量はより下位の候補トークンへと広がり、そこでは両モデルの予測が食い違いやすくなります。今回の実験では、温度の上昇によって受理率が低下し、その結果スループットにも悪影響が生じました。

エッジにおけるビジョンワークロードでの投機的デコーディングの限界

大規模言語モデル（LLM）の推論では、プリフィルはおおむね計算律速であり、そのコストはプロンプト長に対して（準）二次的に増加します。VLM の推論ではプリフィルのコストがさらにかさみます。画像はまずビジョンエンコーダを通過する必要があり、その後、言語バックボーンはエンコーダが生成する数百もの視覚トークンをテキストプロンプトとあわせて処理しなければなりません。

この問題は、データセンター向け GPU に比べて計算スループットが大幅に低いエッジデバイスでより深刻になります。その結果、エンドツーエンドのレイテンシに占めるプリフィルの割合が大きくなります。これは、Apple silicon と H100 における最初のトークンまでの時間とデコードの測定結果に最も明確に表れています。新しい Apple silicon では、M5 の各 GPU コアにニューラルアクセラレータが追加されたことで、この差が部分的に縮まっています [4]。

投機的デコーディングが高速化するのは LLM 推論のデコードフェーズのみで、ビジョンエンコーディングとプリフィルは変わりません。これらの段階がすでに実時間のかなりの割合を占めている場合、デコードを大幅に高速化しても、エンドツーエンドのレイテンシの改善はわずかにとどまります。これはアムダールの法則の典型例であり、全体の高速化は高速化されない部分によって上限が決まります。

今すぐ始める

ビジョン向け DSpark ドラフトモデルは、Hugging Face で Safetensors 形式と GGUF 形式で提供しています。

LFM2.5 によって、私たちはどこでも動作する AI というビジョンを実現しつつあります。これらのモデルの特長は次のとおりです。

  • オープンウェイト — 制限なくダウンロード、ファインチューニング、デプロイが可能です。
  • 初日から高速 — llama.cpp、MLX、SGLang にリリース初日から対応しています。
  • 充実したモデルファミリー — カスタマイズ用のベースモデルから、音声・ビジョンに特化したバリアントまで、1 つのアーキテクチャで多様なユースケースに対応します。

皆さんがどんなものを作るのか、楽しみにしています。

hugging face logo liquid AIHugging Face でダウンロードpipette open source model benchmark小規模モデルのオンデバイス性能が気になりますか？ Pipette をご覧ください。

引用

引用する際は、以下の参考文献または BibTeX をご利用ください。

Liquid AI, "LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond", Liquid AI Blog, Sep 2026.

@article{liquidAI2026vldspark,
  author = {Liquid AI},
  title = {LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm2-5-vl-dspark},
}

参考文献

  1. [1]Cheng et al. (2026). DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation. https://arxiv.org/abs/2607.05147
  2. [2]Shen et al. (2026). MMSpec: Benchmarking Speculative Decoding for Vision-Language Models. https://arxiv.org/abs/2603.14989
  3. [3]Leviathan et al. (2023). Fast Inference from Transformers via Speculative Decoding. The equivalence proof appears in Appendix A.1, “Correctness of Speculative Sampling.”  https://arxiv.org/abs/2211.17192
  4. [4]Apple Machine Learning Research (2025). Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU.