LFM2-VL：効率的なビジョン・ランゲージモデル

注：本モデルは旧世代のモデルです。LFM2.5-VL-450M および LFM2.5-VL-1.6B を公開しました。

本日、当社初のビジョン・ランゲージ基盤モデル「LFM2-VL」を発表します。これらのマルチモーダルモデルは、低レイテンシかつデバイス特性を考慮したデプロイ向けに設計されています。LFM2-VLは、オープンウェイトのLiquid Foundation Models（LFM）ファミリーをビジョン・ランゲージ分野へ拡張し、テキスト入力と可変解像度の画像入力をサポートします。

LFM2-VLは、スマートフォン、ノートPC、単一GPU環境からウェアラブルやその他の組み込みデバイスまで、幅広いデバイス環境に対応する実用的で柔軟なソリューションを提供します。本モデルは、既存のビジョン・ランゲージモデルと比べ、GPU上で最大2倍の推論速度を実現しつつ、高い性能を維持します。

LFM2-VLは、リソース制約の厳しい環境向けに設計された超効率的な LFM2-VL-450M と、より高性能ながら軽量な LFM2-VL-1.6B の2種類を用意しています。オープンソースエコシステムや、カスタマイズやマルチプラットフォームでのエッジデプロイに対応する LEAP に統合された効率的なソリューションです。

LFM2-VLの主な特徴

  • LFM2をベースにした新しい効率的モデル：LFM2-VL-450M と LFM2-VL-1.6B（リソース制約のある環境向けに設計）
  • GPU上での推論速度が2倍：既存のVLMと比較して、高い精度を維持しながら最大2倍の高速化
  • 柔軟なアーキテクチャ：推論時にユーザーが速度と精度のバランスを調整可能
  • ネイティブ解像度処理：最大 512×512 に対応し、大きな画像はパッチベースでインテリジェントに処理（アップスケーリングや歪みを回避）
Figure 1. Demo: LFM2-VL-450M identifying a tropical beach with cows on the shore.

アーキテクチャ

LFM2-VL は、言語モデルのバックボーン、ビジョンエンコーダ、マルチモーダルプロジェクタという 3 つの主要コンポーネントで構成されています。

Figure 2. LFM2-VL architecture and data flow.

言語モデルタワーでは、LFM2-VL は LFM2 バックボーンを基盤としており、LFM2-VL-1.6B では LFM2-1.2B、LFM2-VL-450M では LFM2-350M を継承しています。

ビジョンタワーでは、入力画像をトークン列に変換するために SigLIP2 NaFlex エンコーダを採用。2 種類のバリアントを実装しています：

  • Shape-optimized（400M）：より精細なビジョン能力を持ち、LFM2-VL-1.6Bに使用
  • Base（86M）：高速な画像処理に特化し、LFM2-VL-450Mに使用

エンコーダは、最大512×512ピクセルまでのネイティブ解像度で画像を処理し、小さい画像はアップスケーリングせず効率的に処理します。また、非標準のアスペクト比でも歪みなく対応可能です。

より大きな画像は、512×512 ピクセルの正方形パッチに重ならないよう分割し、詳細を保持します。LFM2-VL-1.6B では、グローバルな文脈理解と整合性を向上させるため、オリジナル画像を縮小して全体を把握できるサムネイルも入力します。各パッチの位置やサムネイルの開始位置は、特別なトークンでマークされます。

マルチモーダルプロジェクタでは、2 層 MLP コネクタと Pixel Unshuffle を実装し、画像トークン数を削減。これにより、品質を大きく損なうことなくスループットを向上させました。例えば、256×384 画像では 96 トークン、384×680 画像では 240 トークン、1000×3000 画像では 1,020 トークンが生成されます。

この柔軟なアーキテクチャにより、再学習なしで推論時の速度と精度のバランスを調整可能です。入力解像度に相当する画像トークンの最大数や画像パッチ数をユーザーが調整でき、特定のユースケースやレイテンシ要件に合わせて性能を最適化できます。

トレーニング

LFM2-VL は、LFM2 ベースモデルを基盤としています。ビジョンと言語の能力は、中間段階のジョイントトレーニングで融合され、この過程でテキストと画像データの比率を 95% から 30% へ段階的に調整します。

その後、画像理解に重点を置いたジョイントの教師ありファインチューニングを実施します。ビジョントレーニングデータには、大規模なオープンソースデータセットと社内の合成ビジョンデータセットを組み合わせ、多様なタスクに対するカバレッジのバランスを取っています。全体として、LFM2-VL は約 1,000 億のマルチモーダルトークンで学習されています。

評価

ベンチマーク

LFM2-VL は、複数の公開ビジョン・ランゲージベンチマークで評価しました。その結果、本モデルは高解像度画像の理解やマルチモーダル指示の追従において優れた性能を示し、その他のタスクにおいても強力な性能を維持しています。

モデル

LFM2-VL-1.6B

LFM2-VL-450M

InternVL3-2B

InternVL3-1B

SmolVLM2-2.2B

SmolVLM2-500M

RealWorldQA

65.23

52.29

65.10

57.00

57.50

49.90

MM-IFEval

37.66

26.18

38.49*

31.14*

19.42*

11.27*

InfoVQA (Val)

58.68

46.51

66.10*

54.94*

37.75*

24.64*

OCRBench

742

655

831

798

725

609

BLINK

44.40

41.98

53.10

43.00

42.30

40.70

MMStar

49.53

40.87

61.10

52.30

46.00

38.20

MMMU (Val)

38.44

33.11

48.70

43.20

41.60

34.10

MathVista

51.10

44.70

57.60

46.90

51.50

37.50

SEEDBench_IMG

71.97

63.5

75.00

71.20

71.30

62.2

MMVet

48.07

33.76

67.00

58.70

34.90

29.90

MME

1753.04

1239.06

2186.40

1912.40

1792.50

1448.30

テキスト

MMLU

50.99

40.16

64.80

49.80

-

-

表 1。ビジョン・ランゲージ評価のベンチマーク結果。

* InternVL3 および SmolVLM2 の MM-IFEval と InfoVQA（Val）のスコアは VLMEvalKit を用いて取得しました。

推論速度

私たちのモデルは推論速度において優れており、GPU 上で競合モデルの中で最速の性能を達成しています。評価では、1024×1024 の画像 1 枚と、「この画像を詳しく説明してください」のような短いプロンプトを組み合わせ、各モデルのデフォルト設定で 100 トークンの出力を生成するという典型的なワークロードを使用しました。この条件下で、LFM2-VL は同等モデルの中で最速のモデルと比べて最大 2 倍高速に動作し、かつ競争力のある精度を実現しています。

Figure 3. Processing time comparison across vision-language models.
Figure 4. Memory footprint (in GB) comparison across vision-language models.

LFM2-VLで構築する

LFM2-VL モデルは、本日より Hugging Face 上で利用可能で、Colab にファインチューニング用のサンプルコードを提供しています。これらのモデルは、Apache 2.0 に基づくオープンライセンスで公開されています。ライセンスにより、学術および研究目的での自由な利用が可能です。また、年間売上が 1,000 万ドル未満の小規模企業であれば商用利用も許可されます。この金額を超える場合は、商用ライセンス取得のため sales@liquid.ai までご連絡ください。ライセンスの詳細はこちらからご確認いただけます。

LFM2-VLモデルはオンデバイスでの効率性を重視して設計されているため、まずはお使いのデバイス上でプライベートかつローカルにテストすることを推奨します。現在、Hugging Face Transformers および TRL に対応しています。また、他の一般的な推論およびファインチューニングフレームワークへの統合に向け、コミュニティと積極的に協力しています。

エッジデプロイメント向けのカスタムソリューションにご興味がある場合は、営業チーム（sales@liquid.ai）までお問い合わせください。