LFM2.5-Encoders：長文脈でも、CPU でも速い

本日、2 つの新しいエンコーダモデルを公開します。LFM2.5-Encoder-230M と LFM2.5-Encoder-350M。いずれも LFM2 ハイブリッドアーキテクチャに基づく双方向エンコーダで、分類、自然言語理解、トークン単位のタスク向けにファインチューニングして使うことを想定しています。これらのタスクでは、より大きなエンコーダに匹敵する品質を保ちながら、入力長に対するコストの増え方がずっと緩やかで、最大 8,192 トークンのコンテキストまで対応します。そのため、CPU のみの環境を含め、お手元のハードウェアで文書規模の処理を高速に実行できます。

LFM2.5-Encoder-230M と LFM2.5-Encoder-350M の各モデルは本日より Hugging Face で公開しています。ローカルでの実行とファインチューニングの方法は、ドキュメント をご覧ください。

なぜ汎用エンコーダなのか

先月、私たちは LFM2.5-Retrievers という、多言語の検索タスク向けに構築した 2 つのモデルを公開しました。LFM2.5-Encoders は同じ LFM ファミリーの近縁ですが、より広い目的のために作られています。先の LFM2.5-Retrievers が検索タスク向けに学習されていたのに対し、LFM2.5-Encoders はマスク言語モデリングの目的関数で事前学習されており、分類、トークン単位のタスク、検索を含む幅広い下流タスクに適応できます。検索はエンコーダにできることの一部にすぎないため、既存のリトリーバを新しいタスクに適応させるのではなく、汎用エンコーダを新たに構築することにしました。

分類器、意図ルーター、セーフティフィルタは、いずれもエンコーダの上に成り立っています。これらは常時稼働し、多くの場合 GPU ではなく CPU で動き、扱う入力は年々長くなっています。この形を最初に確立したのは BERT [1] であり、ModernBERT [2] のような近年の成果は、精度・速度・コンテキスト長にまだ大きな改善余地があることを示しました。LFM2.5-Encoders は、入力が長くなってもコストの増加が緩やかな LFM2 アーキテクチャの上で、その流れを引き継ぐものです。その結果、GPU がなくても高速なまま、文書規模の理解が可能になります。

アーキテクチャ

本エンコーダは LFM2 のハイブリッド基幹構造をベースにしており、それぞれ LFM2.5-230M と LFM2.5-350M から初期化されています。この因果的デコーダを双方向エンコーダへ変換するにあたり、加えた変更はごくわずかです。

  1. We 因果的アテンションマスクを双方向マスクに置き換え、すべてのトークンが左右両方の文脈を参照できるようにしました。
  2. We LFM2 の短距離畳み込みを非因果的にし、対称的な中央パディングを用いて各トークンの周囲の局所情報を混合するようにしました。実際には、各トークンの短距離畳み込みが、それ以前のトークンだけでなく両隣から情報を読み取るようになります。
  3. 学習には マスク言語モデリングの目的関数を用い、トークンの 30% をマスクします。BERT の 15% より高い比率ですが、この規模ではより高いマスク率が有効だという知見 [3] に従っています。

両モデルとも 2段階のプロセス：フェーズ 1 では、大規模にパックしたウェブコーパス上で 1,024 トークンの短いコンテキストのマスク言語目的関数を用い、一般的な言語能力を確立します。フェーズ 2 は長文脈への適応フェーズで、全データ配合を使ってコンテキストを 8,192 トークンへ拡張し、事実知識、法務、多言語の能力を強化します。

ベンチマーク

各ベンチマークタスクについては、教師ありファインチューニングを完全に実施し、そのファインチューニング済みモデルのスコアを報告しています。以下の結果は、GLUE、SuperGLUE、および多言語分類タスクからなる 17 タスクにわたる 14 モデルを対象としています。

学習率はタスクごとに学習率の選定専用に確保したシードで選定し、その選定に一切関与していない 5 つの新しいシードでの平均を報告しているため、実行ごとの数値が安定します。フレームワーク一式、タスクごとのランチャー、生の結果は オープンソースで公開.

LFM2.5-Encoder-350M は 14 モデル中 4 位で、上位はいずれもより大きなモデル 3 つのみ。そのなかにはおよそ 10 倍規模の 3.5B モデルも含まれます。LFM2.5-Encoder-230M は、そのほとんどより小さいにもかかわらず、ModernBERT-base とすべての EuroBERT [4] を上回りました。両 LFM2.5-Encoder は、これらのタスクで自社の LFM2.5-Retrievers も大きく上回っています。リトリーバを流用せず汎用エンコーダを構築したのは、まさにこのためです。

推論

LFM2 の基幹構造は高速な推論のために設計されており、本エンコーダもその特性を受け継いでいます。エンコーダにとっての速度とは、入力を結果に変えるまでの速さであり、これは入力長に左右されます。LFM2.5-Encoders と ModernBERT はどちらも 8,192 トークンのコンテキストをネイティブにサポートするため、対応範囲の全域で速度を比較できます。

本エンコーダの優位が最も大きく出るのは CPU です。ここでは LFM2.5-Encoder-230M が 1K トークン以上のすべての領域で最速で、入力が長くなるほど差が広がります。ModernBERT の 2 モデルはスループットが長さとともに急激に落ちる一方、LFM2.5-Encoders は中程度の長さでピークに達してから緩やかに下がるため、先行したまま差を保ちます。入力が長くなるほど差は開き、8,192 トークンでは ModernBERT-base が順伝播 1 回に 1 分半以上かかるのに対し、LFM2.5-Encoder-230M は約 28 秒、およそ 3.7 倍の速さです。

GPU でも同様の傾向が、より小さな差で見られます。Apple GPU では、約 1K トークン未満では ModernBERT-base が優位ですが、2K 付近から LFM2.5-Encoders が逆転し、コンテキスト長とともに差が広がります。

本番規模のエンタープライズ導入に向けては、極めて低いレイテンシで提供できる社内 GPU 推論スタックも開発しました。あらゆる並列度において、LFM2.5-Encoders は非常に低いエンドツーエンドのレイテンシを実現しています。

CPU でも GPU でも結論は同じです。長い入力においては LFM2.5-Encoders の方が速く、CPU では圧倒的に速い。エンコーダを動かすのが最も難しい場所で実用的になるのは、まさにこの点によります。

実際に動かしてみる

性能とレイテンシの結果は、LFM2.5-Encoders が長い入力を扱う用途、とりわけ CPU 上で最も力を発揮することを示しています。この組み合わせが特に重要になるのは、次の 3 つの場面です。

  • エッジおよび組み込みデバイス 車載コンピュータ、産業用コントローラ、コンシューマ機器に余っている GPU があることはまれで、クラウドへの往復も許されない場合が多くあります。コンパクトなエンコーダなら、意図ルーティング、コマンド分類、コンテンツフィルタリングを、すでにそこにある CPU 上で直接こなせます。
  • 規制産業およびオンプレミスのシステム 金融、医療、法務の現場では文書が長く機微であり、社内インフラの外に出せないことがしばしばあります。8,192 トークンのコンテキストはおよそ 13〜15 ページ分に相当するため、LFM2.5-Encoders なら 1 回の順伝播で契約書全体を分類したり、記録からフィールドを抽出したり、案件を CPU 上で振り分けたりでき、パイプライン全体を社内に閉じたまま運用できます。
  • 大量処理かつコストに敏感なパイプライン 小型のエンコーダは、大きなモデルの手前に置く安価な一次判定として機能し、リクエストを絞り込んだり優先度をつけたりすることで、高価なモデルが本当に必要なときだけ動くようにします。CPU 上で大規模に運用すれば、その節約は急速に積み上がります。

ベースのエンコーダが生成するのは汎用的な表現であってタスクの出力ではないため、用途ごとにファインチューニングが必要です。ファインチューニングのチュートリアルでは、8k コンテキスト構成で長い法務文書に対してエンコーダをファインチューニングする例をご紹介しています。

その様子をお見せするため、ファインチューニングした LFM2.5-Encoders から以下のデモを作りました。いずれも CPU のみの Hugging Face Space 上で動作するので、今すぐご自身のテキストでお試しいただけます。

ゼロショットのプロンプトルーティング

ゼロショット・プロンプトルーティングのデモ では、振り分け先を自由なテキストで定義できます。モデルはプロンプト全体を 1 回の順伝播で読み取り、GLiNER 方式かつ文全体の単位で各振り分け先に対してスコアを付けます。固定の分類体系はないので、ご自身のカテゴリを入力すれば、そのとおりに振り分けます。

ゼロショットのポリシーチェック

ゼロショット・ポリシーリンターのデモ は、自由テキストで書かれた自社ルールに照らしてテキストを検査します。「競合他社への言及にフラグを立てる」といったルールを追加すれば、エンコーダが 1 回の処理ですべてのトークンをすべてのルールに対して評価します。

スペルチェック

スペルチェッカーのデモは、動詞の形の誤り、重複、代名詞の誤用など、綴りや文法の誤りを検出します。

個人を識別できる情報（PII）の検出

個人情報検出のデモ は、16 言語にわたって 40 種類の個人情報を検出し、除去できます。

おまけ：マスク拡散によるテキスト生成

おまけとして、マスク拡散チャットのデモ では、双方向 MLM エンコーダをマスク拡散型チャットボットとして動かしています。回答はマスクからのノイズ除去によって現れ、左から右へ予測するのではなく、反復的にマスクを外すことでテキストを生成します。エンコーダの意外な使い方であり、双方向 MLM に何ができるのかを示す実例です。

LFM2.5-Encoders を使ってみる

両モデルは Hugging Face で公開しています：LFM2.5-Encoder-230M と LFM2.5-Encoder-350M。精度を最優先する場合は 350M を、ハードウェアの制約が厳しい場合やスループットを重視する場合は 230M をお選びください。いずれもご自身のデータでファインチューニングして使うことを前提に設計されています。

LFM2.5-Encoder の各モデルは、いずれも次の形で提供されます。

  • オープンウェイト。 制約なくダウンロード、ファインチューニング、デプロイできます。
  • 再現可能。 スイープ用ハーネス一式、セルごとのランチャー、生の結果 JSON、表生成スクリプトは次でオープンソース公開しています：github.com/Liquid4All/encoder_eval.
  • モデルファミリー。 2 つのサイズをご用意しているので、導入先の要件に応じて精度とフットプリントを選べます。

エッジ AI の未来はすでにここにあります。皆さんが何を作るのか、楽しみにしています。

引用

Liquid AI, "LFM2.5-Encoders: Fast at Long Context, Even on CPU", Liquid AI Blog, Jul 2026

@article{liquidAI2026Encoders,
  author = {Liquid AI},
  title = {LFM2.5-Encoders: Fast at Long Context, Even on CPU},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm2-5-encoders},
}

参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL. https://aclanthology.org/N19-1423/

[2] Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, and Iacopo Poli. (2024). Smarter, better, faster, longer: A modern bidirectional encoder for fast, memory efficient, and long context finetuning and inference. ACL. https://aclanthology.org/2025.acl-long.127/

[3] Alexander Wettig, Tianyu Gao, Zexuan Zhong, and Danqi Chen. (2023). Should you mask 15% in masked language modeling? EACL. https://aclanthology.org/2023.eacl-main.217/

[4] Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, and Pierre Colombo. (2025). EuroBERT: Scaling multilingual encoders for European languages. COLM. https://openreview.net/forum?id=jdOC24msVq