LFM2.5リトリーバー：高速な多言語検索のための双方向LFM

本日、新しい多言語検索モデル「LFM2.5-ColBERT-350M」と「LFM2.5-Embedding-350M」の2つをリリースします。どちらも3.5億パラメータのモデルで、3月に公開した LFM2.5-350M-Base を基盤とする、LFM ファミリー初の双方向モデルです。11言語にわたる高速かつ信頼性の高い多言語・クロスリンガル検索向けに構築されており、ほぼあらゆる環境で実行できるほど小さなフットプリントを備えています。

これらのモデルは、製品カタログ、FAQナレッジベース、サポートドキュメントなど、言語をまたいで迅速・低コスト・高い信頼性で検索する必要があるコレクションに特に適した、ショートコンテキスト検索向けのモデルです。

2つのモデルは、それぞれ異なるニーズに対応します。

• LFM2.5-Embedding-350Mは、各ドキュメントを単一のベクトルに変換します。最速の検索と、最小かつ最も低コストなインデックスが必要な場合に適しています。
• LFM2.5-ColBERT-350Mは、ドキュメント全体を単一のベクトルにするのではなく、各トークンをベクトルに変換します。これにより、クエリを語ごとに照合できるため、より高い精度と優れた汎化性能が得られますが、その分インデックスは大きくなります。ストレージよりも精度を重視する場合に適しています。

LFM2.5-Embedding-350MLFM2.5-ColBERT-350M

アーキテクチャの更新

両モデルは、中間学習済みの汎用チェックポイントである LFM2.5-350M-Base をベースに構築されています。LFM2 アーキテクチャに少数の双方向化パッチを適用し、因果デコーダから双方向エンコーダへと適応させています。

因果型の設定では、各トークンは自身とその前にあるトークンの情報しか利用できません。これは左から右への生成には理想的ですが、検索には必ずしも自然ではありません。そこで、因果注意マスクを双方向マスク（下図左）に置き換え、すべてのトークンが左右両方の文脈に注意を向けられるようにしました。また、LFM2 の短い畳み込みを非因果型（下図右）にすることで、過去の情報だけでなく、各トークンの周囲にある局所的な情報を対称的に混合できるようにしています。これにより、LFM2 バックボーンの効率性を維持しつつ、検索タスクに必要なフルコンテキスト表現を生成できます。

この共有双方向エンコーダを起点として、2つのモデルはテキストの表現方法のみが異なります。LFM2.5-Embedding-350MはCLSスタイルのプーリングを使用して単一の密な埋め込みを生成する一方、LFM2.5-ColBERT-350MはMaxSimによる後期相互作用のために、コンパクトなトークン単位の埋め込みを保持します。

LFM2-ColBERT-350Mと比較すると、今回のリリースでは、より新しいLFM2.5チェックポイントを使用し、対応言語を拡大し、明示的な多言語およびクロスリンガル検索学習を追加しています。あわせて、同じバックボーンと学習レシピから構築したバイエンコーダも導入しています。

学習とデータ

両モデルは、同じ3段階の学習レシピに従っています。(1) 英語での大規模な対照事前学習、(2) 強力な教師モデルからの多言語およびクロスリンガル蒸留（対応する全11言語にわたって実施）、(3) ハードマイニングされたネガティブを用いた最終ファインチューニングです。この段階的な構成は、広範な対照事前学習とその後の特化段階を分離している LightOn の LateOn および DenseOn のリリースからも着想を得ています。

LFM2.5-Embedding-350M には、LFM2.5-ColBERT-350M よりもやや多くのクロスリンガルデータを与えています。これは、クロスリンガル検索が後期相互作用の設定ではより自然に現れ、追加の教師ありデータから得られる効果が比較的小さいためです。

学習データは、キュレーションされた社内データとオープンソースの英語検索データセットを組み合わせたものです。第2および第3の学習段階で使用する多言語・クロスリンガルペアを拡張するため、クエリとドキュメントの LLM ベースの翻訳を活用しています。

ベンチマーク

対応する全11言語（アラビア語、ドイツ語、英語、スペイン語、フランス語、イタリア語、日本語、韓国語、ノルウェー語、ポルトガル語、スウェーデン語）にわたる詳細なベンチマーク結果を報告します。評価では、NanoBEIR による多言語検索と、MKQA-11 によるクロスリンガルなオープンドメイン QA という2つの能力に焦点を当てています。これらを組み合わせることで、モデルが言語内でも、言語の境界を越えても、関連するドキュメントを検索できるかを検証します。

全体として、LFM2.5-Embedding-350M と LFM2.5-ColBERT-350M はいずれも、多言語およびクロスリンガル性能において同クラス最高水準の結果を示しています。結果は対応する全11言語で一貫して競争力があり、英語以外の言語においても検索品質が堅牢であることを示しています。

LightOn の研究とは異なり、私たちは NanoBEIR English が十分な評価シグナルを提供すると考えています。評価したモデル全体で、NanoBEIR English と、より高コストなフル BEIR は高い相関を維持しており、NanoBEIR のスコアはほぼ一貫して約 15% 高くなります。そのため、学習を反復する際には、NanoBEIR をフル BEIR の実用的な代理指標として使用しています。

推論

実運用で重要となる検索レジームにおいて、エンドツーエンドのレイテンシを評価します。具体的には、キャッシュ済みドキュメントを用いたクエリ埋め込み、クエリ埋め込み＋MaxSim、そしてドキュメントがキャッシュされていない場合のクエリ埋め込み＋ドキュメント埋め込み＋MaxSimです。

ポータブルなデプロイメント向けに、LFM2.5-ColBERT-350M-GGUF と LFM2.5-Embedding-350M-GGUF を llama.cpp 向けにリリースします。これにより、モデルはほぼあらゆる環境（CPU、ラップトップ、エッジデバイス）で、ほぼゼロコストかつ魅力的なレイテンシで実行できます。

大規模な本番品質のエンタープライズデプロイメント向けには、大量のリクエストが来る状況でも極めて低レイテンシなサービングを実現する社内 GPU スタックも開発しています。

独自モデルの学習

これらのモデルはそのままでも高い性能を発揮しますが、ドメイン固有の検索に合わせて、いずれかのモデルを独自データでファインチューニングすることをお勧めします。特に LFM2.5-Embedding-350M については、Hugging Face のモデルカードに sentence-transformers を使用した簡単なファインチューニングスニペットが用意されていますので、ご参照ください。

ご利用にあたって

LFM2.5-ColBERT-350M と LFM2.5-Embedding-350M は、本日より Hugging Face で公開しています。エンタープライズ規模で検索をデプロイしたいチームは、詳細についてお問い合わせください。

Hugging Face で LFM2.5-Embedding-350M をダウンロード

Hugging Face で LFM2.5-ColBERT-350M をダウンロード

ColBERT モデルを試す

引用

本記事は、以下の参考文献または BibTeX を用いて引用してください。

@article{liquidAI2026Retrievers,
  author = {Liquid AI},
  title = {LFM2.5 Retrievers: Bi-directional LFMs for Fast Multilingual Search},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm2-5-retrievers},
}