LFM2-ColBERT-350M：1つのモデルですべてを埋め込む

2025年10月28日

注：本モデルは旧世代のモデルです。2026 年に LFM2.5-ColBERT-350M を公開しました。

本日、優れた多言語性能を備えたレイト・インタラクション・レトリーバー LFM2-ColBERT-350M をリリースしました。文書を 1 つの言語（たとえば英語の製品説明）で保存したまま、複数言語（スペイン語、ドイツ語、フランス語など）のクエリからでも高い精度で文書を検索できます。また、効率的な LFM2 バックボーンにより、2.3 倍小さいモデルと同等の極めて高速な推論速度を実現しています。

なぜレイト・インタラクションなのか？

埋め込みモデルは、大きく次の 3 つのファミリーに分類できます。

BERT のようなバイエンコーダーは、クエリとドキュメントを個別にエンコードし、類似度スコアを計算します。高速でスケーラブルですが、トークンレベルのきめ細かいインタラクションが失われるため、微妙な用語の一致などの重要なシグナルが埋もれてしまうことがよくあります。
リランカー（またはクロスエンコーダー）は、クエリとドキュメントを共同でエンコードし、クエリトークンとドキュメントトークン間で完全なアテンションベースの相互作用を可能にします。精度は高い一方で、規模が大きくなると計算コストが非常に高くなります。
レイト・インタラクション・レトリーバーは、精度を高めるため、クエリとドキュメントをトークンレベルで個別にエンコードします。クエリ時には、クエリとドキュメントの埋め込みトークン（MaxSim など）を比較してスコアを集計します。

レイト・インタラクション・レトリーバーが特に興味深いのは、クロスアテンションの表現力を多く保持しながら、（事前計算により）高い効率性も両立できる点です。実際には、（バイエンコーダーのように）大規模にドキュメントを取得する用途と、同時にドキュメントをランク付けする用途（リランカーのような役割）の両方で活用されています。

評価

LFM2-ColBERT-350M を、500M 未満のパラメータカテゴリにおける現時点で最高クラスのレイト・インタラクション・レトリーバーである GTE-ModernColBERT-v1（1億5,000万パラメータ）と比較しました。

また、NanoBEIR ベンチマークを日本語・韓国語を含む形で拡張しました。再現性のため、このデータセットを Hugging Face 上でオープンソース化しています：LiquidAI/nanobeir-multilingual-extended。この NanoBEIR ベンチマークでは、LFM2-ColBERT-350M は英語の性能を維持しながら、より強力な多言語性能（特にドイツ語、アラビア語、韓国語、日本語）を示しています。

さらに興味深いことに、LFM2-ColBERT-350M は優れたクロスリンガル・レトリーバーでもあります。つまり、別言語のクエリに基づいて文書を取得できるということです。これは、文書が英語で、クエリが別言語であるケースが多い e コマースなどのクライアント向けアプリケーションに最適です。

これは、NanoBEIR における以下の NDCG@10 スコアが示すように、英語、フランス語、スペイン語、イタリア語、ポルトガル語、ドイツ語で特に効果的です。

Document language / Query language	ar	de	en	es	fr	it	ja	ko	pt
ar	0.490481	0.28804	0.338989	0.302909	0.303996	0.286204	0.356865	0.337925	0.291165
de	0.382889	0.562897	0.547297	0.498391	0.501828	0.488725	0.424428	0.368002	0.485573
en	0.416114	0.55357	0.661226	0.552827	0.550861	0.52218	0.476901	0.395041	0.53475
es	0.412107	0.514308	0.578319	0.562899	0.546525	0.528614	0.435513	0.394267	0.546747
fr	0.407777	0.526774	0.572788	0.5519	0.564106	0.537273	0.449577	0.388198	0.549112
it	0.394692	0.512369	0.55386	0.534627	0.534724	0.543281	0.439383	0.385906	0.529167
ja	0.375256	0.364846	0.40911	0.358068	0.344954	0.336961	0.556755	0.490953	0.330229
ko	0.325789	0.274116	0.30957	0.28201	0.265219	0.265617	0.440098	0.527494	0.270575
pt	0.401627	0.499093	0.557681	0.545103	0.527805	0.528761	0.435853	0.382246	0.546856

それに対して、GTE-ModernColBERT-v1 は、ドキュメントとクエリが同一言語でない場合、一貫してスコアが低くなります。

Document language / Query language	ar	de	en	es	fr	it	ja	ko	pt
ar	0.309094	0.088882	0.107318	0.088656	0.093531	0.092211	0.070479	0.049236	0.087402
de	0.039103	0.498902	0.453624	0.36155	0.393378	0.366959	0.132763	0.061183	0.36104
en	0.041559	0.407823	0.679694	0.445712	0.484456	0.419897	0.167128	0.072883	0.437644
es	0.044072	0.359704	0.484505	0.525248	0.465013	0.437339	0.149247	0.061257	0.486842
fr	0.043986	0.381051	0.504678	0.455461	0.546465	0.427851	0.136489	0.0574	0.44784
it	0.042952	0.368802	0.449246	0.445581	0.451044	0.515613	0.143343	0.053565	0.442368
ja	0.030702	0.169346	0.250173	0.172071	0.177372	0.168574	0.459477	0.058598	0.16489
ko	0.029558	0.133936	0.169461	0.127463	0.133053	0.125281	0.09037	0.367652	0.123583
pt	0.043255	0.367522	0.479025	0.491683	0.466999	0.448111	0.138271	0.06162	0.530257

これにより検索の信頼性が大幅に高まり、複数のモデルで構成されたアーキテクチャを単一の統合レトリーバーに置き換えることができます。

推論速度

LFM2-ColBERT-350M は、モデルサイズが 2 倍以上であるにもかかわらず、さまざまなバッチサイズにおけるクエリ／ドキュメントのエンコーディングで、GTE-ModernColBERT-v1 と同等のスループットを示しています。

推論速度は次のようにプロファイリングしました。

クエリのエンコードは、MS MARCO や Natural Questions といったデータセットの実際のクエリパターンを用いて評価しました。
文書のエンコードは、長さやドメインの異なる実際の文書で計測しました。

この高速推論は、短い入力を意識したゲート付き畳み込みと、グループ化されたクエリアテンションを組み合わせた、効率的な LFM2 バックボーンによって実現されています。

LFM2 でビルド

LFM2-ColBERT-350M は本日、Hugging Face で公開され、インタラクティブなデモも利用できます。エッジデプロイメントによるカスタムソリューションに興味がある場合は、当社の営業チームまでお問い合わせください。