LFM-7B のご紹介 : 効率的な言語モデルの新たな基準

2025年1月20日

本日、新しいクラス最高の言語モデルである LFM-7B をリリースします。 LFM-7B は、アラビア語や日本語などの言語に対応し、優れたチャット機能を備えるように設計されています。 Liquid Foundation Model (LFM) アーキテクチャを採用しており、メモリフットプリントが小さく、推論速度が速いなどの独自の特色を備えています。これにより、特定のユースケース (スマートチャットボットやドキュメント生成など) に合わせてファインチューニングし、コスト効率よく、オンプレミスまたはデバイスに直接展開することが可能になりました。

要点

市場のこのサイズクラスで最高のパフォーマンスを誇るモデル、LFM-7B を発表します。

LFM-7B は、トランスフォーマーを使用しない Liquid Foundation Model アーキテクチャを使用しており、高いスループットと最小のメモリフットプリントを備えています。
LFM-7B は、ローカルデプロイメント、レイテンシ制限、コスト制限のあるタスクの言語モデルとして自然に選択されます。
LFM-7B は、英語、アラビア語、日本語に対応した、世界最高クラスの多言語モデルです。
LFM-7B を今すぐ Liquid Playground や AWS マーケットプレイスでお試しください。
LFM-7B のライセンスは、企業向けの推論スタックとカスタマイズスタックで構成されています。詳細については、お問い合わせください。

Try Liquid

チャット機能

LFM-7B は、応答品質、精度、有用性に関して特に最適化されています。チャット機能を評価するために、多様なフロンティア LLM 審査員を活用して、LFM-7B によって生成された応答を 7B ～ 8B パラメータカテゴリの他のモデルと比較します。これにより、個々のバイアスを軽減し、より信頼性の高い比較を行うことができます。

私たちは、指示に従うなどの精選されたビジネスユースケース、Arena-Hard-Auto からの質問 (Li et al.)、および実際の会話 (Zheng et al.) を含む英語のプロンプトに対する回答を比較しました。当社の包括的な優先チューニングプロセスにより、LFM-7B は同じサイズカテゴリの他のすべての LLM よりも優れたパフォーマンスを発揮します。

Chat Capabilities — LLM-as-a-jury evaluation of chat capabilities in English.

次の直接評価は、LLM 陪審が他のモデルからの回答よりも LFM-7B によって生成された回答を好んだ回数の割合を示しています。まったく同じ英語のプロンプトが含まれています。

自動ベンチマーク

LFM-7B は、他のモデルと同様に、広範な知識と推論というコア機能を維持しています。会話スキルの向上に加えて、コーディング能力や指示に従う能力も向上します。

次のスコアは、Eleuther AI の言語モデル評価ハーネス v0.4.5 を使用した標準の自動ベンチマークで取得されました。トレーニング後のモデルのみを比較します。

ベンチマーク	LFM-7B Liquid AI 7.7B	Ministral (Mistral AI) 8.0B	Llama 3.1 (Meta) 8.0B	Command R7B (Cohere) 8.0B	Qwen 2.5 (Alibaba) 7.6B	OLMo 2 (AI2) 7.3B
コンテキスト長（トークン）	32k	128k	128k	128k	128k	4k
MMLU (5-shot)	69.34	64.66	67.92	70.44	74.31	62.18
HellaSwag (10-shot)	83.07	80.58	80.00	80.53	81.37	85.77
ARC-C (25-shot)	70.56	61.77	60.58	66.55	67.24	68.09
TruthfulQA (0-shot)	63.89	48.65	54.02	55.38	64.76	54.50
IFEval (0-shot)	60.72	29.17	50.7	34.56	63.71	59.26
MMLU-PRO (5-shot)	42.42	35.04	37.72	36.55	44.65	29.66
MATH Lvl 5 (4-shot)	21.42	13.62	11.77	19.07	23.77	9.82
GPQA (0-shot)	32.29	31.01	33.26	29.55	32.45	28.53
MuSR (0-shot)	40.79	42.75	39.72	43.33	42.9	39.44
HumanEval (pass@1)	63.41	25.61	64.02	55.49	26.83	41.46
HumanEval+ (pass@1)	56.71	24.39	59.15	48.78	23.17	37.8
MBPP (pass@1)	51.60	31.60	52.20	51.20	50.80	26.0
MBPP+ (pass@1)	55.56	45.24	57.41	61.64	52.91	36.51

表 1。自動ベンチマークにおける各 LLM の性能。

多言語機能

LFM-7B は、英語、スペイン語、フランス語、ドイツ語、中国語、アラビア語、日本語、韓国語をサポートしています。モデルを評価しているときに、MMMLU のような自動ベンチマークは交絡因子 (世界の知識など) を追加し、ターゲット言語での記述スキルを必要としないことに気づきました。一方、アリーナの評価は、文法的に正しく、関連性のある回答を生成することに特に焦点を当てています。このため、公平かつ適切な方法でモデルの品質を評価するために、アラビア語と日本語で言語固有のアリーナを構築しました。

アラビア語のアリーナ評価では、アラビア語の実世界の会話 (Zheng et al.) の厳選されたサブセットを使用します。 LFM-7B はアラビア語に堪能であり、同じサイズカテゴリの他のモデルよりも大幅に好まれています。

Multilingual Capabilities — LLM-as-a-jury evaluation of chat capabilities in Arabic.

日本語のアリーナ評価では、ELYZA-tasks-100 (Sasaki et al.) とパートナーの ITOCHU-CTC が厳選した現実世界のプロンプトを組み合わせて使用します。これにより、ビジネスユースケースを代表する多様なプロンプトセットが作成されます。 LFM-7B は、日本語のアリーナ評価でも大幅な差をつけてリードしています。

メモリ効率

以前のモデルと同様に、LFM-7B は他のアーキテクチャと比較してメモリ使用量が最小限に抑えられています。

Low Memory Footprint — Memory requirements for language model inference for different models as a function of combined input and generation sequence length. All models use bfloat16 precision without quantization. LFM-7B offers significant memory savings over other models. Memory usage can be reduced further through quantization techniques.

LFM-7B のメモリ効率により、長いコンテキストの理解、エネルギー効率の高い推論、ローカルデバイスでの高スループットの展開など、いくつかの重要な機能が可能になります。 LFM-7B は、オンプレミスの微調整スタックを使用して、あらゆる知識やタスクに合わせて効率的にカスタマイズすることもできます。その結果、LFM-7B は、プライベートエンタープライズチャット、安全なコード生成、高速な指示追従、長文の分析、エネルギー効率の高いオンデバイス AI アシスタント、マルチステップエージェントワークフローなどのアプリケーションにおけるエンドユーザーの価値を大幅に高めます。

LFM-7B は、長い入力コンテキストを効率的に処理する機能に加えて、長いコンテキストを効果的に取得し、推論することができます。私たちは、これを開発のすべての段階にわたって、特殊な Liquid 内部のロングコンテキスト評価を通じて検証しました。さらに、RULER (Hsieh et al.) と LongBench v2 (Bai et al.) という 2 つのパブリックロングコンテキスト評価を介して、LFM-7B のロングコンテキスト能力も評価します。 RULER では、対応するスコアが 85.6 より高い長さは「有効」であるとみなされます。これは、LFM-7B の有効コンテキスト長が 32k であることを示しています。

モデル	LongBench v2	Claimed length	Effective length	RULER 4k	RULER 8k	RULER 16k	RULER 32k	RULER 64k
Ministral (Mistral AI) 8.0B	26.1	128k	32k	96.0	93.5	90.6	86.4	37.0
Llama 3.1 (Meta) 8.0B	35.0	128k	32k	95.5	93.8	91.6	87.4	84.7
Qwen 2.5 (Alibaba) 7.6B	36.1	128k	32k	95.3	93.0	92.2	90.2	74.5
LFM-7B (Liquid AI) 7.7B	36.1	32k	32k	91.3	89.2	87.7	88.5	-

Liquid との提携

私たちは、開発者、チーム、企業が LFM モデルをワークフローに統合することをこれまで以上に簡単にします。

LFM とチャットするには、playground.liquid.ai‍ にアクセスしてください
API 経由でモデルをテストするには、お問い合わせください。
API 経由でモデルを構築するには、OpenRouter に移動します。
API を介してエンタープライズで使用する場合は、AWS Marketplace にアクセスしてください。
当社のモデルが気に入って、オンデバイスまたはオンプレミスのアプリケーション用にライセンスを取得または購入したい場合は、当社までお問い合わせください。

FAQ

企業として、LFMへのフルローカルアクセスを購入できますか？

可能です。当社チームにお問い合わせいただければ、クラス最高のモデルのLFMライブラリにライセンスするか購入することができます。

LFM には、LFM 推論スタックと LFM カスタマイズスタックの 2 つのソフトウェアスタックが付属しています。エッジやオンプレミスのユースケースを実現するために、クライアントと共同で取り組んでいるさまざまなモデルがあります。詳しいビジネスモデルについては私たちのチームに連絡してください。

LFM を微調整できますか?

はい。企業向けに購入可能な LFM カスタマイズスタックを構築しました。LFM は、エンタープライズアプリケーションのローカル、プライベート、セーフティクリティカル、レイテンシに制約のあるユースケースに合わせて、迅速に微調整、特化、最適化できます。これらはすべて、オンプレミスで企業のファイアウォールによる安全な環境内で行えます。

LFM-7Bはどの言語をサポートしていますか？

LFM-7Bは、英語、アラビア語、日本語に対応したモデルの中では世界最高の多言語言語モデルです。その他にスペイン語、フランス語、ドイツ語、中国語、韓国語もサポートしています。

Liquid Foundation Modelについて詳しく知りたいですが、どこで確認できますか？

LFMの最新研究動向についてはこちらで確認するか、XとLinkedInでフォローしてください。