LFM3 登場：特化型インテリジェンスのためのあらゆるモダリティ

本日、特化型インテリジェンスに最適な選択肢となるよう設計した、新世代の Liquid Foundation Models（LFM）である LFM3 を発表します。LFM3 モデルファミリーは本質的にマルチモーダルであり、テキスト、ビジョン、音声、オムニ、意思決定の各モデルを、新たに共通化した 1 つのバックボーンの上に統合しています。LFM3 ファミリーの最初のリリースは、2B パラメータクラスのモデルで構成されています。

新たなフラッグシップのハイブリッドアーキテクチャと 22T トークンの事前学習により、LFM3 は LFM2 の効率性を維持しつつ、はるかに高い表現力を備えています。[Placeholder headline number sentence] 小型で高速なモデルにこれだけの能力を備えたことで、LFM3 は同クラスにおいて特化型インテリジェンスの理想的な出発点となります。ファインチューニングでさえローカルのプロセッサで実行でき、あらゆるデバイス上で動作し、特定のタスクにおいて信頼できるエキスパートとなるだけの能力を持っているためです。

ベースモデルおよびポストトレーニング済みモデルはオープンウェイトで、本日より Hugging Face、Playground、Liquid AI API で利用できます。ローカルでの実行やファインチューニングの方法については、ドキュメントをご覧ください。

LFM3 の新機能

LFM3 では、LFM2 から主に 4 つの点が変わりました。いずれも、特化させてどこでも動かせる小型モデルを目指したものです。

• パラメータあたりの能力が向上：新しいトライハイブリッドアーキテクチャと学習レシピにより、LFM3-1.7B は従来の LFM2.5-2.6B を上回る性能を発揮します。
• あらゆるモダリティを 1 つのバックボーンで：LFM3-1.7B-Base から学習した 2B クラスのモデル 6 種（テキスト、ビジョン、音声、オムニ、意思決定）を提供します。当社初のオムニモデルも含まれており、ビジョンモデルは新たに動画にも対応しました。
• エッジ向けに設計：テキストモデルは 4 ビット精度で約 1 GB に収まり、新たに自社開発したビジョンエンコーダーと音声エンコーダーが処理を高速化します。さらに 256K のコンテキストウィンドウにより、エージェントをオンデバイスで実行できます。
• 特化させるための設計：すべてのモデルを単一の GPU でファインチューニングできるため、自社のデータや用語、デバイスからプライベートインフラ、クラウドに至るまでの展開環境に合わせて適応させることができます。

これらの変更により、用途のモダリティに合ったモデルを選び、自社のデータでファインチューニングし、アプリケーションが動作する場所に展開できます。以下のセクションでは、それぞれの変更について詳しく説明します。

表現力を高める新アーキテクチャ

LFM2 は、短い畳み込みとアテンションを組み合わせたハイブリッド構成が、品質を犠牲にすることなくオンデバイスで高速に動作しうることを示しました。LFM3 では、このアーキテクチャをより表現力の高いものへと再設計し、LFM2 の効率性を維持しながら、すべてのパラメータからより多くの能力を引き出しています。

トライハイブリッドのレイヤー構成。LFM3 は、ゲート付き短畳み込み、スライディングウィンドウアテンション（SWA）、グローバルアテンションの 3 種類の演算子を組み合わせています。24 層のうち、13 層が畳み込み、5 層が 256 トークンのウィンドウを持つ SWA、6 層がグローバルアテンションです。また、畳み込みのカーネルサイズは LFM2 の 3 から 7 に拡大しています。

ヘッド単位のゲート付きアテンション。シグモイドゲートが各ヘッドの出力をスケーリングするため、寄与するものがないヘッドは自らオフにできます。これにより、量子化を妨げる活性化の外れ値を抑制し、学習の安定性を向上させる効果が期待できます。

部分 RoPE。グローバルアテンション層では、各ヘッドのうち高周波側の半分のみを回転させ、低周波側の半分は回転させずに残します。これにより、それらの次元は距離に関係なく内容に基づいて一致します。SWA 層では完全な RoPE を維持しています。

サンドイッチ正規化。各ブロックは入力と出力の両方を正規化するため、活性化のスケールを適切に保ちやすくなります。

LFM3 は、LFM2.5-8B-A1B と同じ 128K の語彙を使用しています。この語彙は、非ラテン文字をより効率的にトークン化できるよう構築されています。

学習。LFM3-1.7B-Base は 22T トークンで事前学習しました。LFM2 と比べて、学習データには科学論文、リポジトリレベルのコード、より幅広い知識ソース、そして大幅に多くの数学データを加えています。最後の 3.5T トークンは、厳選された高品質データによる中間学習（mid-training）段階で、エージェント的なトレースや多様なツール呼び出しの比率を高め、エージェント向けのポストトレーニングに備えています。この段階では、コンテキストウィンドウも 256K トークンまで拡張しています。

あらゆるニーズに応えるマルチモーダルファミリー

LFM3 の最初のリリースには 5 つのモデルが含まれており、いずれも同じ LFM3-1.7B-Base バックボーンから派生した約 2B パラメータのモデルです。うち 4 つは異なる入力モダリティ（テキスト、ビジョン、音声、オムニ）をカバーし、5 つ目はオムニモデルから特化させた意思決定モデルです。1 つの大規模な汎用モデルを動かす代わりに、ユースケースに合ったモデルを選び、カスタマイズして、オンデバイスで実行できます。

hello