Liquid Foundation Model：Liquid AI による生成AIモデルの最初のシリーズ

Liquid Foundation Models（LFM）シリーズの第一弾を発表 - より少ないメモリ使用量とより効率的な推論を維持しながら、あらゆるスケールで最先端の性能を達成する新世代の生成AIモデルです。

<figcaption>図 1. LFMは、1B、3B、12B（アクティブ・パラメーター）の各カテゴリーにおいて、最新のベストな パフォーマンスとサイズのトレードオフを提供する。</figcaption>

要点

• 私たちは、第一原理から構築された新世代の生成AIモデル、Liquid Foundation Model（LFM）の最初のシリーズを発表します。
• 1B、3B、40BのLFMは、メモリフットプリントを小さくし、より効率的な推論を維持しながら、各スケールにおいて品質面で最先端の性能を達成した。
• Liquid Playground、Lambda API、Perplexity Labs、そしてまもなくCerebras InferenceでLFMをお試しください。LFMスタックはNVIDIA、AMD、Qualcomm、Cerebras、Appleのハードウェアに最適化されています。
• Liquid AIは、あらゆる規模の企業向けに、プライベート・エッジ・オンプレミスの優れたAIソリューションを構築します。
• 当社はLFMsの種類・規模を拡大しており、金融サービス、バイオテクノロジー、消費者向け電子機器など、今後さまざまな業界に新しく優れた機能を導入していく予定です。

<a href="https://playground.liquid.ai/chat?model=cm648lmn1000008js1hxh1ir5" target="_blank" class="button is-in-rich-text mb-3">Liquidを試す<div class="icon size-xs w-embed"><svg viewBox="0 0 17 17" fill="none" xmlns="http://www.w3.org/2000/svg">
<path fill-rule="evenodd" clip-rule="evenodd" d="M4.91668 5.72363C4.59451 5.72363 4.33334 5.46246 4.33334 5.1403C4.33334 4.81813 4.59451 4.55696 4.91668 4.55696H11.5833C11.9055 4.55696 12.1667 4.81813 12.1667 5.1403V11.807C12.1667 12.1291 11.9055 12.3903 11.5833 12.3903C11.2612 12.3903 11 12.1291 11 11.807V6.54859L5.32916 12.2194C5.10135 12.4472 4.732 12.4472 4.5042 12.2194C4.27639 11.9916 4.27639 11.6223 4.5042 11.3945L10.1751 5.72363H4.91668Z" fill="currentColor"></path>
</svg></div></a>

Liquid AIでは、私たちがコントロールでき、かつ高性能なAIシステムを設計するための新しい手法を構築しています。エンジニアがエンジンや自動車、飛行機を作るのと同じように、第一原理から設計します。私たちの使命は、あらゆる規模においてクラス最高のインテリジェントで効率的なシステム、つまり、大量のマルチモーダルデータを逐次処理し、高度な推論を可能にし、信頼性の高い意思決定を実現するように設計されたシステムをゼロから創造することです。

本日は、第一世代のLiquid Foundation Model（LFM）を紹介します。LFMは、力学系の理論、信号処理、数値線形代数に深く根ざした計算ユニットで構築された大規模なニューラルネットワークです。このユニークな融合により、あらゆるスケールのインテリジェンスを実現するための探求において、これらの分野における数十年にわたる理論的進歩を活用することができます。LFMは、ビデオ、オーディオ、テキスト、時系列、信号など、あらゆる種類のシーケンシャル・データのモデル化に使用できる汎用AIモデルです。

「Liquid 」という社名は、私たちのルーツであるダイナミックで適応力のある学習システムに敬意を表しています。

第一世代の言語LFMの紹介

Liquidチームは、今回最初のシリーズとしての言語モデル群のリリースを誇りに思っています：

• 高密度の1.3Bモデル（リソースが非常に限られた環境に最適）
• 高密度の3.1Bモデル（エッジ展開に最適化）
• 専門家混合（MoE）の40.3Bモデル（より複雑なタスク向けにデザイン）

私たちのゴールは、クラス最高のLLMと競争でき、かつ社会に価値をもたらすモデルを開発することです。モデルの性能はスケールだけでなく、イノベーションも重要であることを示したいと考えています。

最先端のパフォーマンス

私たちはEleuther AIのlm-evaluation-harness v0.4を使用して、自社でファインチューニングしたLFMを同様のサイズの言語モデルと比較しました。（他のファインチューニングされたモデルとの比較）

LFM-1B は、1Bカテゴリのさまざまなベンチマークで最高得点を達成し、このサイズで新たな最先端モデルとなりました。これは、非GPTアーキテクチャがトランスフォーマーベースのモデルを大幅に上回った初めてのモデルです。

LFM-3B はそのサイズの割に驚くべきパフォーマンスを発揮しています。3Bパラメータサイズにおいて、トランスフォーマー、ハイブリッド、RNNモデルの中でLiquid-3Bが一番良いパフォーマンスを有するだけでなく、前世代の7Bや13Bモデルも凌駕しています！また、複数のベンチマークでLiquid-3BはPhi-3.5-miniと同等でありながら、そのサイズは18.4%小さいです。LFM-3B はモバイルやその他のエッジでの、テキストベースのアプリケーションに最適です。

<figcaption>*開発者によって報告されたスコア。その他のスコアはすべて、自社モデルに使用したのと同じ評価ハーネスを使用して計算されました。</figcaption>

LFM-40B は、モデルサイズと出力品質の新しいバランスを提供します。使用時に12Bのアクティブパラメータを活用し、LFM-40Bは他の大きなモデルより良いパフォーマンスを出しております。それに、MoEアーキテクチャにより、より高いスループットと費用対効果の高いハードウェアへの展開も可能になります。

<figcaption>*開発者によって報告されたスコア。その他のスコアはすべて、自社モデルに使用したのと同じ評価ハーネスを使用して計算されました。</figcaption>

LFM はメモリ効率が高い

LFMは、トランスフォーマー・アーキテクチャと比べてメモリ・フットプリントが低く抑えられます。これは特に長い入力に当てはまります：トランスフォーマベースのLLMのKVキャッシュはシーケンスの長さに応じて直線的に増大します。一方で、LFMは入力を効率的に圧縮し、同じハードウェアでより長いシーケンスを処理することができます。例えば、他の3Bクラスモデルと比較して、LFMは最小限のメモリ使用量を維持しております。

<figcaption>図 2. 入力と生成の長さに対する言語モデルの推論メモリ使用量。</figcaption>

LFMはコンテキストの長さを真に利用できる

今回のプレビューリリースでは、クラス最高の32kトークン数を実現するために、モデルの効率性の限界を押し広げました。これはRULERベンチマークによって確認され、対応するスコアが85.6より高い場合、その長さは「効果的」とみなされます[Hsieh et al. 2024 - RULER]。以下の表は、異なるコンテキスト長でいくつかのモデルを比較したものになります。

この非常に効率的なコンテキスト・ウィンドウは、エッジ・デバイス上で初めてロング・コンテキスト・タスクを可能にします。これによって、開発者たちにとってドキュメントの分析や要約、コンテキストを意識したチャットボットとのより有意義な対話、RAG（Retrieval-Augmented Generation）のパフォーマンスの向上など、新しいアプリケーションの可能性が広がります。

私たちのゴールは、モデルのサイズ、訓練/テスト時間の計算、コンテキストの長さにわたってLFMをスケーリングし続けることです。言語LFM以外にも、様々なデータモダリティ、ドメイン、アプリケーションのモデルを設計しており、今後数ヶ月のうちにリリースする予定です。

大規模AIモデルのパレートフロンティアを推進

これらの結果を達成するために、私たちは事前と事後のトレーニングパイプラインとインフラを最適化し、モデルが5つの基準で優れていることを確認しました：

知識容量

様々なドメインやタスクにまたがる情報の広さと深さ。包括的な事前学習セット、モデルアーキテクチャの進歩、新しい事前学習/中間学習/事後学習ストラテジーを用いてこれを達成する。これらの革新的な技術により、LFMは知識ベースのタスクにおいて、より大きなモデルと競争することができるようになった。

多段階の推論

問題を分解し、論理的で厳密な思考を適用する能力。トレーニングのコアフェーズでシステム2のタスクを抽出し、コンパクトなモデルアーキテクチャで強固な分析能力を実現。

長いコンテキストのRecall

モデルの最大入力サイズは、有効なコンテキストの長さと同じではない。私たちは特に、全入力範囲にわたってRecall性能と文脈内学習能力を最大化するようにLFMを訓練した。

推論の効率

トランスフォーマーベースのモデルは、長い入力に対してメモリ使用量が爆発的に増加するため、エッジ展開には不向きである。LFMは推論時間とメモリ複雑度がほぼ一定であり、入力コンテキストの長さが長くなっても、生成速度に大きな影響はなく、必要なメモリ量も増加しない。

トレーニングの効率

GPTのような基礎モデルの学習には、多大な計算リソースが必要となる。LFMはロングコンテキストデータの学習に効率的である。

モデルアーキテクチャの再構築

私たちは、表現力豊かで効率的な学習システムの設計に関する長年の研究に基づき、様々なモダリティやハードウェア要件に焦点を当て、基礎モデルの新しい設計空間を開発した。Liquid AIの目標は、Generative Pre-trained Transformers(GPTs)を超える基盤モデルを構築する方法を探求することです。

LFMでは、過去数ヶ月の間に我々のチームが開発した、モデル設計の指針となる新しい原則と手法を実践しています。

LFMは構造化された演算子で構成される

我々のモデルは、新しい設計空間に属する計算ユニットの集合（アーキテクチャの構成要素）から派生している。Liquidシステムとその構成は、知識容量と推論を最大化すると同時に、学習効率の向上、推論時のメモリコストの削減、ビデオ、オーディオ、テキスト、時系列、信号などのデータのモデル化におけるパフォーマンスの向上を実現。

LFMアーキテクチャはコントロールされている

私たちのモデルの設計は、スケーリング、推論、アライメント、モデル解析戦略を相互に伝えます。古典的な信号処理解析手法を用いてLFMのダイナミクスを解析し、モデル出力からモデル内部まで、その挙動を探ることができる。

LFMは適応性があり、あらゆる規模のAIの基盤として機能する：

特定のプラットフォーム（Apple、Qualcomm、Cerebras、AMDなど）向けにアーキテクチャを自動的に最適化したり、与えられたパラメータ要件や推論キャッシュサイズに合わせることができる

<figcaption>図 3. LFMのアーキテクチャは、深さ方向に配置されたカスタム計算ユニット（目標とする重みの共有）と、フィーチャライザーの相互接続（特徴の共有）が特徴</figcaption>

Liquidのデザインスペースは、主にアーキテクチャとそのコアオペレータのフィーチャライゼーションとフットプリントによって定義されます。フィーチャライゼーションとは、入力データ（テキスト、オーディオ、イメージ、ビデオなど）を、モデル内部の計算を適応的に調整するために使用される、構造化された特徴やベクトルのセットに変換するプロセスを指します。例えば、音声や時系列データは、言語やマルチモーダルデータと比較して、情報密度が低いため、一般的にオペレータのフィーチャライズは少なくて済めます。もう一つの重要な次元は、演算子の計算複雑性です。構造化された適応オペレータの設計空間を横断し、完成させることができるため、計算量を制御しながらパフォーマンスを最大化することができようになるのです。

<figcaption>図 4. Liquid AIは、異なるモダリティやハードウェア要件へのカスタマイズを可能にする、計算ユニットの新しい設計空間の基礎を構築した</figcaption>

LFMの中核は、入力によって動作が決定される適応的な線形演算子として表現できる計算ユニットで構築されています。LFMの設計フレームワークは、深層学習における既存の幅広い計算ユニットを統合し、包含することで、アーキテクチャの空間を探索する体系的なアプローチを提供します。具体的には、トークン混合構造（オペレータが入力シーケンスの埋め込みをどのように混合するか）、チャネル混合構造（チャネルの次元をどのように混合するか）、フィーチャライゼーション（入力コンテキストに基づいて計算をどのように変調するか）の3つの重要な側面を改善することで、こういった分析はモデル構築に役立ちました。

LFM のアーリーアダプターになりませんか

Liquid AIはまだこの旅の初期段階にあるので、これらのシステムの長所と短所を一緒に発見しソリューションを探していくパートナー様・お客様との協業を歓迎します。。

今日の言語LFMが得意とすること：

• 一般知識と専門知識
• 数学と論理的な推論
• 効率的かつ効果的なロングコンテキストタスク
• 主な言語は英語で、第二言語はスペイン語、フランス語、ドイツ語、中国語、アラビア語、日本語、韓国語の多言語に対応。

今日の言語LFMが苦手としていること？

• ゼロショット・コード・タスク
• 精密な数値計算
• Time-sensitiveな情報
• 「Strawberry」のrを数えること
• 人間の嗜好最適化技術は、まだ弊社のモデルに広く適用されていません

Liquid AIでは、オープンサイエンスなアプローチをとっています。これまでも、そしてこれからも、科学的・技術的な報告書を通じて、私たちの知見や手法をオープンに公開することで、AI分野の発展に貢献していきます。このコミットメントの一環として、私たちの研究努力によって生み出された関連データやモデルをより広いAIコミュニティに公開する予定があります。ただし、私たちはこれらのアーキテクチャの開発に多くの時間とリソースを費やしてきたため、現時点ではモデルのオープンソース化は行っていません。これにより、私たちは進歩を継続し、競争の激しいAI業界において優位性を維持することが可能になります。

もし御社が最先端なAIモデルを体験されたい場合は、ぜひ私たちにご連絡ください！また、もしあなたがLiquidのミッションに共感されるのであれば、私たちのチームメンバーとしてjoinし、共に推進しましょう。

Liquid AIはまだこの旅の初期段階にありますが、基盤モデルの開発と展開の様々な側面で積極的に革新を起こしています。LFMモデルの能力を継続的に向上させるため、ぜひ皆様のご意見・フィードバックを聞かせてください：）

<a href="https://docs.google.com/forms/d/e/1FAIpQLSdPNEPTajcbz_iEE3nWhI_xheLxo7qpApSBs_ohwxU9wTHLXg/viewform" target="_blank" class="button inline-flex w-button is-in-rich-text">フィードバックを共有する</a>