Liquid Foundation Model：Liquid AI による生成AIモデルの最初のシリーズ

要点

• 私たちは、第一原理から構築された新世代の生成AIモデル、Liquid Foundation Model（LFM）の最初のシリーズを発表します。
• 1B、3B、40BのLFMは、メモリフットプリントを小さくし、より効率的な推論を維持しながら、各スケールにおいて品質面で最先端の性能を達成した。
• Liquid Playgroundで今すぐLFMをお試しください。LFMスタックは、NVIDIA、AMD、Qualcomm、Cerebras、Appleのハードウェア向けに最適化が進められています。
• Liquid AIは、あらゆる規模の企業向けに、プライベート・エッジ・オンプレミスの優れたAIソリューションを構築します。
• 当社はLFMsの種類・規模を拡大しており、金融サービス、バイオテクノロジー、消費者向け電子機器など、今後さまざまな業界に新しく優れた機能を導入していく予定です。

Try Liquid

Liquid AIでは、私たちがコントロールでき、かつ高性能なAIシステムを設計するための新しい手法を構築しています。エンジニアがエンジンや自動車、飛行機を作るのと同じように、第一原理から設計します。私たちの使命は、あらゆる規模においてクラス最高のインテリジェントで効率的なシステム、つまり、大量のマルチモーダルデータを逐次処理し、高度な推論を可能にし、信頼性の高い意思決定を実現するように設計されたシステムをゼロから創造することです。

本日は、第一世代のLiquid Foundation Model（LFM）を紹介します。LFMは、力学系の理論、信号処理、数値線形代数に深く根ざした計算ユニットで構築された大規模なニューラルネットワークです。このユニークな融合により、あらゆるスケールのインテリジェンスを実現するための探求において、これらの分野における数十年にわたる理論的進歩を活用することができます。LFMは、ビデオ、オーディオ、テキスト、時系列、信号など、あらゆる種類のシーケンシャル・データのモデル化に使用できる汎用AIモデルです。

「Liquid」という社名は、私たちのルーツであるダイナミックで適応力のある学習システムに敬意を表しています。

第一世代の言語LFMの紹介

Liquidチームは、今回最初のシリーズとしての言語モデル群のリリースを誇りに思っています：

• 高密度の1.3Bモデル（リソースが非常に限られた環境に最適）
• 高密度の3.1Bモデル（エッジ展開に最適化）
• 専門家混合（MoE）の40.3Bモデル（より複雑なタスク向けにデザイン）

アーキテクチャの研究は孤立して進められるものではありません。私たちのゴールは、クラス最高のLLMと競争でき、かつ社会に価値をもたらすモデルを開発することです。モデルの性能はスケールだけでなく、イノベーションも重要であることを示したいと考えています。

最先端のパフォーマンス

私たちはEleuther AIのlm-evaluation-harness v0.4を使用して、自社でファインチューニングしたLFMを同様のサイズの言語モデルと比較しました。（他のファインチューニングされたモデルとの比較）

LFM-1B は、1Bカテゴリのさまざまなベンチマークで最高得点を達成し、このサイズで新たな最先端モデルとなりました。これは、非GPTアーキテクチャがトランスフォーマーベースのモデルを大幅に上回った初めてのモデルです。

LFM-3B はそのサイズの割に驚くべきパフォーマンスを発揮しています。3Bパラメータサイズにおいて、トランスフォーマー、ハイブリッド、RNNモデルの中でLiquid-3Bが一番良いパフォーマンスを有するだけでなく、前世代の7Bや13Bモデルも凌駕しています！また、複数のベンチマークでLiquid-3BはPhi-3.5-miniと同等でありながら、そのサイズは18.4%小さいです。LFM-3B はモバイルやその他のエッジでの、テキストベースのアプリケーションに最適です。

LFM-40B は、モデルサイズと出力品質の新しいバランスを提供します。使用時に12Bのアクティブパラメータを活用し、LFM-40Bは自身より大きなモデルに匹敵するパフォーマンスを出しております。それに、MoEアーキテクチャにより、より高いスループットと費用対効果の高いハードウェアへの展開も可能になります。

LFM はメモリ効率が高い

LFMは、トランスフォーマー・アーキテクチャと比べてメモリ・フットプリントが低く抑えられます。これは特に長い入力に当てはまります：トランスフォーマベースのLLMのKVキャッシュはシーケンスの長さに応じて直線的に増大します。一方で、LFMは入力を効率的に圧縮し、同じハードウェアでより長いシーケンスを処理することができます。例えば、他の3Bクラスモデルと比較して、LFMは最小限のメモリ使用量を維持しております。

LFMはコンテキストの長さを真に利用できる

今回のプレビューリリースでは、クラス最高の32kトークン数を実現するために、モデルの効率性の限界を押し広げました。これはRULERベンチマークによって確認され、対応するスコアが85.6より高い場合、その長さは「効果的」とみなされます[Hsieh et al. 2024 - RULER]。以下の表は、異なるコンテキスト長でいくつかのモデルを比較したものになります。

この非常に効率的なコンテキスト・ウィンドウは、エッジ・デバイス上で初めてロング・コンテキスト・タスクを可能にします。これによって、開発者たちにとってドキュメントの分析や要約、コンテキストを意識したチャットボットとのより有意義な対話、RAG（Retrieval-Augmented Generation）のパフォーマンスの向上など、新しいアプリケーションの可能性が広がります。

私たちのゴールは、モデルのサイズ、訓練/テスト時間の計算、コンテキストの長さにわたってLFMをスケーリングし続けることです。言語LFM以外にも、様々なデータモダリティ、ドメイン、アプリケーションのモデルを設計しており、今後数ヶ月のうちにリリースする予定です。

大規模AIモデルのパレートフロンティアを推進

これらの結果を達成するために、私たちは事前と事後のトレーニングパイプラインとインフラを最適化し、モデルが5つの基準で優れていることを確認しました：

知識容量

あらゆるサイズにおける、様々なドメインやタスクにまたがる情報の広さと深さ。包括的な事前学習セット、モデルアーキテクチャの進歩、新しい事前学習/中間学習/事後学習ストラテジーを用いてこれを達成する。これらの革新的な技術により、LFMは知識ベースのタスクにおいて、より大きなモデルと競争することができるようになった。

多段階の推論

問題を分解し、論理的で厳密な思考を適用する能力。トレーニングのコアフェーズでシステム2のタスクを抽出し、コンパクトなモデルアーキテクチャで強固な分析能力を実現。

長いコンテキストのRecall

モデルの最大入力サイズは、有効なコンテキストの長さと同じではない。私たちは特に、全入力範囲にわたってRecall性能と文脈内学習能力を最大化するようにLFMを訓練した。

推論の効率

トランスフォーマーベースのモデルは、長い入力に対してメモリ使用量が爆発的に増加するため、エッジ展開には不向きである。LFMは推論時間とメモリ複雑度がほぼ一定であり、入力コンテキストの長さが長くなっても、生成速度に大きな影響はなく、必要なメモリ量も増加しない。

トレーニングの効率

GPTのような基盤モデルの学習には、多大な計算リソースが必要となる。LFMはロングコンテキストデータの学習に効率的である。

モデルアーキテクチャの再構築

私たちは、表現力豊かで効率的な学習システムの設計に関する長年の研究に基づき、様々なモダリティやハードウェア要件に焦点を当て、基盤モデルの新しい設計空間を開発した。Liquid AIの目標は、Generative Pre-trained Transformers(GPTs)を超える基盤モデルを構築する方法を探求することです。

LFMでは、過去数ヶ月の間に我々のチームが開発した、モデル設計の指針となる新しい原則と手法を実践しています。

LFMは構造化された演算子で構成される。

我々のモデルは、新しい設計空間に属する計算ユニットの集合（アーキテクチャの構成要素）から派生している。Liquidシステムとその構成は、知識容量と推論を最大化すると同時に、学習効率の向上、推論時のメモリコストの削減、ビデオ、オーディオ、テキスト、時系列、信号などのデータのモデル化におけるパフォーマンスの向上を実現。

LFMアーキテクチャはコントロールされている。

モデル設計と、スケーリング、推論、アライメント、モデル解析の戦略は、互いに影響し合います。古典的な信号処理解析手法を用いてLFMのダイナミクスを解析し、モデル出力からモデル内部まで、その挙動を探ることができる。

LFMは適応性があり、あらゆる規模のAIの基盤として機能する。

特定のプラットフォーム（Apple、Qualcomm、Cerebras、AMDなど）向けにアーキテクチャを自動的に最適化したり、与えられたパラメータ要件や推論キャッシュサイズに合わせることができる

Liquidのデザインスペースは、主にアーキテクチャとそのコアオペレータのフィーチャライゼーションとフットプリントによって定義されます。フィーチャライゼーションとは、入力データ（テキスト、オーディオ、イメージ、ビデオなど）を、モデル内部の計算を適応的に調整するために使用される、構造化された特徴やベクトルのセットに変換するプロセスを指します。例えば、音声や時系列データは、言語やマルチモーダルデータと比較して、情報密度が低いため、一般的にオペレータのフィーチャライズは少なくて済めます。もう一つの重要な次元は、演算子の計算複雑性です。構造化された適応オペレータの設計空間を横断し、完成させることができるため、計算量を制御しながらパフォーマンスを最大化できるようになるのです。

LFMの中核は、入力によって動作が決定される適応的な線形演算子として表現できる計算ユニットで構築されています。LFMの設計フレームワークは、深層学習における既存の幅広い計算ユニットを統合し、包含することで、アーキテクチャの空間を探索する体系的なアプローチを提供します。具体的には、トークン混合構造（オペレータが入力シーケンスの埋め込みをどのように混合するか）、チャネル混合構造（チャネルの次元をどのように混合するか）、フィーチャライゼーション（入力コンテキストに基づいて計算をどのように変調するか）の3つの重要な側面を改善することで、こういった分析はモデル構築に役立ちました。

LFM のアーリーアダプターになりませんか

Liquid AIはまだこの旅の初期段階にあるので、これらのシステムの長所と短所を一緒に発見しソリューションを探していくパートナー様・お客様との協業を歓迎します。

今日の言語LFMが得意とすること：

• 一般知識と専門知識
• 数学と論理的な推論
• 効率的かつ効果的なロングコンテキストタスク
• 主な言語は英語で、第二言語はスペイン語、フランス語、ドイツ語、中国語、アラビア語、日本語、韓国語の多言語に対応。

今日の言語LFMが苦手としていること？

• ゼロショット・コード・タスク
• 精密な数値計算
• 鮮度が重要な情報
• 「Strawberry」のrを数えること
• 人間の嗜好最適化技術は、まだ弊社のモデルに広く適用されていません。

Liquid AIでは、オープンサイエンスなアプローチをとっています。これまでも、そしてこれからも、科学的・技術的な報告書を通じて、私たちの知見や手法をオープンに公開することで、AI分野の発展に貢献していきます。このコミットメントの一環として、私たちの研究努力によって生み出された関連データやモデルをより広いAIコミュニティに公開する予定があります。ただし、私たちはこれらのアーキテクチャの開発に多くの時間とリソースを費やしてきたため、現時点ではモデルのオープンソース化は行っていません。これにより、私たちは進歩を継続し、競争の激しいAI業界において優位性を維持することが可能になります。

もし御社が最先端なAIモデルを体験されたい場合は、ぜひ私たちにご連絡ください！また、もしあなたがLiquidのミッションに共感されるのであれば、私たちのチームメンバーとして参加し、共に推進しましょう。私たちはこの旅のまだ初期段階にあり、基盤モデルの開発と展開のさまざまな側面で積極的にイノベーションを進めています。熱意あるユーザーの皆様には、使用体験やご批判をお寄せいただくとともに、モデルの能力向上に向けたレッドチーミングの取り組みにもぜひご参加ください。