LiquidのニューラルネットワークからLiquidの基盤モデルへ
私たちはリキッド・ニューラル・ネットワークを発明しました。これは、学習後も変化に対して適応的かつ頑健であり続けることができる、脳に着想を得たシステムの一種です [R. Hasani, PhD Thesis] [Lechner et al. Nature MI, 2020] [pdf]（2016〜2020年）。続いて、これらが万能近似器であること [Hasani et al. AAAI, 2021]、系列データのための表現力豊かな連続時間機械学習システムであること [Hasani et al. AAAI, 2021] [Hasani et al. Nature MI, 2022]、新しいスキルの学習においてパラメータ効率が高いこと [Lechner et al. Nature MI, 2020] [pdf]、因果的で解釈可能であること [Vorbach et al. NeurIPS, 2021] [Chahine et al. Science Robotics 2023] [pdf]、そして線形化すると系列データにおける非常に長期的な依存関係を効率的にモデル化できること [Hasani et al. ICLR 2023] を、解析的かつ実験的に示しました。
さらに、非線形ニューラル微分方程式に基づく系列モデルのクラスを開発し [Massaroli et al. NeurIPS 2021]、それらをグラフへと一般化しました [Poli et al. DLGMA 2020]。ハイブリッド数値解法 [Poli et al. NeurIPS 2020] や時間並列スキーム [Massaroli et al. NeurIPS 2020] を用いて連続時間モデルのスケーリングと最適化を行い、制御および予測タスクで最先端の性能を達成しました [Massaroli et al. SIAM Journal] [Poli et al. NeurIPS 2021][Massaroli et al. IEEE Control Systems Letters]。チームは、ニューラル微分方程式に関する最も包括的なオープンソースライブラリの一つをリリースしており [Poli et al. 2021 TorchDyn]、現在、拡散による生成モデリングや予測のさまざまなアプリケーションで使用されています。
私たちは、並列スキャンに基づく初の効率的な線形状態空間アーキテクチャ [Smith et al. ICLR 2023] と、有理関数に基づく最先端の時系列状態空間モデル [Parnichkun et al. ICML 2024] を提案しました。また、時系列を対象とした初の生成的状態空間アーキテクチャ [Zhou et al. ICML 2023]、および動画向けの状態空間アーキテクチャ [Smith et al. NeurIPS 2024] も発表しました。
ニューラルオペレーターのための新しいフレームワークを提案し [Poli et al. NeurIPS 2022]、微分方程式の求解や予測タスクにおいて Fourier Neural Operator などの手法を上回る性能を示しました。
私たちのチームは、長いコンテキストへ効率的にスケールする Hyena [Poli et al. ICML 2023] [Massaroli et al. NeurIPS 2023]、HyenaDNA [Nguyen et al. NeurIPS 2023]、StripedHyena などの深層信号処理アーキテクチャを共同で発明しました。StripedHyena をベースとする Evo [Nguyen et al. 2024] は、DNA、RNA、タンパク質にわたって汎化する DNA 基盤モデルであり、新しい CRISPR システムの生成的設計が可能です。
私たちは、深層信号処理層と状態空間層の両方に基づく言語モデルを初めてスケールさせ [link]、Transformer を超えるアーキテクチャについてこれまでで最も広範なスケーリング則の分析を行いました [Poli et al. ICML 2024]。その成果として、既存のオープンソースの代替モデルを上回る新しいモデルバリアントを生み出しています。
チームは、最高水準のオープンソース LLM のファインチューニングやモデルマージを数多く手がけています [Maxime Lebonne, link]。
最後に、私たちのチームの研究は、グラフニューラルネットワークや幾何学的深層学習に基づくモデルにおける先駆的な研究 [Lim et al. ICLR 2024]、ニューラルネットワークの解釈可能性に関する新しい尺度の定義 [Wang et al. CoRL 2023]、そして最先端のデータセット蒸留アルゴリズム [Loo et al. ICML 2023] にも貢献してきました。