Liquid Labs.
研究は Liquid AI の創業の原点です。私たちの原点は10年以上にわたる MIT での研究にあり、そこで生まれた Liquid Neural Networks が、Liquid Foundation Models のための効率的でマルチモーダルなアーキテクチャを生み出しました。
Liquid Labs はこの研究の蓄積を受け継ぎ、知的で、一人ひとりに適応し、状況の変化に対応できるマシンの実現に向け、基礎研究の飛躍を目指す専任チームです。
- 老化生物学における AI のためのオープンなベンチマークと言語モデル
著者：Alex Zhavoronkov、Vladimir Naumov、Denis Sidorenko、Alex Aliper、Vladimir Aladinskiy、Ramin Hasani、Alexander Amini、Katerina Nasto、Mathieu Reymond、Rim Shayakhmetov、Zulfat Miftakhutdinov、他 2 名
5 つの生物データ領域にまたがる 17 タスクのオープンなスイート LongevityBench を発表し、6 つの開発チームによる 18 のフロンティア AI システムを評価します。
- 事前学習済み LLM のためのインプレース・トークナイザー拡張
著者：Jimmy T.H. Smith、Tarek Dakhran、Alberto Cabrera、Simon S. Lee、Paul Pak、Aditya Tadimeti、Tim Seyde、Maxime Labonne、Alexander Amini、Mathias Lechner
事前学習済み LLM のトークナイザーをその場で拡張する新たな手法。品質を損なうことなく、英語以外のトークン数を最大 4 分の 1 に削減します。
- Fixed-Point Reasoners：安定かつ適応的な深層ループ型 Transformer
著者：Sajad Movahedi、Vera Milovanović、Shlomo Libo Feigin、Alexander Theus、Thomas Hofmann、Valentina Boeva、T. Konstantin Rusch、Antonio Orvieto
FPRM は、ループ型アーキテクチャ向けの Transformer ベースの不動点推論モデルです。pre-norm 層、残差スケーリング、不動点による停止判定を用いて信号伝播を改善し、タスクの難易度に応じて計算量を調整。数独、迷路、状態追跡、ARC-AGI で高い成果を示します。
- ニューラル低食い違い量列（Neural Low-Discrepancy Sequences）
著者：Michael Etienne Van Huffel、Nathan Kirk、Makram Chahine、Daniela Rus、T. Konstantin Rusch
NeuroLDS は、有限の低食い違い量列に対する初の機械学習フレームワークです。接頭辞ディスクレパンシーの小さい点列を生成し、数値積分、ロボットの動作計画、科学機械学習、シミュレーションの各領域で従来の LDS 手法を上回ります。
- SwitchCraft：状態を切り替えるタンパク質を設計するプログラマブルなフレームワーク
著者：Bowen Jing、Mihir Bafna、Anisha Parsan、Heyuan Michael Ni、David Kwabi-Addo、Bryan Bryson、Adam Klivans、Bonnie Berger
SwitchCraft は、構成的な制約と構造予測モデルを通じた誤差逆伝播により、状態を切り替えるタンパク質を設計するプログラマブルなフレームワークです。アロステリック制御、リガンド識別、バイオテクノロジー向けの de novo 蛍光バイオセンサー設計を可能にします。
- MeMo：記憶としてのモデル
著者：Ryan Wei Heng Quek、Sanghyuk Lee、Alfred Wei Lun Leong、Arun Verma、Alok Prakash、Nancy F. Chen、Bryan Kian Hsiang Low、Daniela Rus、Armando Solar-Lezama
MeMo（Model as a Memory）は、モデルの重みを変更せずに LLM へ最新のドメイン固有知識を追加するモジュール型フレームワークです。文書横断の関係を捉え、検索ノイズに強く、破局的忘却を回避し、オープンソース／クローズドソースいずれのモデルともプラグアンドプレイで利用できます。
- Preconditioned DeltaNet：線形再帰のための曲率を考慮した系列モデリング
著者：Neehal Tumma、Noel Loo、Daniela Rus
前処理付きデルタ則の再帰は、オンライン最小二乗法から得られる曲率を取り込むことで、劣二次の長文脈モデリングを改善します。本手法は線形アテンションとデルタ則を結びつけ、DeltaNet・GDN・KDA の効率的な変種を導入して、再現性能と言語モデリング性能を向上させます。
- 線形アテンションにおける状態削減の鍵：ランクに基づく視点
著者：Philipp Nazari、T. Konstantin Rusch
線形アテンションにおけるランクの役割を理論的に分析。実効ランクが低いとクエリノイズが増幅されて検索誤差に影響し、クエリ勾配の条件数も悪化することを示します。
- 低域通過フローマッチング
著者：Francesco M. Ruscio、T. Konstantin Rusch
作用素で変調した補間に基づく Flow Matching の変種。時間変化するスペクトルバイアスにより自然データのパワースペクトルに整合し、適応的 ODE ソルバーと組み合わせてサンプリングコストを大幅に削減します。
- AlphaQ：Mixture-of-Experts量子化のためのキャリブレーション不要なビット割り当て
著者：Wanqi Yang、Yuexiao Ma、Alexander Conzelmann、Xiawu Zheng、Michael W. Mahoney、T. Konstantin Rusch、Shiwei Liu
AlphaQ は、MoE の量子化に向けたキャリブレーション不要のビット割り当て手法です。学習データが非公開のフロンティア MoE でも、代用データに依存せずエキスパートの重要度を捉えます。
- 適応的なテスト時計算のためのオーバーヘッドなしの内省
著者：Rohin Manvi、Joey Hong、Tim Seyde、Maxime Labonne、Mathias Lechner、Sergey Levine
LLM は推論に優れる一方、自らの成功や必要な計算量を見積もる内省能力を欠いています。本稿ではオーバーヘッドなしの内省により、テスト時の計算量を適応的に配分する手法を提案します。
- マルチスケールガウスを用いた残基レベルのタンパク質ダイナミクス学習
著者：Mihir Bafna、Bowen Jing、Bonnie Berger
DynaProt は、静的なタンパク質構造から動的な性質の記述子を直接予測する軽量かつ SE(3) 不変のフレームワークです。分子動力学シミュレーションの高い計算コストという制約に対応します。
- Antislop：言語モデルにおける反復パターンの特定と除去のための包括的フレームワーク
著者：Samuel J Paech、Allen G Roush、Judah Goldfeder、Ravid Shwartz-Ziv
LLM 出力の反復的な語句パターン「slop」を検出・除去する包括的フレームワーク Antislop。バックトラッキング型サンプラー、自動プロファイリング、FTPO ファインチューニングの 3 つで構成されます。
- 状態空間モデルにおける学習中圧縮の興味深い事例
著者：Makram Chahine、Philipp Nazari、Daniela Rus、T. Konstantin Rusch
状態空間モデル（SSM）における表現力と計算負荷のバランスを、ハンケル特異値解析の枠組みから検討し、性能保証を伴う平衡打ち切りによる状態圧縮を学習中に行う手法を探ります。
- LFM2 技術レポート
著者：Alexander Amini、Anna Banaszak、Harold Benoit、Arthur Böök、Tarek Dakhran、Song Duong、Alfred Eng、Fernando Fernandes、Marc Härkönen、Anne Harrington、Ramin Hasani、他 22 名
効率的なオンデバイス展開に向けて設計された Liquid Foundation Models のファミリー「LFM2」。ゲート付き短距離畳み込みと少数のグループ化クエリアテンションを組み合わせ、CPU 上で最大 2 倍高速なプリフィルとデコードを実現します。
- RLは圧縮し、SFTは拡張する：推論LLMの比較研究
著者：Kohsei Matsutani、Shota Takashiro、Gouki Minegishi、Takeshi Kojima、Yusuke Iwasawa、Yutaka Matsuo
検証可能な報酬による強化学習（RLVR）と推論トレースの教師ありファインチューニング（SFT）が、LLM の推論能力をどう形作るのかを、推論経路を定量化する新しい分析フレームワークで比較検討します。
- グラフティングによる拡散 Transformer 設計の探索
著者：Keshigeyan Chandrasegaran、Michael Poli、Daniel Y. Fu、Dongjun Kim、Lea M. Hadzic、Manling Li、Agrim Gupta、Stefano Massaroli、Azalia Mirhoseini、Juan Carlos Niebles、Stefano Ermon、他 1 名
グラフティングは、学習済みの拡散 Transformer を 2% 未満の計算量で効率的なハイブリッドへと作り替え、高い品質と最大 1.43 倍の高速化を実現します。
- 実効状態サイズによるメモリ利用の定量化
著者：Rom N. Parnichkun、Neehal Tumma、Armin W. Thomas、Alessandro Moro、Qi An、Taiji Suzuki、Atsushi Yamashita、Michael Poli、Stefano Massaroli
系列モデルのメモリ利用を定量化する指標「実効状態サイズ（ESS）」を提案し、初期化と蒸留の改善に役立てます。
- STAR：用途に合わせたアーキテクチャの自動合成（Synthesis of Tailored Architectures）
著者：Armin W. Thomas、Rom Parnichkun、Alexander Amini、Stefano Massaroli、Michael Poli
STAR は、アーキテクチャのゲノムに対する進化的探索により、品質・サイズ・キャッシュの各面で Transformer を上回るハイブリッドモデルを自動設計します。
- 深層状態空間モデルにおける学習ダイナミクスの理論に向けて
著者：Jakub Smekal、Jimmy Smith、Michael Kleinman、Dan Biderman、Scott Linderman
深層状態空間モデルにおける学習ダイナミクスの理論に向けて
- ニューラルネットワークのパラメータ対称性、あるいはその欠如の経験的影響
著者：Derek Lim、Theo Putterman、Robin Walters、Haggai Maron、Stefanie Jegelka
ニューラルネットのパラメータ対称性（およびその欠如）が及ぼす実証的影響
- 大規模データセット蒸留とドメインシフト
著者：Noel Loo、Alaa Maalouf、Ramin Hasani、Mathias Lechner、Alexander Amini、Daniela Rus
ドメインシフトを伴う大規模データセット蒸留
- LLMとシミュレーションの双レベル最適化：物理科学の発見を進めるための新しいパラダイム
著者：Pingchuan Ma、Tsun-Hsuan Wang、Minghao Guo、Zhiqing Sun、Joshua B. Tenenbaum、Daniela Rus、Chuang Gan、Wojciech Matusik
二層最適化器としての LLM とシミュレーション：物理科学の発見を前進させる新しいパラダイム
- RoboGen：生成的シミュレーションによる自動化されたロボット学習のための無限のデータの解放に向けて
著者：Yufei Wang、Zhou Xian、Feng Chen、Tsun-Hsuan Wang、Yian Wang、Katerina Fragkiadaki、Zackory Erickson、David Held、Chuang Gan
RoboGen：生成的シミュレーションによるロボット学習自動化のための無限のデータ生成に向けて
- ポジション:グラフ機械学習理論の今後の方向性
著者：Christopher Morris、Fabrizio Frasca、Nadav Dym、Haggai Maron、Ismail Ilkan Ceylan、Ron Levie、Derek Lim、Michael M. Bronstein、Martin Grohe、Stefanie Jegelka
ポジションペーパー：グラフ機械学習の理論における今後の方向性
- ハイブリッドアーキテクチャの機構的設計とスケーリング
著者：Michael Poli、Armin W Thomas、Eric Nguyen、Pragaash Ponnusamy、Björn Deiseroth、Kristian Kersting、Taiji Suzuki、Brian Hie、Stefano Ermon、Christopher Re、Ce Zhang、他 1 名
ハイブリッドアーキテクチャの機構的設計とスケーリング
- 状態空間モデルの状態フリー推論：*伝達関数*アプローチ
著者：Rom Parnichkun、Stefano Massaroli、Alessandro Moro、Jimmy T.H. Smith、Ramin Hasani、Mathias Lechner、Qi An、Christopher Re、Hajime Asama、Stefano Ermon、Taiji Suzuki、他 2 名
状態空間モデルの状態フリー推論：*伝達関数*アプローチ
- 成長するQネットワーク：適応的な制御分解能による連続制御タスクの解決
著者：Tim Seyde、Peter Werner、Wilko Schwarting、Markus Wulfmeier、Daniela Rus
Growing Q-Networks：適応的な制御分解能による連続制御タスクの解法
- ニューラルタンジェントカーネルとデータセット蒸留による再構成攻撃の理解
著者：Noel Loo、Ramin Hasani、Mathias Lechner、Alexander Amini、Daniela Rus
ニューラル・タンジェント・カーネルとデータセット蒸留による再構成攻撃の理解
- 多様なニューラルアーキテクチャの処理のためのグラフ・メタネットワーク
著者：Derek Lim、Haggai Maron、Marc T. Law、Jonathan Lorraine、James Lucas
多様なニューラルアーキテクチャを扱うグラフ・メタネットワーク