ニュースと最新情報

  • Perceiving and Predicting Dynamic Sports: Spatiotemporal Intelligence in Vision Models for Egocentric Tennis Video

    著者:Tudor Braicu、Joseph DelPreto、Jared Boyer、Mónika Farsang、Maximilian Stölzle、Tim Niklas Seyde、Daniela Rus

    A new egocentric tennis video dataset is used to benchmark image encoders, video encoders, and vision-language models on seven tasks, including player and ball localization, trajectory forecasting, and contact timing. The paper also introduces a diffusion model that generates whole-body tennis motion in real time from the vision predictions.

  • Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning

    著者:T. Konstantin Rusch、Tim Seyde、Jared Boyer、Zach J. Patterson、Daniela Rus

    Looped Actor is a transformer policy that reuses the same parameters across repeated passes and adapts the number of loops to each state. Across 22 tasks in six environments it matches or beats an untied baseline with 16x more parameters, with the largest gains on tasks that require multistep planning.

  • 老化生物学における AI のためのオープンなベンチマークと言語モデル

    著者:Alex Zhavoronkov、Vladimir Naumov、Denis Sidorenko、Alex Aliper、Vladimir Aladinskiy、Ramin Hasani、Alexander Amini、Katerina Nasto、Mathieu Reymond、Rim Shayakhmetov、Zulfat Miftakhutdinov、他 2 名

    5 つの生物データ領域にまたがる 17 タスクのオープンなスイート LongevityBench を発表し、6 つの開発チームによる 18 のフロンティア AI システムを評価します。

  • Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

    著者:Yongmin Kim、Shota Takashiro、Yusuke Iwasawa、Takeshi Kojima、Yutaka Matsuo

    A training-free pruning method for large reasoning models under batched inference that uses periodic top-k neuron selection and an activation memory. At 50% sparsity on DeepSeek-R1-Distill-Qwen-7B it gains 39.7 points of average accuracy over the previous best adaptive pruning method and runs 1.40x faster than dense inference.

  • MMAI Gym for Science: Training Liquid Foundation Models for Drug Discovery

    著者:Maksim Kuznetsov、Zulfat Miftahutdinov、Rim Shayakhmetov、Mikolaj Mizera、Roman Schutski、Bogdan Zagribelnyy、Ivan Ilin、Nikita Bondarev、Thomas MacDougall、Mathieu Reymond、Mihir Bafna、他 9 名

    MMAI Gym for Science provides molecular data, training recipes, and benchmarks for teaching foundation models to reason about molecules. A Liquid Foundation Model trained with it approaches specialist performance on molecular optimization, ADMET prediction, retrosynthesis, and drug-target activity, and outperforms larger models in most settings. Accepted to EMNLP 2026.

  • 事前学習済み LLM のためのインプレース・トークナイザー拡張

    著者:Jimmy T.H. Smith、Tarek Dakhran、Alberto Cabrera、Simon S. Lee、Paul Pak、Aditya Tadimeti、Tim Seyde、Maxime Labonne、Alexander Amini、Mathias Lechner

    事前学習済み LLM のトークナイザーをその場で拡張する新たな手法。品質を損なうことなく、英語以外のトークン数を最大 4 分の 1 に削減します。

  • Multi-Agent Robotic Control with Onboard Vision-Language Models

    著者:Kajetan Rachwał、Maciej Majek、Bartłomiej Boczek、Jakub Matejczyk、Dominik Matejkowski、Adam Dąbrowski、Tim Seyde、Alexander Amini、Maria Ganzha

    A multi-agent system that runs entirely on onboard hardware using compact vision-language models to control a mobile manipulator in a simulated warehouse across inspection, maintenance, search, and human-request tasks.

  • Dango: Predicting higher-order genetic interactions

    著者:Ruochi Zhang、Mihir Bafna、Jianzhu Ma、Jian Ma

    Dango is a self-attention hypergraph neural network that predicts genetic interactions among groups of three or more genes. Applied to yeast, it predicts over 400 million trigenic interactions and recovers known and new biological functions related to cell growth.

  • Fixed-Point Reasoners:安定かつ適応的な深層ループ型 Transformer

    著者:Sajad Movahedi、Vera Milovanović、Shlomo Libo Feigin、Alexander Theus、Thomas Hofmann、Valentina Boeva、T. Konstantin Rusch、Antonio Orvieto

    FPRM は、ループ型アーキテクチャ向けの Transformer ベースの不動点推論モデルです。pre-norm 層、残差スケーリング、不動点による停止判定を用いて信号伝播を改善し、タスクの難易度に応じて計算量を調整。数独、迷路、状態追跡、ARC-AGI で高い成果を示します。

  • ニューラル低食い違い量列(Neural Low-Discrepancy Sequences)

    著者:Michael Etienne Van Huffel、Nathan Kirk、Makram Chahine、Daniela Rus、T. Konstantin Rusch

    NeuroLDS は、有限の低食い違い量列に対する初の機械学習フレームワークです。接頭辞ディスクレパンシーの小さい点列を生成し、数値積分、ロボットの動作計画、科学機械学習、シミュレーションの各領域で従来の LDS 手法を上回ります。

  • SwitchCraft:状態を切り替えるタンパク質を設計するプログラマブルなフレームワーク

    著者:Bowen Jing、Mihir Bafna、Anisha Parsan、Heyuan Michael Ni、David Kwabi-Addo、Bryan Bryson、Adam Klivans、Bonnie Berger

    SwitchCraft は、構成的な制約と構造予測モデルを通じた誤差逆伝播により、状態を切り替えるタンパク質を設計するプログラマブルなフレームワークです。アロステリック制御、リガンド識別、バイオテクノロジー向けの de novo 蛍光バイオセンサー設計を可能にします。

  • MeMo:記憶としてのモデル

    著者:Ryan Wei Heng Quek、Sanghyuk Lee、Alfred Wei Lun Leong、Arun Verma、Alok Prakash、Nancy F. Chen、Bryan Kian Hsiang Low、Daniela Rus、Armando Solar-Lezama

    MeMo(Model as a Memory)は、モデルの重みを変更せずに LLM へ最新のドメイン固有知識を追加するモジュール型フレームワークです。文書横断の関係を捉え、検索ノイズに強く、破局的忘却を回避し、オープンソース/クローズドソースいずれのモデルともプラグアンドプレイで利用できます。

  • Preconditioned DeltaNet:線形再帰のための曲率を考慮した系列モデリング

    著者:Neehal Tumma、Noel Loo、Daniela Rus

    前処理付きデルタ則の再帰は、オンライン最小二乗法から得られる曲率を取り込むことで、劣二次の長文脈モデリングを改善します。本手法は線形アテンションとデルタ則を結びつけ、DeltaNet・GDN・KDA の効率的な変種を導入して、再現性能と言語モデリング性能を向上させます。

  • Stability and Generalization in Looped Transformers

    著者:Asher Labovich

    A fixed-point framework for analyzing looped transformers in terms of reachability, input-dependence, and geometry. It shows that looped networks without recall cannot achieve strong input-dependence, while recall with outer normalization yields reachable, input-smooth fixed points with stable backpropagation. Experiments on chess, sudoku, and prefix-sums follow these predictions, and a new internal-recall variant performs best on sudoku.

  • 線形アテンションにおける状態削減の鍵:ランクに基づく視点

    著者:Philipp Nazari、T. Konstantin Rusch

    線形アテンションにおけるランクの役割を理論的に分析。実効ランクが低いとクエリノイズが増幅されて検索誤差に影響し、クエリ勾配の条件数も悪化することを示します。

  • 低域通過フローマッチング

    著者:Francesco M. Ruscio、T. Konstantin Rusch

    作用素で変調した補間に基づく Flow Matching の変種。時間変化するスペクトルバイアスにより自然データのパワースペクトルに整合し、適応的 ODE ソルバーと組み合わせてサンプリングコストを大幅に削減します。

  • AlphaQ:Mixture-of-Experts量子化のためのキャリブレーション不要なビット割り当て

    著者:Wanqi Yang、Yuexiao Ma、Alexander Conzelmann、Xiawu Zheng、Michael W. Mahoney、T. Konstantin Rusch、Shiwei Liu

    AlphaQ は、MoE の量子化に向けたキャリブレーション不要のビット割り当て手法です。学習データが非公開のフロンティア MoE でも、代用データに依存せずエキスパートの重要度を捉えます。

  • 適応的なテスト時計算のためのオーバーヘッドなしの内省

    著者:Rohin Manvi、Joey Hong、Tim Seyde、Maxime Labonne、Mathias Lechner、Sergey Levine

    LLM は推論に優れる一方、自らの成功や必要な計算量を見積もる内省能力を欠いています。本稿ではオーバーヘッドなしの内省により、テスト時の計算量を適応的に配分する手法を提案します。

  • マルチスケールガウスを用いた残基レベルのタンパク質ダイナミクス学習

    著者:Mihir Bafna、Bowen Jing、Bonnie Berger

    DynaProt は、静的なタンパク質構造から動的な性質の記述子を直接予測する軽量かつ SE(3) 不変のフレームワークです。分子動力学シミュレーションの高い計算コストという制約に対応します。

  • Antislop:言語モデルにおける反復パターンの特定と除去のための包括的フレームワーク

    著者:Samuel J Paech、Allen G Roush、Judah Goldfeder、Ravid Shwartz-Ziv

    LLM 出力の反復的な語句パターン「slop」を検出・除去する包括的フレームワーク Antislop。バックトラッキング型サンプラー、自動プロファイリング、FTPO ファインチューニングの 3 つで構成されます。

  • 状態空間モデルにおける学習中圧縮の興味深い事例

    著者:Makram Chahine、Philipp Nazari、Daniela Rus、T. Konstantin Rusch

    状態空間モデル(SSM)における表現力と計算負荷のバランスを、ハンケル特異値解析の枠組みから検討し、性能保証を伴う平衡打ち切りによる状態圧縮を学習中に行う手法を探ります。

  • LFM2 技術レポート

    著者:Alexander Amini、Anna Banaszak、Harold Benoit、Arthur Böök、Tarek Dakhran、Song Duong、Alfred Eng、Fernando Fernandes、Marc Härkönen、Anne Harrington、Ramin Hasani、他 22 名

    効率的なオンデバイス展開に向けて設計された Liquid Foundation Models のファミリー「LFM2」。ゲート付き短距離畳み込みと少数のグループ化クエリアテンションを組み合わせ、CPU 上で最大 2 倍高速なプリフィルとデコードを実現します。

  • RLは圧縮し、SFTは拡張する:推論LLMの比較研究

    著者:Kohsei Matsutani、Shota Takashiro、Gouki Minegishi、Takeshi Kojima、Yusuke Iwasawa、Yutaka Matsuo

    検証可能な報酬による強化学習(RLVR)と推論トレースの教師ありファインチューニング(SFT)が、LLM の推論能力をどう形作るのかを、推論経路を定量化する新しい分析フレームワークで比較検討します。

  • グラフティングによる拡散 Transformer 設計の探索

    著者:Keshigeyan Chandrasegaran、Michael Poli、Daniel Y. Fu、Dongjun Kim、Lea M. Hadzic、Manling Li、Agrim Gupta、Stefano Massaroli、Azalia Mirhoseini、Juan Carlos Niebles、Stefano Ermon、他 1 名

    グラフティングは、学習済みの拡散 Transformer を 2% 未満の計算量で効率的なハイブリッドへと作り替え、高い品質と最大 1.43 倍の高速化を実現します。

  • 実効状態サイズによるメモリ利用の定量化

    著者:Rom N. Parnichkun、Neehal Tumma、Armin W. Thomas、Alessandro Moro、Qi An、Taiji Suzuki、Atsushi Yamashita、Michael Poli、Stefano Massaroli

    系列モデルのメモリ利用を定量化する指標「実効状態サイズ(ESS)」を提案し、初期化と蒸留の改善に役立てます。

  • STAR:用途に合わせたアーキテクチャの自動合成(Synthesis of Tailored Architectures)

    著者:Armin W. Thomas、Rom Parnichkun、Alexander Amini、Stefano Massaroli、Michael Poli

    STAR は、アーキテクチャのゲノムに対する進化的探索により、品質・サイズ・キャッシュの各面で Transformer を上回るハイブリッドモデルを自動設計します。

  • 深層状態空間モデルにおける学習ダイナミクスの理論に向けて

    著者:Jakub Smekal、Jimmy Smith、Michael Kleinman、Dan Biderman、Scott Linderman

    深層状態空間モデルにおける学習ダイナミクスの理論に向けて

  • ニューラルネットワークのパラメータ対称性、あるいはその欠如の経験的影響

    著者:Derek Lim、Theo Putterman、Robin Walters、Haggai Maron、Stefanie Jegelka

    ニューラルネットのパラメータ対称性(およびその欠如)が及ぼす実証的影響

  • 大規模データセット蒸留とドメインシフト

    著者:Noel Loo、Alaa Maalouf、Ramin Hasani、Mathias Lechner、Alexander Amini、Daniela Rus

    ドメインシフトを伴う大規模データセット蒸留

  • LLMとシミュレーションの双レベル最適化:物理科学の発見を進めるための新しいパラダイム

    著者:Pingchuan Ma、Tsun-Hsuan Wang、Minghao Guo、Zhiqing Sun、Joshua B. Tenenbaum、Daniela Rus、Chuang Gan、Wojciech Matusik

    二層最適化器としての LLM とシミュレーション:物理科学の発見を前進させる新しいパラダイム