モデルはメモリをどの程度効果的に使用するか

状態／キャッシュのサイズが同じであっても、モデルによってメモリをどれだけうまく活用できるかは大きく異なり、それがリコール、圧縮、学習のしやすさに影響します。

本稿では、メモリ活用度の代理指標である実効状態サイズ（Effective State-Size、ESS）を紹介します。

アテンション、SSM、ゲート付き畳み込みなど、多くの深層学習の系列モデルは、本質的に y = T(u)u と表せます。ここで T(u) は入力に依存する行列です。

古典的な信号処理の結果を拡張することで、等価な再帰はいずれも、サイズが T(u) の部分行列のランク以上である状態を実体化しなければならないことを示します。このランクを ESS と定義し、モデルのメモリ活用度の尺度として解釈します。

ESS の分析から、いくつかの重要な知見が得られました。

• 状態圧縮：ESS が高い（メモリ活用度が高い）系列モデルは、状態サイズの小さい生徒モデルへ蒸留するのが困難です。
• 初期化と特徴量化：ESS を初期化や特徴量化の設計に役立てることで、リコール性能を向上させられます。
• 状態変調：ESS は各タイムステップで追跡できるため、モデルがコンテキストに応じて（たとえば EOS トークンの前後で）メモリ使用量をどのように調整しているかが明らかになります。ESS をより効果的に変調できる LLM ほど、リコールを多用するタスクで高い性能を示す傾向があることがわかりました。

本研究は ICML 2025 に採択されました。

詳細は論文「Quantifying Memory Utilization with Effective State-Size」をご覧ください。

引用

本研究を利用する場合は、以下のテクニカルレポートを引用してください。

@inproceedings{parnichkun2025quantifying,
  title     = {Quantifying Memory Utilization with Effective State-Size},
  author    = {Parnichkun, Rom and Tumma, Neehal and Thomas, Armin W. and Moro, Alessandro and An, Qi and Suzuki, Taiji and Yamashita, Atsushi and Poli, Michael and Massaroli, Stefano},
  booktitle = {Proceedings of the 42nd International Conference on Machine Learning},
  pages     = {48276--48334},
  year      = {2025},
  volume    = {267},
  series    = {Proceedings of Machine Learning Research},
  publisher = {PMLR},
}