エッジデバイス用の畳み込みマルチハイブリッド

人工知能は急速にユビキタスなものとなり、大規模なクラウドデプロイから、スマートフォンやノート PC のようなリソースの限られたエッジデバイスまで、幅広いアプリケーションを支えています。目覚ましい進歩にもかかわらず、SmolLM2（Allal et al., 2025）、Phi モデル（Abdin et al., 2024）、Llama 3.2 1B（Grattafiori et al., 2024）など、エッジでのデプロイ向けに最適化された現在の小型モデルのほとんどは、並列化可能な計算と効率的なカーネルを理由に、アテンション演算子を備えた Transformer ベースのアーキテクチャに主に依存しています（Vaswani et al., 2017）。アーキテクチャの最適化は、GPU 向けであっても非常に困難な場合があります。ハイブリッドアーキテクチャは品質の向上をもたらすことが示されていますが、エッジでのデプロイにとって重要な領域、特に短いプロンプトでは、高度に最適化された Transformer よりもデプロイ時に低速になることが少なくありません。このことは、ターゲットハードウェアに合わせた性能指標を用いて、モデルアーキテクチャと推論ランタイムを共同で最適化することの重要性を浮き彫りにしています。

本日、Hyena Edge と呼ばれる Liquid のアーキテクチャをご紹介します。これは畳み込みベースのマルチハイブリッドモデルで、Samsung S24 Ultra スマートフォンでのベンチマークにおいて、エッジハードウェア上の計算効率とモデル品質の両面で、Transformer ベースの強力なベースラインに匹敵するだけでなく、それを上回ります。Hyena Edge の設計には、私たちが最近提案したエンドツーエンドの自動モデル設計フレームワークを使用しました。

今後数か月のうちに、Hyena Edge を含む一連の Liquid 基盤モデルをオープンソース化する予定です。AI エッジで可能なことの限界に引き続き挑戦していきますので、どうぞご期待ください。

STAR によるアーキテクチャ最適化の自動化

アーキテクチャを体系的に探索・最適化するため、ICLR ‘25 で発表した、私たちが最近導入した自動アーキテクチャ最適化フレームワークである STAR（Thomas et al., 2024）を使用しました。STAR は進化的原理と線形システム理論を組み合わせ、アーキテクチャ空間を効率的に探索して、効率と品質性能の最適なトレードオフへと導きます。

STAR を 16 個の候補アーキテクチャからなる集団で初期化し、24 世代にわたって進化させました。探索空間には、Hyena（Poli et al., 2023; Ku et al., 2025）に着想を得た畳み込み演算子の複数のバリエーションが含まれます。Hyena（Full）：Hyena の内部畳み込みに加えて、ゲーティング機構にも畳み込みを含みます。Hyena-X（Chandrasegaran et al., 2025）：内部畳み込みを除外します。Hyena-Y（Chandrasegaran et al., 2025）：特徴グループ（ゲート）内の畳み込みを除外します。これら 3 種類の Hyena に加えて、学習される短い明示的（SE）畳み込みフィルタの長さも 3〜128 の範囲で変化させ、合計 18 個の畳み込み演算子のセットを得ました。探索空間にはさらに、GQA（KV ヘッド数を変化させたもの。Shazeer, 2019）と SwiGLU（内部の幅を変化させたもの。Shazeer, 2020）のバリエーションも含まれます。

^{Video 1. Hyena 演算子の進化の概要。上：散布図は集団内の各アーキテクチャを示します。色付きの線は、初期集団に対する目標指標の平均的な変化を表します。下：ヒストグラムは現在の集団における各演算子の総数を示します。色付きの線は、集団全体に占める各演算子カテゴリの割合を表します。}

STAR は、S24 Ultra 上で事前に計測した個々の演算子のレイテンシとメモリ使用量、および学習中のパープレキシティに基づき、レイテンシ、メモリ使用量、モデル品質に関する効率と品質のフロンティアに向けて、アーキテクチャの集団を反復的に進化させます¹。‍

Hyena-Y の台頭

興味深いことに、アーキテクチャが効率と品質のフロンティアに近づくにつれて、STAR は次第に Hyena-Y 畳み込みを優先するようになり、レイテンシ、メモリ、品質の各指標にわたって優れたバランスを示しました。この知見を活かし、最終的な Hyena Edge アーキテクチャでは、最先端の GQA-Transformer++ ベースラインに含まれる GQA 演算子の 3 分の 2 を、Hyena-Y ファミリーの最適化されたゲート付き畳み込みに戦略的に置き換えています。

Hyena Edge のベンチマーク

Hyena Edge の性能を、パラメータ数をそろえた GQA-Transformer++ ベースラインと比較評価しました。両モデルを同じ 1,000 億トークンのデータセットで学習させたうえで、レイテンシ、メモリ使用量、言語モデリングのベンチマークに注目しました。

Hyena Edge は、あらゆる面で Transformer ベースのベースラインを上回ります。

効率：Hyena Edge は、Samsung S24 Ultra 上で一貫してより高速なプリフィルおよびデコードのレイテンシを示しました。プリフィルのレイテンシは一般的な系列長全体で著しく低く、デコードのレイテンシは >256 トークンの系列でより高速でした。重要なのは、Hyena Edge では系列長に対するレイテンシのスケーリングが改善されており、長い系列ではデコードとプリフィルのレイテンシが最大 30% 高速になり、最も短い系列長ではプリフィルのレイテンシがさらに高速になることです。代替アーキテクチャの多くは、大幅に長い系列でしかレイテンシが改善しないため、これは代替アーキテクチャにとって画期的な成果です。さらに、Hyena Edge は、すべての系列長において、GQA-Transformer++ ベースラインよりもデプロイ時のメモリ使用量が少なくて済みます。

モデル品質：Wikitext、Lambada、Hellaswag、Winogrande、Piqa、Arc-easy、Arc-challenge など、小規模言語モデル向けの一般的なさまざまな言語モデリングベンチマークにおいて、Hyena Edge は一貫して GQA-Transformer++ ベースラインを上回りました。‍

妥協のない効率性

Hyena Edge は、AI のエッジデプロイにおける一歩前進を示すものです。畳み込みベースのマルチハイブリッドアーキテクチャが、エッジデバイスにとって重要な効率と品質の性能指標において従来の Transformer モデルを上回りうることを示したことで、実用的なエッジアプリケーション向けに最適化された代替的な計算プリミティブの幅広い採用への扉を開きます。

^{1 アーキテクチャの最適化は、演算子 32 個という目標どおりの深さで行いますが、幅は最終アーキテクチャの 2048 に対して 512 に縮小しています（アテンションヘッドのサイズは 64 で一定）。STAR による進化の過程で生成される各候補アーキテクチャのレイテンシとメモリ使用量は、あらかじめ計測した個々の演算子のプロファイルを、含まれるすべての演算子について合算して近似しています。品質（パープレキシティで推定）は、5B トークン分の学習後に評価しています。}

参考文献：

• Allal, L. B., Lozhkov, A., Bakouch, E., Blázquez, G. M., Penedo, G., Tunstall, L., ... & Wolf, T. (2025). SmolLM2: When Smol Goes Big--Data-Centric Training of a Small Language Model. arXiv preprint arXiv:2502.02737.
• Abdin, M., Aneja, J., Behl, H., Bubeck, S., Eldan, R., Gunasekar, S., ... & Zhang, Y. (2024). Phi-4 technical report. arXiv preprint arXiv:2412.08905
• Grattafiori, A., Dubey, A., Jauhri, A., Pandey, A., Kadian, A., Al-Dahle, A., ... & Vasic, P. (2024). The llama 3 herd of models. arXiv preprint arXiv:2407.21783.
• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.
• Katharopoulos, A., Vyas, A., Pappas, N., & Fleuret, F. (2020, November). Transformers are rnns: Fast autoregressive transformers with linear attention. In International conference on machine learning (pp. 5156-5165). PMLR.
• Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint arXiv:2312.00752.
• Poli, M., Massaroli, S., Nguyen, E., Fu, D. Y., Dao, T., Baccus, S., ... & Ré, C. (2023, July). Hyena hierarchy: Towards larger convolutional language models. In International Conference on Machine Learning (pp. 28043-28078). PMLR.
• Hasani, R., Lechner, M., Wang, T. H., Chahine, M., Amini, A., & Rus, D. (2022). Liquid structural state-space models. arXiv preprint arXiv:2209.12951.
• Thomas, A. W., Parnichkun, R., Amini, A., Massaroli, S., & Poli, M. (2024). STAR: Synthesis of Tailored Architectures. arXiv preprint arXiv:2411.17800.
• Ku, J., Nguyen, E., Romero, D. W., Brixi, G., Yang, B., Vorontsov, A., ... & Poli, M. (2025). Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale. arXiv preprint arXiv:2503.01868.
• Chandrasegaran, K., Poli, M., Fu, D. Y., Kim, D., Hadzic, L. M., Li, M., Gupta, A., Massaroli, S., Mirhoseini, A., Niebles, J. C., Ermon, S., & Li, F.-F. (2025). Exploring Diffusion Transformer Designs via Grafting. arXiv preprint. To appear.
• Shazeer, N. (2019). Fast transformer decoding: One write-head is all you need. arXiv preprint arXiv:1911.02150.
• Shazeer, N. (2020). Glu variants improve transformer. arXiv preprint arXiv:2002.05202.