Final Token Preference Optimization によるドゥームループの抑制

反復的な退化 [1] は、推論時によく見られる失敗パターンです。モデルがある一節（多くは「待って、考え直してみよう…」のような文言）を出力し、その同じ一節をコンテキストウィンドウが尽きるまで何度も繰り返してしまいます。私たちはこの現象を「ドゥームループ」と呼んでいます。小規模な推論モデルはこの挙動に陥りやすく、とりわけ長い思考トレースや難問で顕著です [2]。

推論時によく取られる対処法は、repetition_penalty を適用して出力分布を再重み付けすることです。しかしこれは対症療法にすぎず、性能を損なうこともあります。強化学習で反復ループを狙うこともできますが、通常は報酬の入念な調整とコストの高いオンラインロールアウトが必要になります。

私たちの手法は、より的を絞ったアプローチを取ります。ループの起点となるトークンを正確に特定し、その 1 箇所で一貫性のある代替候補を選ぶようモデルを学習させ、それ以外の分布はほとんど手を付けずに残します。この手法は Antislop [3] を応用したもので、単一の生成トークンを表す chosen / rejected のペアを用い、Final Token Preference Optimization（FTPO）で学習します。私たちはこのアプローチを「Antidoom」と呼んでいます。

LFM2.5-2.6B の初期チェックポイントでは、難易度の高い数学・コーディングのプロンプトに対する生成の 10.2% で反復ループが発生していました。Antidoom による学習後、その割合は 1.4% まで低下し、ループの減少そのものを直接の要因として評価スコアも全面的に改善しました。

ドゥームループの解剖

推論時のドゥームループは、3 つのメカニズムが重なって生じます。

メカニズム 1：過剰学習トークン + 不確実性
語彙のなかには、そもそも選ばれやすいトークンがあります。よく知られた例としては「delve」や「testament」があります。これは、モデルの学習データに合成データが使われている場合に起こりやすく、人間の文章では通常起こらないほどこれらの語の分布が高くなります。推論モデルでは、事前確率の高い継続語として、「Wait」「Alternatively」のような談話標識や自己内省を示すトークンが挙がりがちです。これらのトークン自体は悪いものではなく、有効な戦略変更、検証ステップ、推論トレースの分岐を示すこともあります。しかしモデルが不確実な状態や行き詰まりに陥ると、これらは魅力的な逃げ道となり、前進する代わりに同じ局所的な推論パターンを再開させてしまいます。

LFM2.5-2.6B の初期チェックポイントで、ドゥームループの起点になりやすかったトークンは次のとおりです。

count    share  token
   2277  11.39%  ' the'
    902   4.51%  ' So'
    644   3.22%  'Alternatively'
    511   2.56%  'Wait'
    493   2.46%  ' But'

モデルが不確実なとき、これらの過剰学習トークンが次トークン分布を支配します。難易度の高い数学やコーディングの問題で、推論トレースの内部にループが最も多く現れるのは、このためだと考えられます。 先行研究 [5, 6] も同様の説明をしています。尤度で学習したモデルは繰り返しや高頻度語に確率を過剰に割り当てうること、そして推論モデルは低温デコード下で有効な次の一手を見つけられないと、繰り返しに逃げ込んでループしうることが指摘されています。

メカニズム 2：直前の文脈がループを強化する

先に現れた並びは、後で同じ並びが現れる確率を高めます。繰り返すたびに、ループ区間の各トークンの確率は 1 に近づいていきます。

Duan ら [7] は、循環的推論に関する研究のなかでこのループを分析しています。彼らはこれを「V 字型」のアテンションパターンと結びつけ、意味的な繰り返し（モデルがひとつの発想から抜け出せなくなること）が、文字どおりの繰り返し（同じ語が出力に現れること）に先行することを見出しています。

メカニズム 3：貪欲サンプリング
推論モデルは、トレースを安定させ再現性を保つために低温で実行されるのが一般的です。temperature 0 では常に最尤トークンが選ばれるため、局所的に強化されたループには出口がありません。理論的には温度を上げれば助けになりますが、メカニズム 2 によってループトークンの確率が 1 近くまで押し上げられると、残りの語彙にはほとんど確率が残らないため、高い温度でもループから抜け出せないことがあります（私たちの結果でも temp=0.67 で顕著なループが見られました）。温度が低いほど、ループは悪化します。

失敗箇所を特定する

的を絞った学習データを作るため、ループを誘発するよう設計したプロンプト配合（LiquidAI/antidoom-mix-v1.0）で低温の生成を行い、失敗例を採掘します。

ある区間が 60 文字以上にわたって 4 回以上繰り返された場合、そのサンプルはループとみなします。実際には、この条件が偽陽性と偽陰性の双方を抑えるのに役立ちます。ループ区間が特定できたら、狙いを定めるのは 最初の繰り返しの先頭トークン

です。その位置でベースモデルの上位 k 個の対数確率候補を取り出し、短いものや英数字以外のノイズを除外して、妥当な代替候補を最大 20 個まで chosen トークンとして残します。学習の各行は［プロンプト接頭辞、rejected トークン 1 つ、1 つ以上の chosen トークン］の組で構成されます。学習前には rejected と chosen の分布を正則化します。そうしないと少数の常習犯（Wait, So, the）が支配的になり、それらを抑え込みすぎると推論能力が損なわれるためです。

Final Token Preference Optimization

Final Token Preference Optimization（FTPO）は、Direct Preference Optimization（DPO）[4] に似た選好最適化アルゴリズムです。学習サンプルはプロンプト、chosen の継続、rejected の継続から成ります [3]。分布のごく一部のトークンだけを狙って変更し、それ以外のモデルの挙動をできるだけ乱さないよう、一から設計されています。

FTPO は DPO と次の点で異なります。

  1. 最終トークンのみを学習： 生成の途中にある系列の末尾トークンだけを学習対象とします。
  2. サンプルごとに複数の chosen トークン： 確率を複数の代替トークンに分散させるため、過剰学習された 1 つのトークンを別の 1 つに置き換えるだけにはなりません。
  3. ロジット空間で実装した KL 類似の損失項： softmax を省いてロジット上で参照モデルからの乖離を計算することで、無関係なトークンへの勾配圧力を避けます。
  4. 2 段構えの正則化： 学習対象とするロジット（chosen と rejected のトークン）は参照モデルに対して比較的自由に動けるようにし、残りの語彙はより強く制約します。参照に近い状態を保ちながら、学習しやすさを高められます。

Antidoom の実装では、通常 LoRA で 1 エポック学習します。LoRA のランクは高め（rank=128〜256）が最も良い結果 — 高い学習しやすさと低い劣化 — をもたらすことが分かりました。学習対象はすべてのアテンションおよび MLP の射影に加えて lm_head で、最適な学習率はおよそ 4e-6〜2e-5 でした。

過学習は容易に起こります。そこで chosen_win（chosen が rejected を上回っているサンプルの割合）を条件に早期終了させます。chosen_win=0.35 で止めると、劣化を最小限に抑えつつ、ドゥームループ発生率を 20〜30% から 1〜2% まで下げられるのが一般的でした。それ以上学習を続けるとモデルが劣化する傾向があり、新たなドゥームループを生むこともありました。

LFM2.5-2.6B の初期チェックポイントの場合、学習データの生成に MI325 GPU 8 基で約 1 時間、続く学習に MI325 GPU 1 基で約 1〜2 時間かかります。学習データの生成時間はモデルのドゥームループ発生率に左右されます。ペアを 2 万件集めた時点で打ち切るためです。

結果

ドゥームループの発生率を測るため、推論負荷の高い多様なプロンプトに対して応答を生成し、退化した繰り返しを示すサンプルを数えます。

学習後、LFM2.5-2.6B の初期チェックポイントにおけるドゥームループ発生率は 10.2% から 1.4% に低下しました。評価スコアも全面的に改善しており、これはすべてループの減少によるものです。学習データは数学やコードについて新しいことを何も教えていません。モデルがもともと出せたはずの答えに到達するのを妨げていた失敗パターンを取り除いただけです。

推論中に反復ループを起こしやすいことが知られる Qwen3.5-4B も Antidoom のパイプラインで学習させました。貪欲サンプリング下でドゥームループ発生率は 22.9% から 1% に低下し、評価スコアは大きく向上しました。

LFM2.5-2.6B 初期チェックポイント：

ベースラインのチェックポイント（LFM2.5-2.6B-early-ckpt）では、温度が上がるにつれて評価スコアがドゥームループ発生率と逆相関で変化します。Antidoom 学習後にスコアが大幅に高くなることから、ドゥームループがベンチマークスコアを直接押し下げていたと推測できます。

Antidoom 学習後には副次的な効果も見えてきます。チェックポイントは temp=1.0 で性能が低下するのです。これは想定どおりです。温度を上げたサンプリングでは、選好度の低いトークンが選ばれやすくなるため性能を損ないうることは一般に知られています。推論モデルでは解空間を探索できるよう高い温度の方が望ましい、という通説がありました。しかしこの直感は、ドゥームループという支配的な効果と混同された、的外れなものだったのかもしれません。ドゥームループを取り除くと、少なくとも今回検証したモデルでは、ほぼ貪欲なサンプリングの方が高い評価性能を示しました。

Qwen3.5-4B:

Qwen-3.5-4B は Antidoom 学習後、さらに大きな性能向上を示しました。傾向は LFM2.5-2.6B と同じで、低いサンプリング温度で恩恵が最大となり、ループが要因でなくなった後には temp=1 に近づくにつれて性能が下がるパターンが表面化します。

実務上は、Antidoom を複数回適用すると効果的な場合があることが分かりました。1 回目の後、ループの原因となるトークンが rejected とされ、その位置の確率が chosen の代替候補へ再配分されるため、発生率は下がります。しかしこれにより、分布の別の場所で他のトークンがループを引き起こすという新たな失敗箇所 が表面化することがあります。もう 1 回 Antidoom を適用してこれら新たなループを狙えば、発生率をさらに下げられます。

まとめ

Antidoom は、学習後によく見られる退化した反復挙動 — とりわけ思考型モデルで顕著なもの — を修復します。ループの起点となる問題トークンを選択的に狙い、残りの分布への巻き添え被害は最小限です。これまでの結果は、Liquid の社内 LFM チェックポイントでも Qwen3.5-4B でも、反復ループをほぼ完全に解消できることを示しています。

リポジトリの README には、学習パイプラインの使い方と適切なハイパーパラメータの選び方についての指針があります。

コード（生成、検出、FTPO トレーナー）は次で公開しています： github.com/Liquid4All/antidoom.

謝辞

執筆：Sam Paech。協力：Maxime Labonne、Justin Li、Leonie Monigatti、Nathan Ranchin、Tim Seyde、Sergei Tilga。

引用

引用の際は、以下の参考文献または BibTeX をご利用ください。

Liquid AI, "Reducing Doom Loops with Final Token Preference Optimization", Liquid AI Blog, July 2026.

@article{liquidAI2026Antidoom,
    author = {Liquid AI},
    title = {Reducing Doom Loops with Final Token Preference Optimization},
    journal = {Liquid AI Blog},
    year = {2026},
    note = {www.liquid.ai/blog/antidoom}
}

参考文献

[1] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. (2020). The Curious Case of Neural Text Degeneration. International Conference on Learning Representations. https://openreview.net/forum?id=rygGQyrFvH

[2] Liquid AI, "LFM2.5-1.2B-Thinking: On-Device Reasoning Under 1GB", Liquid AI Blog, Jan 2026.

[3] Samuel J. Paech, Allen G. Roush, Judah Goldfeder, and Ravid Shwartz-Ziv. (2026). Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models. The Fourteenth International Conference on Learning Representations. https://openreview.net/forum?id=gLcyM1khyp

[4] Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, and Chelsea Finn. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. https://arxiv.org/abs/2305.18290

[5] Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and Jason Weston. (2020). Neural Text Generation with Unlikelihood Training. International Conference on Learning Representations. https://openreview.net/forum?id=SJeYe0NtvH

[6] Charilaos Pipis, Shivam Garg, Vasilis Kontonis, Vaishnavi Shrivastava, Akshay Krishnamurthy, and Dimitris Papailiopoulos. (2025). Wait, Wait, Wait... Why Do Reasoning Models Loop? https://arxiv.org/abs/2512.12895

[7] Zenghao Duan, Liang Pang, Zihao Wei, Wenbin Duan, Yuxin Tian, Shicheng Xu, Jingcheng Deng, Zhiyi Yin, and Xueqi Cheng. (2026). Circular Reasoning: Understanding Self-Reinforcing Loops in Large Reasoning Models. https://arxiv.org/abs/2601.05693