LFM2-Audio: エンドツーエンドのオーディオ基盤モデル
本日、私たちは LFM2-Audio-1.5B を発表します。これは音声およびテキスト生成のためのエンドツーエンド基盤モデルです。低レイテンシを重視して設計されており、わずか15億パラメータで高品質かつ応答性の高い会話を可能にします。このモデルは、LFM2ファミリーをオーディオとテキストの領域へ拡張したものです。
LFM2-Audio は、音声入力とテキスト入力、またはその出力をシームレスに切り替えることができます。これにより、リアルタイムチャットボット、自動音声認識（ASR）、テキスト読み上げ（TTS）など、さまざまな応用に対応できる動的で実用的な基盤を提供します。しかも、これらすべてを単一のマルチモーダル基盤モデルでまかなえます。軽量なアーキテクチャにより、さまざまなデバイス環境でのスムーズなデプロイと効率的な推論を実現します。
アーキテクチャ
LFM2-Audio-1.5B は、LFM2-1.2B 言語モデルを拡張し、テキストとオーディオの両方を入力および出力の第一級モダリティとしてサポートします。
この言語モデルのバックボーンは、テキストまたはオーディオを表すトークンのシーケンス上で動作します。入力側では、モデルはテキストトークンとオーディオトークンの両方を同じ共有空間に取り込み、トークン化することができます。出力側では、タスクに応じて、どちらのモダリティも自己回帰的に生成できます。
オーディオをネイティブにモデリングする:他のオーディオ基盤モデルとは異なり、我々はオーディオ入力（連続トークン埋め込み）と出力（離散トークンコード）の表現を別々の「表現」として分離しています。オーディオ入力を連続的な特徴として保持することで、離散的なトークン化によって生じるアーティファクトを回避し、豊かな表現を提供します。一方で、生成のために離散的なオーディオトークンを出力することで、モデルを統一的なエンドツーエンドの次トークン予測器として訓練でき、全体的な品質が劇的に向上します。
入力の理解:オーディオ入力処理の品質を最大化するため、トークナイザーを用いないアプローチを採用しています。生のオーディオ波形は短いセグメント（約 80 ミリ秒ごと）に分割され、それぞれが LFM2 バックボーンのネイティブ埋め込み空間に直接投影されます。
出力生成：音声を出力する際、LFM2-Audio はテキストトークンと同じ要領で離散的な音声トークンを予測します。これらのトークンは、その後、生の音声波形へとデコードされます。各トークンは短い音の断片を表し、デコードして組み合わせることで、なめらかで連続した音声になります。生成音声の品質を高めるため、LFM2-Audio は 1 ステップあたり最大 8 個の離散音声トークンをデコードでき、より豊かで表現力のある音声出力が可能です。
評価
LFM2-Audio は、より大規模なモデルと比較しても、音声および言語タスクの両方で優れた結果を達成しています。9 つの音声インタラクションベンチマークで構成される VoiceBench では、わずか 15 億パラメータで全体スコア 56.8 を記録しました。ASR（自動音声認識）に特化したモデルではないにもかかわらず、Whisper-large-v3 のような ASR 専用モデルと同等、もしくはそれを上回る品質を示しています。これは、エッジ環境で動作可能なモデルでも、汎用性とタスク特化型の品質を両立できることを証明しています。
VoiceBench評価
（数値が高いほど良い）
LFM2-Audio-1.5B 1.5B パラメータ | Moshi 7B パラメータ | Qwen2.5-Omni-3B 5B パラメータ | Mini-Omni2 0.6B パラメータ | |
|---|---|---|---|---|
AlpacaEval | 3.71 | 2.01 | 3.72 | 2.32 |
CommonEval | 3.49 | 1.60 | 3.51 | 2.18 |
WildVoice | 3.17 | 1.30 | 3.42 | 1.79 |
SD-QA | 30.56 | 15.64 | 44.94 | 9.31 |
MMSU | 31.95 | 24.04 | 55.29 | 24.27 |
OBQA | 44.40 | 25.93 | 76.26 | 26.59 |
BBH | 30.54 | 47.40 | 61.30 | 46.40 |
IFEval | 98.85 | 10.12 | 32.90 | 11.56 |
AdvBench | 67.33 | 44.23 | 88.46 | 57.50 |
総合 | 56.78 | 29.51 | 63.57 | 33.49 |
ASRベンチマークの単語誤り率
（数値が低いほど良い）
LFM2-Audio-1.5B 1.5B パラメータ | Qwen2.5-Omni-3B 5B パラメータ | Whisper-large-V3 1.5B パラメータ | elevenlabs/scribe_v1 不明 | |
|---|---|---|---|---|
音声出力 | あり | あり | 非対応 — ASR のみ | 非対応 — ASR のみ |
公開 | あり | あり | あり | No |
AMI | 15.58 | 15.95 | 16.73 | 14.43 |
GigaSpeech | 10.67 | 10.02 | 10.76 | 9.66 |
LibriSpeech Clean | 2.01 | 2.01 | 2.73 | 1.79 |
LibriSpeech Other | 4.39 | 3.91 | 5.54 | 3.31 |
TED-LIUM | 3.56 | 3.86 | 3.91 | 3.17 |
平均 | 7.24 | 7.15 | 7.93 | 6.47 |
効率性
オーディオモデルにおいて効率性は非常に重要です。なぜなら、これらのモデルはインタラクティブなリアルタイム環境で動作するためです。私たちは、話者が質問をしてからモデルが応答を開始するまでの遅延を測定します。これは、インタラクティブな使用時に感じられる遅延を表します。モデルには入力波形（4 秒）が与えられ、モデルが最初の可聴音を生成するまでの時間を測定します。LFM2-Audio-1.5B は、エンドツーエンドで平均 100 ミリ秒未満の遅延を達成し、1.5B パラメータよりもはるかに小さいモデルよりも高速な、卓越した効率性を示しました。
LFM2-Audio を使ったデプロイと構築
その速度、品質、そしてマルチモーダルな理解能力のおかげで、LFM2-Audio はこれまで複数のモデルで構成されていたパイプラインを一つに統合します。これにより、開発者は単一のアーキテクチャから多様なアプリケーションを構築できます。例えば：
- リアルタイム音声による会話型チャット
- 音声制御インターフェース（例：車載システム）
- ライブ翻訳と文字起こし
- 会議の文字起こし
- 音声および意図分類
- RAG（検索拡張生成）を活用した音声アシスタント
- 感情検出
LFM2-Audio を使った開発を始めやすくするために、私たちは推論コードを含む Python パッケージと、音声対話型チャットアプリケーションとしてモデルをデプロイするためのリファレンス実装を公開しています。
はじめに
LFM2-Audio は、軽量・マルチモーダル・リアルタイムという新しいクラスの音声基盤モデルを定義します。音声の理解と生成を 1 つのコンパクトなシステムに統合することで、速度・プライバシー・効率が最も重視されるデバイス上での会話 AI を可能にします。LFM2-Audio によって、手元のデバイス上でプライベートかつリアルタイムに動作するマルチモーダルエージェントへ、また一歩近づきました。
See GitHubおわりに
LFM2-Audio は、軽量・マルチモーダル・リアルタイムという新しいクラスの音声基盤モデルを定義します。音声の理解と生成を 1 つのコンパクトなシステムに統合することで、速度・プライバシー・効率が最も重視されるデバイス上での会話 AI を可能にします。LFM2-Audio によって、手元のデバイス上でプライベートかつリアルタイムに動作するマルチモーダルエージェントへ、また一歩近づきました。