Open d1:テキスト、ビジョン、音声に対応するエッジ向け意思決定モデル
本日、d1 意思決定モデルファミリーのオープンウェイトモデル 2 種、d1-3B と d1-omni-600M をリリースします。
d1-3B は Decision Index v0.2.1(公開スプリット)で 48.57 のスコアを記録し、10B 未満のすべてのモデルを上回るとともに、12 倍の規模を持つ意思決定モデル Decider 35B-A3B と同等の性能を示しています。データセンターの DGX からエッジの Jetson まで、NVIDIA のスタック全体で動作し、1 つの質問に NVIDIA GeForce RTX 4090 では 8 ms、Jetson AGX Thor では 16 ms、Jetson AGX Orin では 26 ms で回答します。Jetson Orin Nano でも 50 ms で動作し、最小クラスのエッジハードウェアでもリアルタイムの意思決定に十分な速さを実現します。
d1-omni-600M は当社初の実験的チェックポイントで、テキストと画像、およびテキストと音声の組み合わせに対応します。同じインデックスでのスコアは 15.95 です。
d1-3B と d1-omni-600M は、本日より Hugging Face で公開しています。ローカルでの実行方法はドキュメントをご覧ください。
アーキテクチャとトレーニング
生成型の Liquid Foundation Models(LFM)とは異なり、d1 意思決定モデルはトークンを生成しません。代わりに、1 回のフォワードパスで回答を出力します。
d1-3B と d1-omni-600M は、まったく異なる 2 つのバックボーンから学習されています。
- d1-3B は、当社の最新 VLM であるデコーダーのみの LFM2.5-VL-3B から学習されています。テキストと画像を入力として受け付けます。
- d1-omni-600M は、双方向エンコーダーである LFM2.5-Encoder-350M から学習されています。ビジョンエンコーダーと音声エンコーダーを追加し、3 つのモダリティすべてに対応します。入力として、テキストと画像、またはテキストと音声のいずれかを受け付けます。
d1-3B。より優れたベースモデルを作成するため、LFM2.5-2.6B と LFM2.5-VL-3B のテキストバックボーンの重みを平均化しました。次に、異なるランダムシードとデータ混合でチェックポイントをファインチューニングし、再びマージしました。より高度な手法よりも、長い入力での学習、回答選択肢のシャッフル、データ内のショートカットの修正のほうが大きな効果をもたらしました。
d1-omni-600M。まず LFM2.5-Encoder-350M を意思決定タスクでファインチューニングし、その後、音声とビジョンを段階的に追加しました。音声については、FastConformer エンコーダーをバックボーンに接続するアダプターとともに学習し、テキストバックボーンを凍結した状態で音声エンコーダーをファインチューニングしました。ビジョンについては、LFM2.5-VL-450M のエンコーダーを採用し、アダプターとバックボーンへの LoRA 更新を学習しました。これらの更新は入力に画像が含まれる場合にのみ有効化し、ビジョンエンコーダーは凍結したままとしました。その後、モデル全体をファインチューニングして LoRA 更新をマージし、正則化のために前のチェックポイントと重みを平均化して最終モデルとしました。
ベンチマーク
テキストベンチマーク。読解、有害性検出、意図分類、医療 QA、言語横断理解をカバーする 7 つの公開ベンチマークで、d1-3B と d1-omni-600M を評価しました。
ベンチマーク | d1-omni-600M | d1-3B | Decider 2B | Decider 4B |
SQuAD 2.0 | 74.0 | 85.3 | 67.7 | 76.0 |
Civil Comments | 95.8 | 93.0 | 93.6 | 92.8 |
MASSIVE intent | 86.1 | 87.3 | 81.1 | 88.3 |
PubMedQA | 61.3 | 66.0 | 65.7 | 63.3 |
BoolQ | 77.7 | 86.7 | 87.3 | 89.0 |
XNLI | 74.7 | 85.0 | 85.0 | 88.6 |
PAWS-X | 79.5 | 76.9 | 59.5 | 69.8 |
平均 | 78.4 | 82.9 | 77.1 | 81.1 |
d1-3B は平均 82.9 で表中最高となり、Decider 4B(81.1)を上回りました。d1-omni-600M は 78.4 に達し、4 分の 1 のパラメータ数で Decider 2B(77.1)を上回っています。また、有害性検出(Civil Comments:95.8)と言い換え識別(PAWS-X:79.5)では表中最高のスコアを記録しました。
ビジョンと音声の性能。Decision Index v0.3 には非公開のビジョンスプリットが含まれていますが、今回のリリースではその結果は報告しません。代わりに、d1-3B が標準的なビジョンベンチマークにおいてバックボーンである LFM2.5-VL-3B のビジョン能力を維持していること、そして d1-omni-600M が 3 つのモダリティすべてに対応できることを検証しました。両モデルのビジョン能力は、以下のプレイグラウンドデモでご覧いただけます。音声に特化した意思決定ベンチマークは、現時点では未解決の課題です。マルチモーダル意思決定モデルというカテゴリーの成熟に伴い、コミュニティがそうしたベンチマークを開発していくことを期待しています。
あらゆる環境での高速推論
d1-3B と d1-omni-600M は、データセンターの DGX から RTX ワークステーション、エッジの Jetson まで NVIDIA のスタック全体で動作し、llama.cpp にも初日から対応しています。
意思決定モデルは出力トークンを生成しないため、入力から出力までのエンドツーエンドのレイテンシを測定しています。推論の数値は d1-3B について報告します。d1-omni-600M は初期段階の研究リリースであり、現在も活発に開発中です。
エッジ推論。Apple M5 Pro に加え、NVIDIA との協力のもと、NVIDIA Jetson AGX Thor、Jetson AGX Orin 64 GB、Jetson Orin Nano でレイテンシを測定しました。リクエストは 1 件ずつ処理し、単一の質問、1 つの状態に対する 3 つの質問、3.4K トークンの状態、384px の画像の各条件で測定しています。
質問 1 つ | 質問 3 つ | 3.4K トークンの状態 | 384px 画像 | 64 状態(パック) | |
Apple M5 Pro | 30 ms | 41 ms | 640 ms | 62 ms | 78 / s |
Jetson AGX Thor | 16 ms | 20 ms | 220 ms | 35 ms | 262 / s |
Jetson AGX Orin 64 GB | 26 ms | 35 ms | 560 ms | 83 ms | 110 / s |
Jetson Orin Nano | 50 ms | 73 ms | 1,640 ms | 202 ms | 38 / s |
d1-3B は、測定したすべてのデバイスで単一の質問に 50 ms 未満で回答します。3 つの質問にかかる時間は 1 つの場合のわずか 1.3 倍で、AGX Thor では 16 ms から 20 ms への増加にとどまります。
GPU 推論。NVIDIA RTX 4090 と AMD MI325X でレイテンシを測定しました。リクエストは 1 件ずつ処理し、単一の質問、1 つの状態に対する 3 つの質問、3.4K トークンの状態、384px の画像の各条件で測定しています。
質問 1 つ | 質問 3 つ | 3.4K トークンの状態 | 384px 画像 | 64 状態(パック) | |
NVIDIA RTX 4090 | 8 ms | 21 ms | 102 ms | 17 ms | 475 / s |
AMD MI325X | 9 ms | 14 ms | 44 ms | 18 ms | 1,106 / s |
GPU では、d1-3B はどちらのプラットフォームでも 1 つの質問に 10 ms 未満で回答し、384px の画像を 18 ms 未満で処理します。
Open d1 の活用例
これらの結果から、当社の小型オープン d1 意思決定モデルは、マルチモーダル入力を含め、高速で構造化された意思決定が必要なあらゆる場面に適しています。d1-3B は同サイズで最高の意思決定品質を実現し、d1-omni-600M はフットプリントが重要な場面に適しています。
リアルタイムの意思決定が実際にどのようなものかを示すため、オープンモデル d1-3B をライブカメラ入力に対してループ実行する 10 種類のデモを構築しました。ジェスチャー操作のゲームからライブコンテンツモデレーションまで、各デモはフレームごとに 1 回のパスで回答を読み取ります。Hugging Face Space で、セットアップなしでお試しいただけます。
また、NVIDIA との協力により、Jetson 上でモデルを提供するハードウェア・イン・ザ・ループ構成で、d1-3B が Isaac Sim 内の環境をナビゲートする様子も紹介しています。
今すぐ始める
Hugging Face で公開中の d1-3B と d1-omni-600M で、今すぐ構築を始めましょう。
d1 により、私たちはあらゆる場所で動作する AI というビジョンを実現しています。これらのモデルの特長は次のとおりです。
- オープンウェイト — 制限なしにダウンロード、ファインチューニング、デプロイが可能
- 初日から高速 — Apple、AMD、Qualcomm、NVIDIA(NVFP4 対応)にわたり llama.cpp をネイティブサポート
- モデルファミリー — 2 つのサイズから、デプロイ要件に応じて精度とフットプリントのバランスを選択可能
皆さまが何を構築されるのか、楽しみにしています。
引用
引用の際は、以下の参考文献または BibTeX をご使用ください。
Liquid AI, "Open d1: Edge decision models for text, vision, and audio", Liquid AI Blog, Oct 2026.
@article{liquidAI2026opend1,
author = {Liquid AI},
title = {Open d1: Edge decision models for text, vision, and audio},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/open-d1},
}