シリコン上で協調設計した 最適なアーキテクチャ
ターゲットハードウェアを探索に組み込み、タスク品質とデバイス上のレイテンシ・メモリで評価してモデルアーキテクチャを設計します。
仕組み
出荷するデバイスとランタイム、そしてそれが許容するメモリとレイテンシの予算から始めます。
独自の基盤モデル設計の自動化（AFMD）プロセスが候補アーキテクチャを進化させ、それぞれを下流タスクの品質と、デバイス上で測定したレイテンシ・ピークメモリで評価します。
選ばれたアーキテクチャを対象タスク向けに学習させます。データが顧客の環境外に出ることはありません。
OEM およびオンプレミス導入を、専任サポートと SLA とともに支援します。
LFM3 の探索に用いたハードウェア
LFM2 ではスマートフォン 1 台とノート PC 1 台の CPU でしたが、LFM3 では 14 通りのデバイスとバックエンドの組み合わせに広がりました。
Samsung Galaxy S26 Ultra
OnePlus 15
Raspberry Pi 5
Apple M4 Max
AMD Ryzen AI
Arm および x86 のクラウド CPU
GPU
Qualcomm Hexagon NPU
探索が選んだ構成
LFM3 は、パラメータあたりの能力と長いコンテキストでの高速な推論が求められるエージェント用途に向けて再設計されました。24 層のバックボーンでは、品質と速度のトレードオフが最も優れていたのはスライディングウィンドウ・アテンションでした。
LFM2 の探索では、同じオンデバイス予算のもとで線形アテンション、状態空間、追加の畳み込み演算子を加えても総合品質は向上せず、多くの場合デバイス上の指標が悪化しました。
最大 2 倍高速
パラメータ数 35% 減
約 1 GB
KV キャッシュ 1.6 GB
でのオンデバイス性能
Pipette では、さらに多くの量子化、ランタイム、モダリティ、指標を確認できます。