車載 AI 向けビジョン言語モデル展開の加速

ある世界的な自動車メーカーが組み込みたかった車載用リアルタイムの音声とビジョン AI モデルは、対象車両が積んでいるミッドティアのCPUで動かすには遅すぎました。llama.cpp での実装に何ヶ月も費やしたにもかかわらず、推論速度が遅く、更にハードウェアによる制限から、導入を断念せざるを得ない状況でした。

主な障害

• パフォーマンスのボトルネック: 小型の VLM は、既存のハードウェアで満足に動かなかった
• 統合のハードル: レスポンスタイム（初回トークン生成までの時間／TTFT）が許容値を大幅に超えていた
• リソースの制約: 高額なアップグレードなしでは、効率的な AI 推論を実現できなかった

Liquid AIは、自動車メーカーの既存CPU上で従来の10倍のスピードで動作する、ハードウェア最適化済みのVLMを提供しました。Edge SDKを活用し、精度を損なうことなくモデルサイズを50％削減し、わずか1週間で本番環境対応のソリューションを導入しました。

• 初回トークン生成までの時間を10分の1に短縮
• モデルサイズを50％削減（性能低下なし）
• 導入期間を数ヶ月から1週間に短縮
• 既存ハードウェアで音声／ビジョンAIのリアルタイム処理が可能に