車載 AI 向けビジョン言語モデル展開の加速

ある世界的な自動車メーカーが組み込みたかった 車載用リアルタイムの音声とビジョン AI モデルは、対象車両が積んでいるミッドティアのCPUで動かすには遅すぎました。llama.cpp での実装に何ヶ月も費やしたにもかかわらず、 推論速度が遅く、 更に ハードウェアによる制限から、導入を断念せざるを得ない状況でした。

主な障害:

• パフォーマンスのボトルネック: 約1年かけて構築したVLMは、既存のハードウェアで満足に動かなかった
• 統合のハードル: レスポンスタイム（初回トークンまでの時間 /TTFT)が許容値を大幅に超えていた

リソースの制約: 結果、ハードウェアのアップグレードなしでは納得のいく サービスを実装出来なかった

Liquid AIは、自動車メーカーの既存CPU上で従来の10倍のスピードで動作する、ハードウェア最適化済みのVLMを提供しました。Edge SDKを活用し、精度を損なうことなくモデルサイズを50％削減し、わずか1週間で本番環境対応のソリューションを導入しました。