LFM2:AIにおけるオープンサイエンスの推進
Liquid AIでは、知識をオープンに共有することで科学の進歩が加速すると考えています。本日、Liquid Foundation Modelの第2世代である LFM2 のテクニカルレポート全文を公開できることを嬉しく思います。
このレポートを共有する理由は、エッジデバイス向けに効率的かつ高性能なAIモデルを構築するためには、アーキテクチャ設計、トレーニング手法、マルチモーダル統合に至るまで、多くの困難な課題を解決する必要があるからです。これらの学びを独占するのではなく、そのプロセスを詳細に文書化しました。
LFM2 の技術レポートで扱っている内容:
- ハードウェア・イン・ザ・ループによるアーキテクチャ探索
- 知識蒸留のための新しい学習目標
- スモールモデルのためのトレーニング後レシピ
- ビジョン言語機能(LFM2-VL)
- 音声処理(LFM2-Audio)
- 情報検索(LFM2-ColBERT)
オープンウェイト=オープンナレッジ:テクニカルレポートとあわせて、すべてのLFM2モデルは Hugging Face でオープンウェイトとしてリリースされます。また、ExecuTorch、llama.cpp、vLLM向けのデプロイガイドも付属しています。
この研究が、次世代のAIシステムを構築する研究者、エンジニア、実務家にとって有益なリソースとなることを願っています。
arXiv で技術レポート全文を読む