クラウド不要、待ち時間なし：LFM2-24B-A2B によるコンシューマー向けハードウェア上のツール呼び出しエージェント
ローカル AI エージェントを構築するというアイデアは魅力的ですが、実際に一日中使おうとすると難しさが見えてきます。問題は、モデルにユーザーの意図を理解させることではありません。本当に難しいのは、適切なツールを選び、それをインタラクティブに感じられるほど高速に実行することです。さらに規制の厳しい業界では条件が一段と厳しくなり、エージェントはその処理のためにデータをどこかへ送信することも許されません。ここで LFM2-24B-A2B が真価を発揮します。このモデルは、ローカルのコンシューマー向けハードウェア上でのツールディスパッチのために設計されており、レイテンシ、メモリ、プライバシーといった要素は単なる理論上の制約ではなく、エージェントが製品になるかデモに終わるかを左右する決定的な要素です。
私たちはこの検証のために、LocalCowork というオープンソースのデスクトップエージェントを構築しました。これは完全にデバイス上で動作します。モデル、ツール、そしてすべてのデータがあなたのノート PC 内に留まり、クラウドも API キーも不要で、何もマシンの外には送信されません。このアプリのソースコードは Cookbook で公開しています。
以下が私たちの結果です。
ユースケース：ファイルに対してアクションを実行するオンデバイスエージェント
ノート PC 上のエージェントの役割はシンプルです。ユーザーの意図を受け取り、それを実際のアクションに変換することです。これは次のような実際のツール群から適切なものを選択することを意味します。
- セキュリティスキャン — フォルダ内に埋もれた API キーや個人情報の漏洩を検出
- 監査ログ — すべてのツール呼び出しを記録し、コンプライアンスレポートを生成
- ドキュメント処理 — テキスト抽出、契約書の差分比較、PDF 生成
- ファイル操作 — ファイルシステム全体の一覧表示、読み取り、検索
- システム & クリップボード — システム情報取得、クリップボード読み書き、ディスク使用量確認
実際には、ツールのメニューは大規模で混雑しているため、これを正しく扱うのは見た目以上に難しい問題です。私たちはこの現実的な環境で LFM2-24B-A2B を評価しました。対象は 13 の MCP サーバーにまたがる 67 個のツールで、上記のすべてのカテゴリを含みます。
セットアップ：ローカル、現実的、そしてスケール
すべての処理は 1 台のノート PC で実行されました。
- Apple M4 Max、36 GB ユニファイドメモリ、32 GPU コア
- ワークロード：単一ステップのツール選択プロンプト 100 件 + 複数ステップの連鎖 50 件（3〜6 ステップ）
- サービング：llama-server、Q4_K_M GGUF、flash attention 有効
- 推論：temperature 0.1、top_p 0.1、max_tokens 512
目的は、トイ環境でモデルがどれだけ良く見えるかを確かめることではありませんでした。購入して持ち運べるマシン上で、ツールを使う実際の UX をモデルが駆動できるかどうかを測定することでした。
このデモでは、インターネット接続不要で、完全にノート PC 上で動作する 3 つのワークフローを紹介しています。
- 即時のセキュリティスキャンと透明性の高い監査ログ：開発者は LocalCowork に、フォルダをスキャンして漏洩したシークレットを探すよう指示できます。モデルはすぐにセキュリティスキャナーを使用して認証情報（AWS や Stripe の API キーなど）を特定し、すべてのアクションを記録します。続けて「監査ログ」を要求すると別のサーバーへの呼び出しが行われ、何がいつ検出されたかを含むスキャンの完全なログが即座に提供されます。これは、2 つの異なる Model Context Protocol（MCP）サーバーにまたがる 2 つのツール呼び出しを、1 秒未満で正しく連鎖できることを示しています。
- ツール呼び出しを完全に可視化したシステム情報：ユーザーが「システムについて教えて」をクリックすると、モデルは即座にリクエストをシステム情報ツールにディスパッチします。付属のデモではツール呼び出しのトレースを展開でき、どのツールが呼び出されたか、渡されたパラメータ、そして結果の出力まで、処理全体を完全に確認できます。これは、ブラックボックスではない動作へのこだわりを示しています。
- サーバーをまたいだクリップボードへのアクセス：別のサーバーでの新しいセッションにおいて、モデルはリクエストに応じて 1 秒未満でクリップボードの内容を取得します。このデモの核心はクリップボード機能そのものではなく、すべてローカルで動作しながら、21 個のツールと 6 つのサーバーにわたってリクエストを正確かつ迅速にルーティングできるモデルの能力にあります。
実際の体感：サブ秒のツール選択
このノート PC 構成では、LFM2-24B-A2B はツール選択レスポンスあたり平均約 385ms を記録し、このセットアップでは約 14.5GB のメモリに収まりました。つまり推論中に、データがデバイス外に出ることはなく、外部 API 呼び出しもなく、ベンダーのサブプロセッサも存在せず、監査対象となる外部送信イベントも発生しません。
100 件のプロンプトに対する単一ステップのツール選択では 80% の精度を達成しました。これにより、シンプルで効果の大きいインタラクションパターンが可能になります。
- ユーザーが依頼する
- エージェントがすぐにツールの呼び出しを提案する
- ユーザーが確認する（または修正する）
- ツールが実行される
- 繰り返す
このループが高速であれば、修正のコストが低いため、精度が完璧でなくても非常に実用的になります。
実際のワークフロー：レシート → 構造化データ → レポート
ベンチマークスイートからの代表的な実世界の処理チェーンの例です。
- レシートフォルダ内の画像を検索
- 最初のレシートを OCR で読み取る
- ベンダー／日付／商品／合計金額を解析
- 重複がないか確認
- 照合済みデータを CSV にエクスポート
- 異常をフラグ付け
- PDF の照合レポートを生成
これは、ツールを使用するエージェントが実環境で失敗しやすいタイプのワークフローです。理由は、個々のステップが特殊だからではなく、エージェントが多くのツールの中から正しいアクションを繰り返し選択しながら、ステップ間で状態を維持する必要があるためです。LFM2 の強みは、各ステップを即座に実行されているように感じさせる点にあります。
LFM2 が最も強い領域：構造化ドメイン
単一ステップのパフォーマンスは、意図が明確でツールスキーマが明確に定義されているカテゴリで最も高い結果となりました。
カテゴリ | 精度 | 成功率（プロンプト単位） |
|---|---|---|
カレンダー | 100% | 7 / 7 |
監査 | 100% | 3 / 3 |
セキュリティ／プライバシー | 90% | 9 / 10 |
タスク管理 | 88% | 7 / 8 |
文書処理 | 83% | 10 / 12 |
ファイル操作 | 80% | 12 / 15 |
私たちが学んだこと
最大のエラーは予測可能なものであり、標準的なポストトレーニングで対処可能です。
- 同一サーバー内での近縁ツールの取り違え。誤ったツール選択の大半は近縁の取り違えで、同じ系統の関連ツールを選んでしまうもの（削除が必要な場面で一覧取得を選ぶなど）でした。
- ときおり起きる「ツール未呼び出し」。失敗の一部は、ツール呼び出しを出力せず会話的に返答してしまうものでした。
- 多段階の自律動作は、単発のディスパッチより難しい。本スイートで LFM2 が多段階の連鎖を最後までやり遂げたのは 26% でした。実務的な示唆は、LFM2 は長い連鎖を任せきる自動操縦ではなく、ガイド付きループのなかの高速なディスパッチャとして最も力を発揮するということです。ただしこれも、狙いを定めた事後学習によって大きく改善できます。
LFM2-24B-A2B はこれまでに 17T トークンで学習されており、事前学習は現在も継続中です。事前学習が完了すると、追加のポストトレーニングと強化学習を施した LFM2.5-24B-A2B が登場する予定です。
まとめ
このデモは概念実証ではありません。実際のファイルをスキャンし、実際のツールを連携させ、完全な監査ログを備えた動作するデスクトップアプリであり、すべて一般的なコンシューマーハードウェア上で動作しています。モデルは 14.5GB に収まり、400 ミリ秒未満でツールをディスパッチし、プライバシーに配慮が必要な作業で特に重要となる構造化ドメインを処理できます。
もしコンシューマーマシン向けにローカルエージェントを構築しているなら、LFM2-24B-A2B は高速でメモリ効率の高い基盤を提供します。ツールスキーマに対して標準的なファインチューニングを行うことで、ユーザーのラップトップ上で直接エージェントタスクを実行する、信頼性が高く応答性の良いソリューションになります。
LocalCowork はオープンソースで、Cookbook で利用できます。
ぜひ試して、プライベートで低レイテンシな AI の力を体験してください。