Ahmad Osman氏が語る、ローカルAIが追い上げる理由

Ahmad Osman氏は、今年のAI Engineer World’s Fair（AIEWF）で、ローカルAI（自分のコンピュータ、ワークステーション、専用ハードウェアでモデルを実行すること）が主要テーマとなるずっと前から、その利点を主張してきた。彼はまた、ローカルAIシステムのデプロイと運用のためのオープンソースソフトウェアを開発する企業Osmanticの創業者でもある。

AIEWFで浮かび上がったテーマの一つは、オープンソースの大規模言語モデルが、大規模なプロプライエタリなフロンティアモデルに代わる信頼性の高い選択肢になりつつあることだ。ほとんどのローカルAIシステムはオープンモデルに依存しているため、この変化はOsman氏の主張を強化する。彼がLatent Spaceに語ったところによると、「オープンソースモデルとクローズドなフロンティアモデルのギャップは縮まり続けている」。

Osman氏は、「Open Source AI Must Win」というウェブサイトでさらに明確に主張しており、「許可を求めることなく、インテリジェンスシステムを研究、構築、修復、デプロイ、監査、適応、教育、保存、実行する能力は、存在論的に重要である」と述べている。

AIEWFでOsman氏は、ローカルLLMとワークステーションエージェントに関する2部構成のワークショップを開催した。セッションでは、この分野の進歩の速さが示された。携帯電話やラップトップで動作するモデルから、専用GPUワークステーションやエンタープライズインフラまで、幅広い範囲をカバーした。

ワークショップへの関心はハードウェア愛好家だけに限らなかった。参加者は、初めてのAI対応マシンを検討する学生から、モデルルーティング、プライベートインフラ、企業データの管理を考える企業幹部まで多岐にわたった。

以下のQ&Aで、Osman氏はなぜローカルAIが注目を集めているのか、モデルとハードウェアの状況がどのように変化したのか、そしてなぜより多くの開発者や企業がローカルAIを本格的なインフラとして扱うようになると予想するのかを説明する。

ローカルAIを具体的に

Latent Space： ワークショップの内容と、参加者が何を求めていたかを要約していただけますか？

Ahmad Osman： 2部構成のワークショップでしたが、収容人数を超える需要があり、残念ながら一部の人にはお断りしなければなりませんでした。

私はローカルAIをデモするために準備したウェブサイトを持ち込みました。基本的には、DGX Spark、AMD Strix Haloマシン、その他のデバイスを比較できるハードウェアアリーナです。それらを互いに競わせたり、フロンティアクラウドモデルと比較したりして、パフォーマンス、出力品質、速度、レイテンシーを自分の目で確認できます。

主なアイデアは、ローカルAIをリアルに感じさせることでした。2022年当時、モデルの能力ははるかに低かった時代の認識がまだ残っています。しかし、それ以来、すべてが大幅に改善されています。

フロンティアモデルとの差はまだあります（おそらく4～8ヶ月）が、ローカルモデルとオープンモデルは追いつきつつあります。理論的な議論を聞くだけでなく、これらのシステムと実際にやり取りしてもらいたかったのです。

デモの背後にあるソフトウェアはオープンソースで、GitHubで入手できます。2回目のワークショップでは、さらに踏み込んでセットアップとシステムのフル稼働を披露しました。

モデルはシステムの一部にすぎない

Latent Space： 人々がローカルAIを単に自分のマシンでモデルを実行することだと考えたとき、何が欠けているのでしょうか？

Osman： ChatGPTやClaude Codeのような製品については大きな誤解があります。それらはモデルとエージェントの周りに完全なインフラを備えています。それは単一のものではありません。

私の友人がRTX 5090を購入してQwen 3.5を実行しました。彼はClaude Codeをそのモデルに接続し、GPUのRGBライティングを変更するよう指示しましたが、失敗しました。その後、ホスト型のClaude Codeサービスを使用すると、うまくいきました。

私は彼にローカルモデルにインターネット検索アクセスを与えたかどうか尋ねました。彼は与えていませんでした。モデルのトレーニングデータにはカットオフ日があり、必要なソフトウェアとドキュメントはその後変更されていました。

ローカルシステムに検索エンドポイントへのアクセスを与えると、タスクを完了できました。

これがポイントです：ホスト型エージェントを使用するとき、モデルだけでなく、その周りの検索、ツール、インフラ、その他のサービスも使用しているのです。

当社のオープンソースデプロイシステムでは、完全なエクスペリエンス（チャットインターフェース、ドキュメント取り込み、エージェント、ハーネス、検索ツール）を提供しようとしています。このエンドツーエンドの層は、ローカルAIエコシステムに欠けていました。

関心は学生、愛好家、企業に及ぶ

Latent Space： ワークショップには誰が参加しましたか？主にハードウェア愛好家でしたか、それともプライバシーベースのアプリケーションを構築しようとする人々でしたか？

Osman： 非常に幅広い聴衆でした。

2回目のワークショップの終わりに、ある学生が大学に行く前にどのハードウェアを買うべきか尋ねました。Intelの幹部は、ユーザーエクスペリエンスを向上させるために、特定の方法でWindows上でソフトウェアを動作させるにはどうすればよいかと質問しました。

愛好家もいました。非常にエンタープライズ志向の質問をする人もいました。共通のスレッドは、自分が制御できるものを実行することへの関心でした。それはMacBook上のモデル、自宅のGPU、専用のハイエンドエンタープライズハードウェアのクラスターなど様々です。

人々はエンタープライズモデルルーティング、データ収集、トレース、エージェントサンドボックス、レイテンシーについて質問しました。他の人は自宅に何枚のGPUを持っているか尋ねました。答えは22枚のRTX 3090です。

関心の広さには驚きました。これが私にとって初めてのAIワークショップであり、幸運にも連続して2回行うことができました。

GPUを購入する必要はないかもしれません

Latent Space： 開発者はローカルAIを試すためにGPUを購入する必要がありますか？

Osman： 使用したいモデルのサイズによります。

4ビットのQwenモデルはMacBookで実行できます。極端な場合、非常に大規模なフロンティアクラスのオープンモデルには、複数のRTX Pro 6000 GPUが必要になるかもしれません。

しかし、より広いトレンドとして、モデルははるかに効率的になっています。現代のスマートフォンでは、わずか数年前に人々がクラウドで使用していたシステムよりも優れたパフォーマンスを発揮するモデルを、デバイスのメモリをすべて使うことなく実行できます。

これは、比較的短期間でモデルの効率がどの程度向上したかを示しています。

モデルとハードウェアは一緒に改善されている

Latent Space： 進歩は主に優れたソフトウェアとモデルから来ているのでしょうか、それともハードウェアからも来ているのでしょうか？

Osman： モデルは劇的に改善されました。

アーキテクチャはより効率的になり、多くの小さな改善が積み重なっています。フロンティアラボがある能力が可能であることを示すと、オープンソースエコシステムはそこから逆算し、より効率的に再現する方法を見つけることができます。

数百億のパラメータを持つモデルが、以前ははるかに大規模なシステムを必要としたパフォーマンスを提供するのを目にしています。それらのモデルの一部は、2020年にリリースされたRTX 3090で実行できます。2年前には、そのハードウェアでそのレベルの能力は現実的ではありませんでした。

これはまだ非常に新しい分野であり、最終状態はわかりません。しかし、システムは改善され続けるでしょう。

ハイブリッドAIと主権AIの台頭

Latent Space： ローカルAIとクラウドAIを組み合わせたアプリケーションが増えると予想されますか？

Osman： はい。エッジモデルはより一般的になり、これは消費者だけの問題ではありません。

企業は、依存しているモデルが常に同じ形で利用可能であるとは限らないことを認識しつつあります。プロバイダーは品質、価格、アクセス、ポリシーを変更できます。

これにより、専用ハードウェアとセキュアコンピュートへの移行が促進されます。必ずしもオンプレミスである必要はありません。企業は制御可能な専用のコロケーションされたハードウェアを使用できます。

利点は、モデルの品質が予期せず変化せず、アクセスが突然削除されることがなく、企業が知的財産、データ、プライバシー、コンプライアンス義務を管理できることです。

オープンソースモデルも、フロンティアプロプライエタリシステムとのギャップを縮め続けています。Llama、Mistral、Qwen、DeepSeek、GLM、Kimiモデルを通じて急速な進歩が見られました。各世代がギャップを狭めています。

専門モデルが本当のチャンスかもしれない

Latent Space： これはビジネスにとってどのような意味を持つとお考えですか？

Osman： 私は長い間、多くのビジネスユースケースにとって、小型で専門化されたモデルが未来であると考えています。

企業は汎用モデルから始め、従業員の使用状況からトレース、メッセージ、フィードバックを収集するかもしれません。時間の経過とともに、そのデータは会社の特定の業務に合わせたより専門的なモデルをサポートできます。

これにより、パフォーマンスが向上し、コストが削減され、システムがビジネスにとってより有用になります。

また、オープンソースモデル企業は、ファインチューニング、強化学習、または専門的な商用展開のライセンスを通じて収益化を進める可能性が高いと考えています。

より多くの企業がクラウドAPIへの完全な依存から離れ、独自のコンピュートを確保するにつれて、これらのラボは強力なオープンモデルをリリースし続け、企業がプロプライエタリなユースケースに適応する際に価値を捉えるインセンティブを持つでしょう。

より広い方向性は、より大きな主権へと向かっています。つまり、企業と個人がモデル、コンピュート、データを管理しながら、オープンソースエコシステムの急速な進歩の恩恵を受けるということです。