QualcommがNexa AIを買収、Hexagon NPU向けGenAIランタイムGenieXをオープンソース化
QualcommはNexa AIを買収し、Hexagon NPU向けに最適化されたGenAIランタイムGenieXをオープンソース化しました。Snapdragonデバイス上でLLMやVLMをローカル実行可能にし、CLI、Python、Kotlin/Java、Docker、OpenAI互換サーバーなど複数のインターフェースを提供。Hugging FaceのGGUFモデルとQualcomm AI Hubのバンドルをサポートします。
QualcommはAIスタートアップNexa AIを買収し、自社のHexagon NPU向けに最適化された生成AIランタイムGenieXをオープンソースとして公開しました。これにより、開発者はSnapdragon搭載デバイス上で大規模言語モデル(LLM)やビジョン言語モデル(VLM)をローカルに実行できるようになります。
GenieXは統一されたC SDKを基盤とし、CLI、Python、Kotlin/Java、Docker、OpenAI互換サーバーといった多彩なインターフェースを提供します。サポートされるプラットフォームはWindows ARM64(Snapdragon X Elite)、Android(Snapdragon 8 Eliteなど)、Linux ARM64(Dragonwing QCS9075)で、Qualcomm Device Cloudを介したリモートアクセスも可能です。
モデル実行の仕組みとして、GenieXは2つのランタイムを備えています。llama.cppはHugging FaceのGGUFモデルをCPU・GPU・NPUで実行し、Qualcomm AI Engine Direct(qairt)はQualcomm AI HubのプリコンパイルバンドルをNPU専用で動作させ、最高のパフォーマンスを実現します。
簡単な使用例として、CLIではgeniex infer google/gemma-4-E4B-it-qat-q4_0-ggufの1行でモデルとチャットできます。PythonインターフェースはHugging Face transformersに似た使い心地で、OpenAI互換サーバーにより既存のOpenAIクライアントを変更なく利用可能です。
GenieXはBSD 3-ClauseライセンスのもとでGitHubに公開されています。Qualcommはコミュニティとの協力を通じてエッジAIの革新を促進し、Snapdragonデバイス上で最先端モデルを簡単に実行できる環境を提供することを目指しています。