🤗 Kernels：主要アップデート

Hugging Face の Kernels プロジェクトは、カスタムカーネルのパッケージ化、配布、消費を標準化することを目的としています。過去数ヶ月でプロジェクトはほぼ完全に再設計され、以下の主要なアップデートが行われました。

新しいリポジトリタイプ Hub に「kernel」という新しいリポジトリタイプが追加されました。これにより、ユーザーはアクセラレータ、オペレーティングシステム、バックエンドバージョンに基づいてカーネルをフィルタリングできます。すべてのカーネルは https://huggingface.co/kernels で確認できます。

セキュリティの強化 カーネルは Python プロセスと同じ権限でネイティブコードを実行するため、セキュリティは最重要課題です。再現可能なビルドに加え、新たに「信頼できるパブリッシャー」とコード署名を導入しました。デフォルトでは信頼できる組織のカーネルのみがロードされ、それ以外は trust_remote_code=True が必要です。コード署名には Sigstore の cosign を使用し、一時的な秘密鍵を利用することで、認証情報が漏洩しても悪用されにくくしています。

CLI の再設計 以前は kernels と kernel-builder の機能が混在していましたが、現在は明確に分離されています。kernels はカーネルのロードと準備、kernel-builder はビルドを担当します。

フレームワークとバックエンドのサポート拡大 Torch Stable ABI をサポートし、カーネルが特定の Torch バージョン以降と互換性を持つようになりました。また、Apache TVM FFI が Torch に次ぐ2番目のフレームワークとして追加され、PyTorch、Jax、CuPy などの間で相互運用可能な標準化 ABI を提供します。

エージェントによるカーネル開発の基盤 kernel-builder と kernels は、エージェントがカーネルをゼロから開発するワークフローをサポートします。エージェントはプロジェクトのスキャフォールディング、ビルド、ベンチマーク、反復最適化を実行できます。HF Jobs との統合により、異なるハードウェアでの評価も容易です。

その他の改善 環境セットアップ用のインストールスクリプトと Terraform ガイドを提供。ビルド後にシステムカードが生成され、カーネルのインターフェースが表示されます。has_kernel() と get_kernel_variants() メソッドで互換性を確認可能。また、manylinux_2_28 サポートを改善し、libstdc++ を動的リンクすることでグローバル初期化の問題を解決しました。

これらのアップデートにより、Kernels プロジェクトはカーネル開発者とユーザーの両方にとってより使いやすくなりました。コミュニティからのフィードバックを歓迎します。