QASM-Eval：OpenQASM-3のハードウェア指向プログラミングのためのLLM訓練・評価データセット

量子コンピューティングは現在、NISQ（ノイズのある中規模量子）時代にあり、その性能はノイズによって強く制限されています。この制限に対処するためには、従来のゲートシーケンス回路の仕様を超えたハードウェア指向の機能、例えば中回路測定や量子誤り訂正のための古典フィードバック、動的デカップリングのための精密タイミング制御、校正のためのパルスレベル波形アクセスなどが必要です。OpenQASM-3は、これらの機能を提供するハードウェアレベルのプログラミングインターフェースとして導入されました。これにより、プログラマは量子ハードウェアの低レベルな特性を直接操作し、量子プログラムの性能をより効果的に最適化できるようになります。しかし、大規模言語モデル（LLM）がコード生成で急速に進歩しているにもかかわらず、OpenQASM-3の高度なハードウェア指向機能を扱うプログラム用にLLMを訓練・評価するためのデータセットは存在しませんでした。既存のリソースは主に量子アルゴリズムの高レベルな設計や推論に焦点を当てており、OpenQASM-3のハードウェアに密接に関連するプログラミングパターンをカバーしていません。このギャップを埋めるために、研究チームはQASM-Evalを導入しました。これはOpenQASM-3用に設計された初の包括的なデータセットであり、量子アルゴリズムの設計や推論ではなく、言語のハードウェア指向機能に明確に焦点を当てています。QASM-Evalは、専門家によって検証された100タスクのテストセットと4000タスクの訓練セットで構成され、古典論理、タイミングスケジューリング、パルス制御、複雑な実世界ワークフローを体系的にカバーしています。これらのタスクは、単純な古典ゲート操作から、複数回の測定とフィードバックを含む複雑なフローまで多岐にわたります。生成されたプログラムを自動検証するために、研究チームは拡張検証器を開発しました。これは構文の正しさだけでなく、量子状態とプログラムタイムラインが仕様を満たしているかもチェックします。量子プログラムはタイミングと状態に敏感であるため、この多次元の検証メカニズムにより評価の信頼性が確保されます。研究チームは、GPT-4、Claude、CodeLlamaなどの最先端LLMをベンチマークに使用しました。評価の結果、これらのモデルはOpenQASM-3のコーディングタスクで大きな困難を伴うことが明らかになりました。微調整なしでは、最も先進的なモデルでも正解率は概して低いものでした。しかし、QASM-Evalでターゲットファインチューニングを行った後は、すべてのモデルの性能が大幅に向上し、一部のモデルでは正解率が50パーセントポイント以上向上しました。この結果は、ハードウェアレベルの量子プログラミングをLLMに理解させるために、専用のデータセットが不可欠であることを示しています。QASM-Evalのオープンソース公開は、NISQ時代のハードウェア向け量子プログラミングにおける信頼性の高いLLMアシスタントの開発を加速するための重要なベンチマークと訓練基盤を提供します。研究者やエンジニアは、このデータセットを利用して、より強力な量子プログラミングアシスタントを開発・評価し、耐障害性量子コンピューティング技術の進歩を促進することができます。関連するデータとコードはGitHubで公開されており、コミュニティによる利用と改善が可能です。