本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

BODHI:精密なOSカーネル仕様推論

記事の要約

BODHIは、構造化されたC-to-Python翻訳ガイドでfew-shotプロンプトを強化するドメイン知識プロンプティング手法であり、OSV-BenchにおけるOSカーネルの形式仕様生成でLLMの性能を大幅に向上させ、最良の構成では96.73%のPass@1を達成した。

ソースarXiv AI著者: Zhiming Chang, Ziyang Li
BODHI:精密なOSカーネル仕様推論
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

オペレーティングシステムカーネルの形式検証には、システムコールの意図された動作を正確に捉える仕様が必要である。これらの仕様を手動で記述するには深いドメイン専門知識が求められるため、大規模言語モデル(LLM)を用いてプロセスを自動化する動きが進んでいる。しかし、Hyperkernel OSカーネルから派生した245の仕様生成タスクからなるベンチマークOSV-Benchでは、これまで報告された最良のPass@1は55.10%に過ぎなかった。

このギャップを埋めるため、arXiv論文「BODHI: Precise OS Kernel Specification Inference」は、ドメイン知識プロンプティング手法であるBODHIを提案する。BODHIは、標準的なfew-shotプロンプトに、15カテゴリのドメイン固有翻訳パターンを網羅する構造化されたC-to-Python翻訳ガイドを追加する。構造化思考連鎖(SCoT)プロンプティングに触発され、このガイドは関心の分離の原則に従って翻訳を整理し、事前条件の抽出と事後条件の生成を別個のカテゴリとして扱う。

研究チームは、6社のプロバイダー(Anthropic、Mistral、Amazon、DeepSeek、Meta、Alibaba)からの9モデルでBODHIを評価した。これらのモデルは、 denseアーキテクチャ、mixture-of-expertsアーキテクチャ、推論アーキテクチャをカバーしている。結果として、BODHIはテストしたすべてのモデルを改善し、その向上幅は+11%から+32%に達した。最良の構成であるClaude Opus 4.6とBODHIの組み合わせは、96.73%のPass@1を達成し、以前報告された最良値を大きく上回った。

さらに、BODHIは構文エラーと意味エラーの両方を減少させ、構造化された参照資料を活用するのに十分な指示追従能力を持つモデルに対して最も強い効果を示した。これらの結果は、ドメイン知識の注入がモデル非依存の技術であり、汎用コード生成と形式仕様合成の間のギャップを大幅に埋めることを実証している。このアプローチは、OSカーネル形式検証の自動化に向けた有望な方向性を提供する。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • BODHIは、15カテゴリのドメイン固有翻訳パターンをカバーする構造化C-to-Python翻訳ガイドを標準few-shotプロンプトに追加し、事前条件抽出と事後条件生成を関心の分離に基づいて整理する。
  • 6社のプロバイダーから9モデルで評価され、BODHIはテストしたすべてのモデルを改善し、向上幅は+11%から+32%に及ぶ。
  • 最良の構成(Claude Opus 4.6 + BODHI)は96.73%のPass@1に達し、以前報告された最良の55.10%を大幅に上回る。
  • BODHIは構文エラーと意味エラーの両方を減少させ、十分な指示追従能力を持つモデルで最も強い効果を示し、ドメイン知識注入がモデル非依存の技術であることを実証した。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

BODHI:精密なOSカーネル仕様推論 | AI News Hub