本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Show HN:デモではなく評価を中心に構築されたAIエージェントスキルリポジトリ

記事の要約

このプロジェクトは、各スキルに回帰評価の記録が付属した再利用可能なAIエージェントスキル集です。主な成果物は評価記録であり、デモではありません。ワールドカップ予想レポートスキルの例を提供し、評価の実行、比較、プロモーション方法を詳しく説明しています。

ソースHacker News AI著者: sourishkrout
Show HN:デモではなく評価を中心に構築されたAIエージェントスキルリポジトリ
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

最近、開発者sourishkroutがGitHub上で「Skills」というAIエージェントスキルリポジトリを公開しました。従来のデモ中心のプロジェクトとは異なり、このリポジトリは評価(evals)を中心に構築されている点が特徴です。各スキルには完全な回帰評価トラックレコードが付属しており、開発者はまずその記録を確認してからクローンやコードの実行を判断する必要があります。

現在、リポジトリには「world-cup-picks-report」というサンプルスキルが含まれており、2026年ワールドカップの予測レポートを生成します。イベントは終了しましたが、評価トラックレコードは引き続き有効であり、参考になります。開発者は2つのダッシュボードで評価の進捗を監視できます:Trendダッシュボードは主要指標と回帰傾向を表示し、Harborダッシュボードはすべてのジョブとタスクトライアルの完全な履歴を保存します。また、ローカルにクローンした後はrunme eval viewコマンドで履歴を閲覧することも可能です。

スキルの使用は簡単です。npxコマンドでグローバルインストールするか、Claude Codeマーケットプレイスから追加できます。

npx skills add -g https://github.com/sourishkrout/skills --skill world-cup-picks-report

または

/plugin marketplace add sourishkrout/skills
/plugin install world-cup-picks-report@sourishkrout-skills

ローカルで評価を実行する前に、リポジトリをクローンして依存関係をインストールし、Anthropic APIキー(LLM評価用)をエクスポートする必要があります。評価プロセスは複数のAIエージェント(Codex、Claude Code、Cursor CLI、OpenClawなど)をサポートしています。完全な回帰評価を実行するコマンドは以下の通りです:

runme eval skills/world-cup-picks-report/evals/regression \
--agent codex \
--ak reasoning_effort=xhigh

オラクルのみを実行する場合は:

runme eval skills/world-cup-picks-report/evals/regression

評価後、最新結果とGitベースラインを比較するには:

runme eval compare skills/world-cup-picks-report/evals/regression

プロモーションのプレビューは:

runme eval promote skills/world-cup-picks-report/evals/regression --latest --dry-run

結果に満足したら、プロモーションコマンドで新しいベースラインとして設定できます。デフォルトでは評価証拠は圧縮されますが、--artifactsオプションで完全なログを保持できます。Harbor展示は公開されているため、プロモーション前に証拠を注意深く確認する必要があります。プロモーションコミットをメインブランチにプッシュすると、GitHub Actionsが自動的に結果を公開します。

このリポジトリはMITライセンスの下で提供されており、現在は初期段階ですが、評価中心のアプローチは信頼性の高いAIエージェントを構築するための貴重な指針を提供します。詳細なドキュメントと例はGitHubで確認できます。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • 各AIスキルには回帰評価の記録が主要な成果物として付属
  • Runmeツールを使用して評価結果の実行と比較が可能
  • Codex、Claude Codeなど複数のAIエージェントをサポート
  • 評価結果をプロモーションしてHarbor展示プラットフォームに公開可能

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。