Show HN: Atrophy – AIがあなたの無支援コーディングスキルを侵食しているかを測定する

Atrophy は、開発者が AI 支援ツールの使用によって自分の本来のコーディング能力がどの程度侵食されているかを定量化するためのオープンソースのコマンドラインツールです。このツールは、ユーザーが Copilot や ChatGPT などの AI ツールを一切使用せずに、短いコーディング演習を定期的に解くことを要求し、その解答を自動評価し、チェスのレーティングシステムに類似した動的なスキル評価値を維持します。ユーザーの評価値の変化はグラフで表示され、独立したコーディング能力が時間とともにどのように変化しているかを直感的に把握できます。

このツールの核となる機能は、5つの主要なプログラミングスキル（構文想起、デバッグ、コード読解、API記憶、分解設計）を中心に構成されています。各演習は Python と JavaScript の2言語に対応し、3段階の難易度レベルに分かれています。システムはユーザーのパフォーマンスに基づいて難易度を自動調整し、成功確率が約65％に近づくように挑戦レベルを設定することで、各演習から最大限の情報を得られるように設計されています。

Atrophy の標準的な使用フローは次のとおりです。まず、atrophy baseline を実行して約25分間の初期テストを行い、各スキルのベースライン評価を確立します。その後、定期的に atrophy drill（各5〜10分）を実行して、最も長く練習していないスキルを強化します。atrophy serve コマンドを使用すれば、ブラウザでスキル曲線や無支援対AI支援の比較を含むダッシュボードを表示できます。特に、月に一度の atrophy drill --ai-on は AI 支援を許可した状態でテストを実施し、その結果は無支援の結果とは別に記録され、両者の差を示すグラフが生成されます。これこそがこのツールが存在する核となる理由です。

このプロジェクトは、その重要性を裏付けるために複数の研究を引用しています。例えば、医師が AI 支援を受けた後にポリープ発見率が低下したこと、GPT-4 を利用した学生がそれを取り上げられた後に成績が低下したこと、AI を使用する開発者の実際の生産性が低下したことなどが挙げられています。これらの研究は、スキル低下には内部的な警告信号が存在しないことが多く、Atrophy はそのような客観的な測定手段を提供することを目的としています。

Atrophy はプライバシーとデータのローカル保存を重視して設計されています。すべてのデータはローカルの SQLite ファイルに保存され、アカウントは不要で、同期やテレメトリーは一切行われません。完全にオープンソース（MIT ライセンス）であり、短い演習では現実世界のスキルを完全に代表できないことや、練習が演習自体のスキルを向上させる可能性があることなど、その限界についても正直に議論しています。このプロジェクトはコミュニティからの新たな演習問題の貢献を歓迎しており、問題の品質を確保するための堅牢なテストと検証プロセスを備えています。