再帰的自己改善（RSI）の概念はI. J. Good（1965年）に遡り、彼は「超知能機械」をあらゆる知的活動で人間を超え、より良い機械を設計して自己改善するシステムと定義した。Yudkowsky（2008年）は「再帰的自己改善」というフレーズを、AIが現在の知能を使ってその知能を生み出す認知機構を改善する特定のフィードバックループに使用した。現代のAIにおけるこのフィードバックループは、モデルが直接自身の重みを書き換えることを示すか、より広義にはモデルがトレーニングパイプラインとデプロイメントシステムを改善し、経済的に価値のあるタスクで優れたパフォーマンスを持つ後継モデルを可能にする。フロンティアラボ（Anthropic、OpenAI）でのAI研究開発の速度は劇的に加速していることが示されている。この記事は、ハーネスエンジニアリング（ベースモデルを囲むシステムで、実行を orchestrate し、モデルがどのように思考、計画、ツール呼び出し、行動、知覚、コンテキスト管理、アーティファクト保存、結果評価を行うかを決定する）に焦点を当てている。ワークフロー自動化、ファイルシステムを永続メモリとして使用、サブエージェントなどのデザインパターンを議論し、エージェンティックコンテキストエンジニアリング（ACE）、メタコンテキストエンジニアリング（MCE）、メタハーネスなどの高度な最適化手法を検討する。
高品質データは現代の深層学習モデル訓練の燃料です。この記事では、タスク設計、評価者選定とトレーニング、データ集約など、人間によるアノテーションを通じて高品質データを収集する方法を探ります。群衆の知恵、評価者間一致度の測定方法（Cohen's Kappa、MACEなど）、2つのアノテーションパラダイム（記述的 vs 規範的）についても説明します。さらに、影響関数、訓練ダイナミクス（データマップ、忘却イベント、AUMなど）、ノイズ付き交差検証を用いて誤ラベルデータを特定する手法について議論します。