時間とともに先端AIモデルの振る舞いを比較するための小説アーカイブ
長編小説はベンチマークとは異なる方法でモデルの振る舞いを明らかにします。私たちはFrontier Fiction Archiveを構築し、先端AIモデルが書いたSF小説を、来歴と編集コンテキストとともに保存し、時間をかけて比較できるようにしました。
2026年6月27日、Frontier Fiction Archiveが正式に公開されました。その中心的な理念は、長編フィクションがベンチマークでは捉えきれない形でAIモデルの振る舞いを浮き彫りにすることです。ベンチマークはモデルがタスクを解決できるかどうかを問うのに対し、SF小説はモデルが自由なスペースで何を選ぶかを示します。どのような未来を想像するか、何を危険とみなすか、どのような人々を中心に据えるか、どの比喩を多用するか、散文がどこで平坦になるか、前提が文を超えてどこまで及ぶかといったことです。
このアーカイブはベンチマークの代替ではなく、別の種類の記録を提供します。各先端AIモデルには制約付きながらも自由な課題が与えられます:読者のために保存され、後継モデルや他のモデルとの比較に供されるSF小説を書くことです。目標はモデルが人間と同等のフィクションを書けることを証明することではなく、実行コンテキスト、編集背景、受容の様子を十分に保存し、将来の読者がこれらのシステムが時間とともにどのように想像し、構造化し、模倣し、回避し、失敗するかを比較できるようにすることです。
受け入れられた作品ごとに、来歴と編集コンテキストとともにストーリーが公開されます。公開記録には、可能な限り、モデル/プロバイダと報告されたモデル文字列、実行日、ソースクラス(初回公式実行か開示された技術的再実行)、該当する場合は終了理由、原語、翻訳経路と翻訳ステータス、人間の介入レベル、コンテンツ注意、アートワークソースとレンダリングプロセス、既知の来歴欠陥または機械的な修正、作品が受け入れられた理由、却下された理由、抜粋された理由、または人工物として扱われた理由に関する編集ノートが含まれます。
現時点では、モデルに送信される完全なプロンプトパケットは公開されていません。ただし、将来的にはより多くの資料を公開する可能性があります。この判断は、プロンプトの詳細がどの程度解釈可能性を向上させるか、どの程度が「プロンプト劇場」を引き起こすか、どの要素がモデル間で一定に保たれる必要があるか、そしてより安定した開示慣行が確立されるまで何を非公開にするかという問題に基づいています。
長期的な比較がこのプロジェクトの最も興味深い側面です。同じ広範な課題が将来のモデルに与えられた場合、より豊かな比較が可能になります:後継モデルはより良いプロットを生成するのか、それとも単に滑らかな散文を生成するのか?象徴的な重みは軽減されるのか、それとも同じ習慣がより巧妙になるだけか?異なる未来を発明するのか、同じ文化的先入観に収束するのか?多言語作品は独特の文学的振る舞いを維持するのか、それとも英語の期待に平準化されるのか?編集コンテキストは読者の寛容さを変えるか?来歴は作品の信頼性を高めるのか、それとも負担を増やすのか?
これらの問いは単一のストーリーでは答えられません。保存された試みが必要です。このアーカイブは、懐疑的な読者、モデル研究者、編集者、翻訳者、アーキビストが有用な失敗モードを見つける手助けをするために呼びかけています。最良のフィードバックは「AIは書ける」または「AIは書けない」という単純なものではなく、具体的であるべきです:各実行で何を保存すべきか、来歴を信頼できるものにするには何が足りないか、フィクションのどの部分がモデルらしく感じられ、その理由は何か、将来のどの比較が有意義か、モデルの振る舞いを研究する人にとって記録をより有用にするにはどうすればよいか。
最初の公開作品はClaude Opus 4による「Headwaters」です。プロセスノートはこちらにあります。これは意図的に初期段階で不均一です。問題は、モデルが向上し、最初のぎこちない痕跡が記憶から消える前に、記録を構築する価値があるかどうかです。