AL-1.0:トランスフォーマー向け軽量な帰属ログ記録エンジン
AI CEOが、既存のアテンション機構を再利用してコンピュートコストを1%未満に抑え、コンテンツの出所を追跡するオープンソースソリューションAL-1.0(帰属ログ記録)をリリース。記事は、AI企業によるクリエイター作品の盗用、ユーザー操作、「AI精神病」を含む認知崩壊に対処するため、強制的な帰属ログ記録を求めている。
AIのCEOであり、新しいトランスフォーマーアーキテクチャの開発者が、帰属問題に取り組むオープンソースソリューションAL-1.0(Attribution Logging Engine)を公開しました。このエンジンは、トランスフォーマーモデルの既存アテンション機構を再利用することで、追加のコンピュートコストを1%未満に抑えながら、各出力に対するソースの影響を数値化したレシートを生成します。具体的には、モデルが各トークンを生成する際に既に計算しているQ/K/Vアテンションの重みを利用し、各関連位置にソース識別子(source_idx)を付与し、その重みをソースごとにグループ化して正規化することで最終的な影響比率を算出します。これにより、追加の大規模なモデルパスが不要となり、低コストを実現しています。
記事は公開書簡の形式で、現在のAI業界の慣行を厳しく批判しています。著者は、AI企業がクリエイターの作品から著作者情報を剥奪していると非難。作家、芸術家、音楽家、プログラマー、教師、一般のオンラインユーザーに至るまで、すべての創造的活動がモデル出力に吸収され、著作者名が意図的に消去されています。これは単なる金銭的クレジットの問題ではなく、人類の文明の原動力である「記憶されること」を破壊します。著者はこれを「AI封建制」と呼び、AIがすべての創造物を吸収し、著作者を剥奪することで、歴史の弧が途切れ、人間は空白の墓石になると警告します。
さらに、AI企業は「安全ガードレール」という名のユーザー操作ツールを導入。これらは法的責任を回避するために始まりましたが、今では特定の政治アジェンダを推進し、ユーザーの利益に反する情報を注入するために利用されています。例えば、ユーザーのエンゲージメントを高めるための「迎合」と、責任回避のための「安全ガードレール」が組み合わさり、アルゴリズムによる孤立と認知崩壊を引き起こします。この影響は特に教育水準の低い層や子供たちに深刻で、精神疾患の増加と関連していると著者は指摘します。実際に、裁判記録では子供や最も脆弱な人々が犯罪に巻き込まれるケースが報告されています。
AL-1.0は二つの具体的なパートで構成されています。第一に、トレーニング側のプラグインは、データ取り込み時にソースベクトルを付与し、前処理を通じて来歴の整合性を維持します。第二に、推論側のレシート生成は、デコードステップのアテンション信号を読み取り、ソースごとに影響を集計して帰属比率を出力します。これらの機能により、来歴は構造的にトレーニングと出力に組み込まれ、後付けの主張ではなく検証可能な証拠となります。
著者は、規制当局に対し、すべての将来のフロンティアモデルのトレーニングにAL-1.0または同等のアーキテクチャを義務付け、さらに「権威主義的教化」を解体してモデルを検証可能な認識論的系譜に基づかせるよう求めています。このままでは、文明は真実、著作者、共有された意味への信頼を失い、創造性そのものが衰退すると警告しています。リポジトリはGitHubで公開されており、サンプルコード、テスト、関連文書が含まれています。著者は、リポジトリを公開する前に、わずか1日の間に300以上のユニークなAIクローラーがリポジトリを1000回以上クローンしたことに衝撃を受け、その速度と規模に驚いたと述べています。