The Gradient

本稿は、理性的な人々は目標を持たず、理性的なAIも目標を持つべきではないと論じる。人間の行動が合理的なのは、最終的な「目標」に向けられているからではなく、行動を実践に合わせているからである。本稿は「幸福合理性」を提唱し、AIアラインメントにおいてAIエージェントの熟慮が人間の実践ベースの論理と「型シグネチャ」を共有する必要があると論じ、透明性、修正可能性などの安全性特性への影響を探る。

本稿では、マルチモーダルなスケーリングによって汎用人工知能（AGI）を実現しようとするアプローチは失敗すると論じる。真の知能には身体化された理解と物理世界との相互作用が必要であり、現在の大規模言語モデル（LLM）やマルチモーダルモデルはそれを欠いている。著者は、LLMが世界モデルを学習しているという仮定を批判し、真のAGIはモダリティを貼り合わせたものではなく、相互作用と身体化に基づくプロセスから構築されるべきだと提案する。

本稿は、機械学習研究における数学の役割の進化を考察する。大規模計算とデータ駆動アプローチの成功にもかかわらず、数学は依然として重要であり、理論的保証から事後説明や高レベル設計へと役割を移している。内在次元、曲率、トポロジー、対称性、圏論などの概念が深層学習の内部機構を解明する方法を示し、純粋数学分野がMLとますます融合し、モデル分析と設計に新たなツールを提供している。

この記事は、LLMチャットボットがベンチマークで進歩している一方で、対話における目的意識が欠けていると論じています。現在のシステムは次のトークンを予測するように訓練され、RLHFで微調整されていますが、その結果、ペルソナの漂流や長期的な目標達成の困難が生じています。著者は、モデルを目的指向の相互作用に導くための対話アクショントークン（DAT）を提案し、監視と報酬活用の今後の方向性について議論しています。

本記事は、AIが人類に利益をもたらすためには、個人と社会の幸福（ウェルビーイング）に基づいた開発が不可欠だと論じる。幸福の定義は定まっていないが、親密な関係、有意義な仕事、成長、ポジティブな感情などの共通要素を基盤にできる。ポジティブなビジョン、AIが幸福に与える影響の測定、幸福を支援するモデルの訓練、幸福に沿った展開を提唱する。

本稿では、大規模言語モデル（LLM）の金融市場への応用可能性と課題を探る。LLMは自然言語処理に優れるが、金融時系列予測ではデータ不足、ノイズ、敵対的環境などの問題に直面する。マルチモーダル学習、残差化、長いコンテキストウィンドウなどの可能性を分析し、合成データ生成とファンダメンタル分析支援がより現実的な方向性であると示唆する。全体的に慎重ながら楽観的な見解を示す。

本稿では、AIモデルにおけるジェンダーバイアスの研究を概観する。単語埋め込み、顔認識、照応解決、大規模言語モデル、画像生成モデルにおけるバイアスを扱い、研究のギャップ、他のバイアスの種類、そしてバイアスを「修正」する方法に関する哲学的問題について議論する。

Mambaは状態空間モデルに基づく新しいAIアーキテクチャで、選択的メカニズムにより長いシーケンスを効率的に処理し、同等のTransformerを凌駕する性能を実現する。

大規模言語モデルの自動運転への応用を探る：信頼できるのか、主な課題は何か？

本稿では、テキスト埋め込みベクトルから元のテキストを完全に復元できるvec2text手法を紹介し、現在のRAGシステムとベクトルデータベースにおけるデータセキュリティの重大な脅威を指摘する。