Research blog; check individual article license before full text display.
適応的並列推論（APR）は、モデル自身がいつ並列化するか、いくつのスレッドを生成するか、どのように調整するかを決定できる新たなパラダイムです。本記事では、APRの動機、手法、学習戦略、評価について詳細に分析し、固定並列手法との違いや将来の研究方向を議論します。
GRASPは学習されたダイナミクス（世界モデル）のための新しい勾配ベースプランナーであり、軌道を仮想状態に持ち上げて並列最適化を行い、状態反復に確率性を追加して探索を行い、高次元視覚モデルを通じた脆い状態入力勾配を回避するために勾配を再形成することで、長い時間スケールでの計画を実用的にします。
本記事では、大規模言語モデル（LLM）における重要な相互作用を、特徴帰属、データ帰属、メカニズム的解釈可能性の3つの観点から効率的に特定するアルゴリズムSPEXとProxySPEXを紹介します。これらの手法は、スパース性、低次性、階層性といった構造的特性を活用し、少ないアブレーションで特徴、トレーニングデータ、内部コンポーネント間の影響力のある相互作用を発見し、長いコンテキストやデータセット、モデルコンポーネントにわたって優れた性能を示します。
研究者らは、相互情報量に基づくイメージングシステムの評価・最適化フレームワークを開発。4つのイメージング領域で性能を予測し、タスク固有のデコーダーなしで効率的な設計を可能にする。
本稿では、分割統治パラダイムに基づく新しい強化学習アルゴリズム「Transitive RL（TRL）」を紹介する。従来のTD学習とは異なり、軌跡を再帰的に分割することで長期的課題にスケーラブルに対応する。OGBenchの最も困難なタスクにおいて、TRLはnステップTDのハイパーパラメータ調整なしで最適な性能を達成した。
BAIRの研究チームは、word2vecの学習プロセスに関する新理論を発表。学習問題は重みなし最小二乗行列分解に帰着し、最終的な表現はPCAで与えられる。小さな初期化から始まり、解釈可能な概念に対応する直交線形部分空間を離散的に学習する。理論はコーパス統計とハイパーパラメータから特徴を閉形式で予測し、実験とよく一致する。
BAIRチームは、全身動作を条件として自己中心ビデオを予測するPEVAモデルを提案。自己回帰条件付き拡散トランスフォーマーをNymeriaデータセットで学習し、原子動作、長期ビデオ生成、視覚的計画を実現する。
BAIRの研究者らは、LLM統合アプリケーションにおけるOWASP第1位の脅威であるプロンプトインジェクションに対抗するため、追加の計算コストや人的労力を必要としない2つの微調整防御手法StruQとSecAlignを提案。StruQは構造化命令チューニングで注入命令を無視するよう学習させ、SecAlignは特殊選好最適化により最適化攻撃の成功率を8%以下に低減し、モデルの汎用性能を維持する。
PLAIDは、タンパク質折りたたみモデルの潜在空間を学習することで、タンパク質の1次配列と3次構造を同時に生成するマルチモーダル生成モデルです。配列データのみで訓練可能で、機能や生物種のプロンプトに対応し、全原子生成、生物種特異性、制御仕様といった実用的な課題を解決します。
ラッシュアワーの高速道路で、強化学習（RL）制御された100台の車両を展開し、渋滞を緩和し全ドライバーの燃料消費を削減しました。データ駆動型シミュレーションを通じて、RLエージェントはスループットと安全性を維持しながらエネルギー効率を最大化することを学習しました。実地テストでは、適切に制御された少数の自動運転車（AV）が交通の流れと燃費を大幅に改善し、15～20%のエネルギー節約が確認されました。
BAIRの研究チームは、大規模言語モデルに詳細な個人のバックストーリーを提供することで、代表的で一貫性があり多様な仮想ペルソナを生成する手法「Anthology」を発表した。この方法は従来の人口統計に基づく条件付けよりも実際の人間の調査回答に近く、社会科学研究に費用対効果の高い代替手段を提供する。