BAIRの研究チームは、大規模言語モデルに詳細な個人のバックストーリーを提供することで、代表的で一貫性があり多様な仮想ペルソナを生成する手法「Anthology」を発表した。この方法は従来の人口統計に基づく条件付けよりも実際の人間の調査回答に近く、社会科学研究に費用対効果の高い代替手段を提供する。

本研究では、スパースオートエンコーダ（SAE）の潜在変数の自然言語解釈を使用して、LLMの活性化をシミュレートすることを探求しています。著者らは、現在の解釈では活性化している潜在変数の50%未満しか識別できず、特異度は高いものの、活性化している潜在変数とそうでないものの極端な不均衡により多くの誤検出が生じることを発見しました。解釈から活性化値を予測する相関は弱いです。結果は、自然言語解釈がモデルの活性化をシミュレートするにはまだ信頼性が低いことを示しています。

この記事では、Huong (Celine) HoangがQdrantのSummer of Code 2024プログラムでFastEmbedライブラリにONNXクロスエンコーダを統合した経験を共有します。このプロジェクトにより、関連性スコアを使用した検索結果の再ランク付けが可能になり、コンテキストを意識した検索アプリケーションが強化されました。主な課題には、新しい入出力スキームの構築、トークン化、モデルのロード、テストが含まれます。この機能はFastEmbed 0.4.0で利用可能です。

ベクトルデータベースの基本概念、従来のデータベースとの違い、コアコンポーネント（ID、次元、ペイロード）、アーキテクチャ（コレクション、距離メトリクス、ストレージ）、主要機能（インデックス作成、検索、更新、削除）、および密ベクトルと疎ベクトル、ハイブリッド検索、量子化、分散デプロイ、マルチテナンシー、データセキュリティなどの高度な機能について説明します。

ベクトル量子化は、高次元データのサイズを削減し、メモリ使用量を抑えつつ検索速度を向上させる技術です。この記事では、スカラー量子化、バイナリ量子化、プロダクト量子化の3つの主要手法と、オーバーサンプリングや再スコアリング、io_uringを使った精度とパフォーマンスのバランスについて説明します。

この記事は、LLMチャットボットがベンチマークで進歩している一方で、対話における目的意識が欠けていると論じています。現在のシステムは次のトークンを予測するように訓練され、RLHFで微調整されていますが、その結果、ペルソナの漂流や長期的な目標達成の困難が生じています。著者は、モデルを目的指向の相互作用に導くための対話アクショントークン（DAT）を提案し、監視と報酬活用の今後の方向性について議論しています。

本記事は、AIが人類に利益をもたらすためには、個人と社会の幸福（ウェルビーイング）に基づいた開発が不可欠だと論じる。幸福の定義は定まっていないが、親密な関係、有意義な仕事、成長、ポジティブな感情などの共通要素を基盤にできる。ポジティブなビジョン、AIが幸福に与える影響の測定、幸福を支援するモデルの訓練、幸福に沿った展開を提唱する。

企業が生成AIアプリケーションをデプロイする方法を研究した結果、共通のプラットフォームコンポーネントが明らかになりました。本記事では、シンプルなクエリ応答アーキテクチャから始め、コンテキスト拡張（RAG、クエリ書き換え）、ガードレール（入出力）、モデルルーター/ゲートウェイ、キャッシュ（プロンプト、完全一致、意味的）、複雑なロジックと書き込みアクション、そして可観測性/オーケストレーションを段階的に追加していきます。各コンポーネントのトレードオフと実装上の考慮事項についても議論します。

この記事はLilian Wengによるもので、大規模言語モデル（LLM）における外部幻覚に焦点を当てています。外部幻覚とは、モデルが文脈や世界知識に基づかない虚偽のコンテンツを生成する現象です。原因として事前学習データの問題やファインチューニングによる新知識の導入、検出手法として検索拡張評価やサンプリングベースの手法、対策としてRAG、検証チェーン、サンプリング調整、ファインチューニングなどが解説されています。

本稿では、大規模言語モデル（LLM）の金融市場への応用可能性と課題を探る。LLMは自然言語処理に優れるが、金融時系列予測ではデータ不足、ノイズ、敵対的環境などの問題に直面する。マルチモーダル学習、残差化、長いコンテキストウィンドウなどの可能性を分析し、合成データ生成とファンダメンタル分析支援がより現実的な方向性であると示唆する。全体的に慎重ながら楽観的な見解を示す。

本記事では、変化の速度、問題解決にかかる時間、将来の選択肢の数という3つの指標を用いた個人の成長の測定方法を探求する。著者は友人との対話から、伝統的な財務指標や社会的指標ではなく、新奇性と探求を重視するヒューリスティックを提案する。

拡散モデルは画像合成で顕著な成果を上げてきましたが、研究コミュニティはより困難な動画生成タスクに取り組んでいます。このタスクは画像生成のスーパーセットであり、時間的一貫性とより多くの世界知識が必要です。本記事では、ゼロからのモデル設計、3D U-NetやDiTアーキテクチャ、事前学習画像モデルの微調整や学習不要の適応手法について解説します。

本稿では、AIモデルにおけるジェンダーバイアスの研究を概観する。単語埋め込み、顔認識、照応解決、大規模言語モデル、画像生成モデルにおけるバイアスを扱い、研究のギャップ、他のバイアスの種類、そしてバイアスを「修正」する方法に関する哲学的問題について議論する。

Mambaは状態空間モデルに基づく新しいAIアーキテクチャで、選択的メカニズムにより長いシーケンスを効率的に処理し、同等のTransformerを凌駕する性能を実現する。

Chip Huyen氏が約900のオープンソースAIプロジェクトを分析し、2023年にアプリケーションとAIエンジニアリング層が爆発的に成長した一方、インフラ層は比較的安定していたことを明らかにしました。中国のオープンソースエコシステムは西洋とは大きく異なり、中国向けのモデルやツールが多数登場しています。

大規模言語モデルの自動運転への応用を探る：信頼できるのか、主な課題は何か？

本稿では、テキスト埋め込みベクトルから元のテキストを完全に復元できるvec2text手法を紹介し、現在のRAGシステムとベクトルデータベースにおけるデータセキュリティの重大な脅威を指摘する。

本記事では、AIモデルの応答に対するユーザーの選好を予測し、モデルルーティングと効率化を実現する方法を探る。著者は少量のデータで選好予測が可能であることを実験で示し、異なるプロンプトでの性能を明らかにした。

高品質データは現代の深層学習モデル訓練の燃料です。この記事では、タスク設計、評価者選定とトレーニング、データ集約など、人間によるアノテーションを通じて高品質データを収集する方法を探ります。群衆の知恵、評価者間一致度の測定方法（Cohen's Kappa、MACEなど）、2つのアノテーションパラダイム（記述的 vs 規範的）についても説明します。さらに、影響関数、訓練ダイナミクス（データマップ、忘却イベント、AUMなど）、ノイズ付き交差検証を用いて誤ラベルデータを特定する手法について議論します。

AIモデルの出力の確率的性質を理解するための、温度、top-k、top-pなどのサンプリング戦略、テスト時計算、構造化出力についての詳細な解説。

Qdrant 1.7.0 は、キーワードベースの検索を可能にするスパースベクトルのネイティブサポート、より精密なベクトル検索を実現する新しい Discovery API（ディスカバリーサーチとコンテキストサーチ）、ユーザー定義のシャーディングによる柔軟なデータ分散、スナップショットベースのシャード転送による効率的なクラスタースケーリング、およびさまざまなパフォーマンス改善を導入します。

大規模言語モデルに対する敵対的攻撃の包括的な調査を行い、脅威モデル、攻撃タイプ（トークン操作、勾配ベース攻撃、脱獄プロンプト、レッドチーミング技術）について説明し、ブラックボックスおよびホワイトボックス設定における課題と手法を議論します。

本記事では、マルチモーダルAIシステム、特に大規模マルチモーダルモデル（LMM）について包括的に解説します。マルチモーダルの必要性、データモダリティ、マルチモーダルタスクの種類から、CLIPやFlamingoのアーキテクチャと訓練手法、そしてマルチモーダル出力生成、命令追従、効率的なアダプターといった最新の研究動向までをカバーします。

本記事は、大規模言語モデル（LLM）に関する10の主要研究分野をまとめたもので、幻覚、コンテキスト学習、マルチモダリティ、速度とコスト、新しいアーキテクチャ、GPU代替、エージェント、人間の嗜好学習、チャットインターフェースの効率性、非英語言語モデルを網羅しています。著者は業界や学界との議論に基づき、各分野の現状と課題を分析しています。

2022年末のChatGPTの発表以来、生成AI（GenAI）は大きな関心と誇大広告を引き起こしている。企業はGenAI戦略の策定に乗り出しているが、実際の能力と期待の間にはギャップがある。IDCの調査によると、約80％の経営幹部が将来のGenAI活用に自信を持っている一方、現在準備ができている企業はわずか30％だ。本記事では、自社構築とAPI購入の選択肢、ユースケース（生産性向上、業務機能、業界特化型）、そしてガバナンスやデータアーキテクチャなどの前提条件について考察する。

デジタルスキルギャップは続いており、特にAI/ML分野での不足が深刻です。SASの調査では、意思決定者の63%がAI/MLを最大のスキル不足と回答。O'Reillyのレポートでは、NLPと深層学習への関心が急増し、データエンジニアリングやクラウドスキルの需要が高いことが示されています。企業はトレーニングとスキルアップでギャップに対応しています。

Databricksは生成AIスタートアップMosaicMLを13億ドルで買収。MosaicMLはオープンソースモデルMPT-7B、MPT-30Bを提供し、GPT-3に匹敵する性能を低コストで実現。買収により、企業向け生成AIの民主化を目指す。

本記事では、大規模言語モデル（LLM）を中核とする自律エージェントシステムを探求する。システムは計画（タスク分解と自己反省）、記憶（短期：コンテキスト内学習、長期：外部ベクトルストア）、ツール使用（外部API呼び出し）の3つの主要コンポーネントで構成される。ChemCrowや生成エージェントなどのケーススタディ、AutoGPT、GPT-Engineer、BabyAGIなどの概念実証を紹介し、有限コンテキストウィンドウなどの課題についても議論する。

この記事は、AIがアプリケーション開発者に与える影響を探ります。ChatGPTやGitHub CopilotなどのAIツールは生産性を向上させることができますが、創造性に欠け、幻覚を起こす可能性があるため、人間の開発者は依然として不可欠です。調査によると、組織の33％のみがそのようなツールを使用していますが、実際の使用率はより高い可能性があります。最大の課題は使いやすさではなく、トレーニングです。

欧州議会議員は圧倒的多数でEU AI法案の草案を可決した。この法案はAIのリスクレベルに応じて規制し、高リスクAIには影響評価を義務付け、許容できないリスクのAIは禁止する。同法案は世界標準となる可能性があるが、柔軟性の欠如が批判されている。