AIシステムがより複雑なタスクを担うようになるにつれ、業界の進歩の多くはモデルの規模、トレーニングデータ、コンテキスト長、推論時の計算量の増大によってもたらされてきました。推論作業を連鎖的な思考として外部化する(追加のトークンを逐次生成し、後のステップにフィードバックする)代わりに、Pathwayの脳に着想を得たBDH(Dragon Hatchling)は潜在空間で推論を実行します。中間的なテキストトレースを生成することなく、例から学習し、ソリューションを洗練させます。BDHは、もともとスパースで局所的な相互作用を通じて通信し、シナプスのような接続に状態を維持するニューロンのグラフとして定式化された、脳に着想を得たアーキテクチャを提供することで、Transformerパラダイムを超えます。モデルの状態はテスト時の重み更新なしでコンテキスト内で適応し、推論の範囲は固定サイズのコンテキストウィンドウによって制限されたり、非効率な連鎖的思考トークンの洪水に縛られたりしません。
大規模言語モデル(LLM)はAIを変革し、コード生成からクリエイティブライティングまで、タスクへの取り組み方を変えてきました。しかし、汎用知能と、長期間にわたって一貫して推論する能力については、根本的な疑問が残っています。過去10年間ほぼ静的であったそのアーキテクチャは、トレーニングと推論の両方で依然として重要な非効率性を提示しています。LLMは長い相互作用の間に忘れがちで、セッション間で知識を保持せず、新しい知識を獲得するには再トレーニングが必要です。PathwayのBDH-CQは、再帰的な潜在状態内で反復計算を実行し、候補回答のみをデコードすることで、推論中にモデルの内部メモリを更新します。モデルは、長い口頭化された推論トレースを生成することなく、微調整や再トレーニングを必要とせずに、新しい問題に取り組むことができます。
PathwayのBDHはPyTorchなどのよく知られたフレームワークと統合され、トレーニングのスケールアウトにAmazon SageMaker HyperPodを使用します。Amazon SageMaker HyperPodは、アプライドAIサイエンティストがコンピューティングリソースを回復力があり、スケーラブルで、費用対効果の高い方法で共有するのに役立ちます。
Transformer:アーキテクチャと根本的な限界
Transformerアーキテクチャは、自然言語処理(NLP)で広く採用されていますが、トレーニングと推論の両方のワークロードで重大な限界に直面しています。
トレーニング中、Transformerはトレーニングデータを超えた系統的な一般化に苦労し、特に長い連鎖的思考の推論タスクで苦労し、この限界を補うために膨大な量のデータと計算努力を必要とします。Transformerアーキテクチャの密な計算パターンと完全な逆伝播要件は、モデルサイズとともに指数関数的にスケールする実質的な計算コストにつながります。ミクロスケールの動学(つまり、ニューロンの活性化)とマクロ行動(つまり、モデルがなぜそのように答えるのか)との間に明確な関連性が欠けています。完全な再トレーニングや微調整なしに知識を効率的に更新することは困難です。なぜなら、Transformerはしばしば破滅的忘却に苦しみ、新しいことを学ぶと別のことを忘れてしまうからです。
推論時には、Transformerは他の非効率性に直面します。注意メカニズムの構造はスケーラビリティを制限し、Mixture of Experts技術を使用しても、密な活性化パターンは過剰な計算とメモリ帯域幅の使用をもたらします。固定コンテキストウィンドウと増大するKVキャッシュは、シーケンス長の処理に制限を課します。さらに、Transformer状態のクローズドソースの性質により、モデルの推論プロセスを解釈または監視することがほぼ不可能になり、本番環境や厳しく規制された業界での信頼性と安全性に関する懸念が高まります。
これらの課題は、実装の詳細だけでなく、アーキテクチャの設計選択に根本的に結びついており、計算効率と自然知能の原則の両方によりよく適合する代替アプローチの必要性を示唆しています。
「今日のAIは推論に高いトークンコストを支払っていますが、そのコストは知能の法則ではなく、アーキテクチャによって課せられています。現在、推論の各ステップはコンテキストを消費し、レイテンシを追加し、コンピューティングを消費します。異なるアーキテクチャがゲームを変え、1ドルあたりの知能の観点で全く新しい空間を開くことを示します。PathwayのBDHアーキテクチャに基づいて構築された1億5000万パラメータのモデルは、潜在空間で再帰的に推論し、ARC-AGI-1のコスト効率で新たな最先端を設定します。ボトルネックは決して知能ではありませんでした。それは設計でした。」
— Zuzanna Stamirowska、Pathway CEO兼共同創設者
BDH:人工知能と自然知能のための統一アーキテクチャ
Pathwayのビジョンは、モデルの思考方法を根本的に変えることです。同社のBDHアーキテクチャは、継続的に学習し、進化し、推論するポストTransformerモデルです。BDHのアーキテクチャは、シーケンスモデリングを相互作用するニューロン粒子のネットワーク上の局所グラフ動学として再定式化する、言語モデルを構築する新しい方法を表しています。モデルは、注意メカニズムを実装するために、「一緒に発火するニューロンは一緒に配線される」という原則であるヘブ学習を採用しています。このアプローチは単一のニューロン次元(n)でスケールし、Transformerを展開する際に直面するコンピューティングリソース全体への分散の複雑さを軽減します。
脳と同様に、BDHの相互作用はスパースで局所的であるように定義され、ニューロン間の接続が記憶と推論の機能をエンコードします。このスパースな活性化プロファイル(通常、特定の時点で活性化しているニューロンはわずか5%)は、効率的な計算をサポートします。活性状態の削減は、推論ステップごとに必要な計算が少なくなることを意味し、本番環境でのパフォーマンス向上につながります。
BDHは、長いコンテキストに対するTransformerモデルの特徴である増加した複雑さを招くことなく、固定された高次元状態で動作する線形メカニズムを通じて注意を実装します。これにより、モデルはTransformerアーキテクチャのコンテキスト長の制限なしに、より長いシーケンスをより効率的に処理できます。モデルの状態はニューロン対間のシナプス接続に直接マッピングされ、推論プロセスの可視性を提供し、モデルの意思決定をより解釈しやすくします。
最近、PathwayはBDH上に構築された推論システムであるBDH-CQを構築しました。これは、視覚的問題解決のためのインコンテキスト学習と潜在的反復推論でBDHを拡張します。
以下のセクションが示すように、BDH-CQはインコンテキスト学習に優れています。潜在状態に対するその再帰的計算は、効率的な並列仮説探索をサポートし、ニューロンのコミュニティが手元の問題に対する異なる候補ソリューションを表すことができます。モデルは、固定メモリコストで任意の数のデモンストレーションを処理できる推論効率を達成します。
「顧客は、高度な推論を実験から本番環境に移行する方法をますます模索しており、パフォーマンス、効率性、スケーラビリティがすべて重要です。PathwayがAmazon SageMaker HyperPod上でBDH-CQをトレーニングする取り組みは、高性能システムを大規模に費用対効果高く展開するための有望な道を示しています。」
— Nicolas Tarducci、Amazon Web Services EMEAスタートアップ担当ソリューションアーキテクチャ責任者
Amazon SageMaker HyperPodでのBDHアーキテクチャの開発
Pathwayは、BDHアーキテクチャの開発にAmazon SageMaker HyperPodを使用しています。Amazon SageMaker HyperPodは、数百または数千のGPUにわたる分散トレーニングまたは推論を必要とするLLMおよび基盤モデル(FM)のトレーニング用に特別に構築されたインフラストラクチャソリューションです。自動クラスタプロビジョニング、最適化されたネットワーキングファブリック、カスタマイズ可能なソフトウェアスタックを備えた、完全マネージドの高性能機械学習(ML)トレーニング環境を提供します。モデルプロデューサーにとって、Amazon SageMaker HyperPodは3つの主要な利点を提供します。複雑なインフラストラクチャのセットアップと管理を排除することによる市場投入までの時間の短縮、自動スケーリングによるコスト効率の向上、GPUクラスタ全体でほぼ線形のスケーリングを実現する特殊なネットワーキングアーキテクチャによるモデルパフォーマンスの向上です。これにより、MLチームはインフラストラクチャの課題ではなくモデル開発に集中でき、従来のインフラストラクチャアプローチと比較してトレーニング時間の短縮とコストの削減を実現します。
Transformerを超えたAIアーキテクチャを開発するために、Pathwayにとってトレーニングインフラストラクチャの包括的な可観測性が重要です。Amazon Managed Service for Prometheusなどの高度な監視ツールとのAmazon SageMaker HyperPodの統合は、これらのワークロードに必要な深い洞察を提供します。Amazon Managed Grafanaダッシュボードを使用した可視化、メトリクス収集、プロアクティブな最適化機能の組み合わせにより、Pathwayは複雑な分散トレーニングパターンを可視化し、GPU使用率とメモリパターンを監視し、並列トレーニングアプローチのノード間通信効率を追跡できます。
この包括的な可観測性スタックは、新しいアーキテクチャアプローチを反復する際の開発サイクルを短縮し、リソース集約的なトレーニングのコストパフォーマンス比を最適化し、トレーニング実行全体で結果の信頼性と再現性を確保するのに役立ちます。この統合の詳細と、この可観測性スタックを迅速にデプロイする方法については、awsome-distributed-aiリポジトリまたはAmazon SageMaker HyperPodのドキュメントを参照してください。
Amazon Elastic Fabric Adapter(EFA)は、GPUアクセラレーション計算のためのNVIDIA CUDAプラットフォームと、GPU間の通信用のNVIDIA Collective Communications Library(NCCL)とネイティブに統合されています。データ、重み、アクティベーションなどを、信頼性が高くスケーラブルな方法で分散できます。Pathwayは、インスタンスあたり最大3200 GbpsのネットワークパフォーマンスとNVIDIA H200 GPUを搭載したNVIDIAのアクセラレートAIインフラストラクチャを備えたAmazon Elastic Compute Cloud(Amazon EC2)p5en.48xlargeインスタンスを使用しました。すべてのインスタンスはEFAを使用して相互接続され、Amazon EC2 UltraCluster上で動作し、GPU間のネットワーク距離を短縮してレイテンシを低下させました。
BDHアーキテクチャの証明:BDH-CQがARC-AGIで29.2%のpass@2を達成
BDH-CQは、ARC-AGIベンチマークでタスクあたり0.0007ドルのコストで29.2%のpass@2を達成しました。
Pathwayの新しい推論アプローチ、インコンテキストタスク獲得、反復潜在計算のおかげで、BDH-CQは2026年8月時点でARC-AGI-1ベンチマークのコスト精度パレートフロンティアを変えました。
ARC-AGI-1は、AIシステムに、未知の視覚ルールを示す少数の前後例を提示します。システムはそのルールを推論し、新しいグリッドに適用する必要があります。これは、人間のような知能に関連する能力です。BDH-CQは、再帰的な潜在状態内で反復計算を実行し、候補回答のみをデコードします。作業を連鎖的思考として外部化し、レイテンシと推論コストを増加させるTransformerと比較して、BDH-CQは例が処理される間にモデルの内部メモリを更新します。長い口頭化された推論トレースを生成することなく、新しい問題に取り組みます。
ARC-AGIが探求するパターンは、サイバーセキュリティインシデントの調査、交通ネットワークの調整、リアルタイムの産業運用への対応、長期的なワークフロー全体での自律エージェントの運用など、情報と制約が変化する中でシステムが確実に推論する必要がある現実世界の課題に似ています。BDH-CQの新しいアプローチは、これらのアプリケーションをより低コストで、より応答性が高く、より信頼性の高いものにできることを示しています。
結論
BDHは、スケールフリーの生物学的ネットワークに触発された新しい大規模言語モデルアーキテクチャです。生物学が正しく理解した原則、すなわち局所相互作用、スパース活性、永続的状態、継続的調整を活用し、それらを現代のシーケンスモデルに適用します。GPUフレンドリーな実装を提供します。BDHは、再帰的メモリと局所計算を中心に構築されたポストTransformerアーキテクチャを提供します。BDH-CQはそれを拡張し、コンテキストから学習し、反復を実行する推論システムにします。