DeepSeek V4最大の遺憾

DeepSeek V4のテクニカルレポートには多数の革新が含まれているが、Engramモジュールが欠落していることが話題となった。EngramはTransformer向けのネイティブ知識参照テーブルであり、静的な知識検索と深い推論を分離する。V4には含まれなかったが、その後3つの論文がCXLメモリプーリング、衝突なしホットレイヤー最適化、視覚モダリティへの応用を探求した。