言語駆動の器用な把持モデル(DextERなど)は、指示がどこをつかむかを指定する場合にはうまく機能するが、指示がどこをつかんではいけないかを指定する場合(例:「ハンドルをつかむが、本体は避ける」)には系統的に失敗することがわかった。既存のトレーニングコーパス(DexGYSNetなど)には回避指示がほぼ含まれておらず、考えられるすべての制約の例を収集することは非現実的である。さらに、トレーニング中に言及されるすべての部品が接触ターゲットを意味するため、モデルは禁止された部品を回避すべき領域ではなく、つかむ別の領域として解釈する可能性がある。そこで、否定固有のトレーニング例を必要としない、否定制約付き器用把持のための推論時フレームワークを導入する。逐次モンテカルロ法と分類器フリーガイダンスを組み合わせることで、指示された部位に向かってサンプリングを導きながら、禁止領域に向かう候補を剪定する。凍結された3Dパーツグラウンディングモデルが、言語指示から禁止領域を特定する。この設定を評価するために、対になった肯定/否定命令と制約認識メトリクスを備えたベンチマークNegGraspを構築する。NegGraspでは、最も強力なベースラインの違反率を57.9%から17.2%に削減し、制約認識と物理的成功の両方を向上させた。
AI ニュース速報
リアルタイム監視
最新ニュース
信頼できる情報源、出典、権限、サイト内閲覧を保ちながら、AI の変化を読める情報に圧縮します。
最新ニュース
2026-09-02
従来の研究は、マルチモーダル大規模言語モデル(MLLM)におけるオブジェクト幻覚を主に言語事前分布に起因すると考えてきた。しかし、本論文は、誤った視覚特徴抽出と画像・テキスト埋め込みの不整合による「視覚由来幻覚」という、見過ごされてきた補完的な原因を定量証拠とともに提示する。コサイン類似度解析とSmooth Grad-CAMエントロピー測定により、幻覚サンプルでは画像とテキストの類似度が低く、注意パターンが逆転することを示す。この診断に基づき、対抗的コントラストファインチューニング(ACFT)を提案。COCOデータセットの0.9%のみで、追加推論コストなしに、複数のベンチマークで最先端の性能を達成する。
新しいarXiv論文は、科学分析における言語モデルエージェントの妥当性を向上させるために、ゲノミクス、ケモインフォマティクス、医用画像などを含む16の実践領域にわたる163の手続き的スキルを含むオープンソースライブラリ「Scientific Agent Skills」を紹介しています。各スキルはバージョン管理された人間が読める指示ファイルを中心としたディレクトリであり、エージェントはタスクに必要なときのみロードします。著者はタスクレベルの評価やホスト選択率を報告していません。
自己教師あり呼吸エンコーダーには臨床領域の意味的根拠が不足しており、ゼロショット推論が制限される。本研究では、これらのエンコーダーを共有潜在空間で医学用語と整列させ、ゼロショット対応の基盤モデルに変換する枠組みを提案する。医療用LLMを用いてメタデータから構造化レポートを合成することでデータ不足を解消。6つのデータセットの9タスクで平均ゼロショットAUC 61.3%を達成し、CLAP (51.4%) やQwen2-Audio (54.9%) を上回り、線形プローブAUC最高値 (71.6%) をフルスケールベースラインの43%のデータで達成した。