跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

面向Amazon Bedrock託管知識庫的智能檢索

文章摘要

經典檢索在應對多部分、比較性和探索性問題時表現不佳,而智能檢索通過規劃循環分解查詢、逐意圖檢索並評估充分性,提供更精準的結果。本文深入探討智能檢索的工作原理、API使用方法及適用場景。

來源AWS Machine Learning Blog作者: Omar Elkharbotly
面向Amazon Bedrock託管知識庫的智能檢索
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

用户常提出涉及多部分、比較性和探索性的問題,這些問題可能跨越PDF、幻燈片、工單、記錄和網頁內容。經典的單一檢索在面對這些問題時往往失效:答案遺漏上下文、支持工單升級、分析師浪費數小時重複搜索。Amazon Bedrock託管知識庫的智能檢索正是為解決此類問題而設計。

以一個實例説明差距:假設您已將25年的亞馬遜股東信函攝入托管知識庫。第一個直接問題:“文檔中最重要的是什麼?”標準Retrieve API按混合分數返回五個塊。在我們的測試語料中,最高分塊雖得分高但價值低——它涵蓋了亞馬遜標誌配色方案。後續塊涉及招聘、構建者和差異。檢索器完成了工作,按與查詢嵌入的相似度排序。但“最重要的是什麼”很模糊,評分器沒有衡量重要性的信號。

再考慮一個現實問題:“比較亞馬遜在2020年與2023年如何談論招聘、長期投資和客户至上。重點有何變化?”單次檢索需用一個查詢向量服務於三個意圖和兩個時間段。結果要麼是鬆散相關的塊,要麼是由最強信號主導的緊密聚類。這都不是人類分析師會做的。

人類會分解問題:搜索2020年的招聘,再搜索2023年的招聘,然後搜索每一年投資理念。閲讀結果,發現差距,完善搜索並再次運行。收集足夠證據後,綜合得出結論。智能檢索通過API自動化了這一工作流程。

單次檢索的不足包括:多部分問題嵌入不佳、比較推理需要針對每個項目檢索、跨來源問題靜態路由規則脆弱、缺乏充分性判斷、無法根據首次結果迭代。團隊已通過自定義代理框架解決,但帶來了額外的複雜性、延遲和成本。

智能檢索是Amazon Bedrock託管知識庫中的一種新檢索模式,通過AgenticRetrieveStream API提供。它不是一次相似性搜索,而是由基礎模型驅動的規劃循環:模型分解問題,對每個部分進行檢索,判斷證據是否充分,並根據需要迭代。默認在同一調用中生成有依據的響應。可設置generateResponse=False僅返回檢索結果。

您能看到循環的每個步驟有序的跟蹤事件流:SpeculativeRetrieval(初始檢索)、Planning(分析查詢、輸出子查詢)、Retrieval或FullDocumentExpansion(每次子查詢執行)、Result(最終去重塊)。去重僅在最終結果事件中應用,跟蹤事件保留各步驟詳情。

兩個主要調優參數:maxAgentIteration(迭代次數上限,單知識庫推薦3,多知識庫或比較查詢推薦4-5)和foundationModelType(服務託管模型或自定義模型)。定價方面,智能檢索按次收費,託管模型每千次$4加底層Retrieve調用每千次$1。

API實踐:單知識庫時,發送請求並消費流,接收跟蹤事件、生成響應塊和最終結果。多知識庫時,可註冊最多五個託管KB檢索器,併為每個附加自然語言描述,規劃器據此路由子查詢。選擇Retrieve API用於簡短明確的問題,選擇AgenticRetrieveStream用於複雜多部分問題。智能檢索在基準測試中表現優異(詳情略)。

展開要點與分析

文章情報

工程師進階

要點

  • 單次檢索在多意圖查詢中難以有效工作。
  • 智能檢索使用基礎模型分解查詢、迭代檢索並判斷是否足夠。
  • AgenticRetrieveStream API支持多知識庫,並生成帶引用的響應。
  • 根據問題複雜度選擇Retrieve或AgenticRetrieveStream API。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。