Yahoo如何使用Amazon Bedrock增強搜尋重定向廣告
本文展示了Yahoo如何利用Amazon Bedrock與生成式AI增強其搜尋重定向(SRT)功能,顯著提升關鍵詞擴充套件的語義相關性和受眾覆蓋範圍。
在數字廣告領域,將使用者的搜尋意圖與跨渠道相關廣告體驗相連線一直是個長期挑戰。廣告主需要基於使用者展現的興趣和行為(尤其是搜尋活動——這是最強意圖訊號之一)來觸達受眾。傳統的關鍵詞擴充套件方法常因詞庫過時、語義理解有限以及無法捕捉查詢背後的細微含義而效果不佳。
Yahoo全渠道需求方平臺(DSP)透過提供先進技術、優質供應資源、大規模覆蓋和可信賴的消費者關係來應對這些挑戰。DSP允許廣告主透過單一介面跨多個交易平臺和渠道購買廣告庫存。Yahoo DSP進一步增強了這一能力,利用廣告主定義的規則、機器學習(ML)和生成式AI實現精細的受眾定向。
受眾定向的核心是受眾分群的概念:一組具有共同興趣、人口統計特徵或行為的使用者,可在廣告活動中被集體定向。這些分群被傳遞給廣告投放系統,確保使用者與最相關的廣告活動匹配。
在本文中,我們展示了Yahoo如何利用Amazon Bedrock增強其Yahoo DSP廣告技術套件中的搜尋重定向(SRT)能力。SRT是一項核心受眾定向解決方案,幫助廣告主根據使用者的歷史搜尋行為觸達使用者,將搜尋意圖與展示廣告、影片廣告和原生廣告連線起來。除了針對Yahoo搜尋中輸入的關鍵詞,SRT還利用AI識別並吸引透過Yahoo及整合合作夥伴系統上的搜尋活動表現出意圖的使用者。
業務挑戰
此前,Yahoo SRT架構使用Word2Vec嵌入模型結合區域性敏感雜湊(LSH)來擴充套件廣告主關鍵詞。該多步驟流程包括關鍵詞規範化、生成嵌入、索引、執行LSH搜尋、過濾敏感詞以及排序結果。然而,Word2Vec+LSH方法存在若干侷限:詞庫過時(不能始終反映當前術語)、基於短語而非具體實體、依賴句法相似性而非語義、以及在某些情況下無法生成任何新關鍵詞。
我們透過使用Amazon Bedrock和大語言模型(LLM)部署生成式AI驅動的SRT關鍵詞擴充套件來應對這些挑戰。這一增強能夠生成更相關、語義更豐富的關鍵詞擴充套件,幫助廣告主觸達規模更大且更精準的受眾。
解決方案概述
在介紹解決方案前,先回顧傳統SRT工作流程:廣告主透過一組目標關鍵詞定義每個分群,後設資料儲存在SQL資料庫中。後端系統執行關鍵詞擴充套件,生成語義相關術語以增加受眾覆蓋並改善廣告效果。原始和擴充套件後的關鍵詞集都持久化儲存在Amazon OpenSearch Service叢集中。另一工作流(批次評分)根據分群後設資料評估Yahoo使用者的搜尋歷史,以確定分群成員資格。
生成式AI現代化改造
認識到傳統方法的侷限,我們的目標是用現代生成式AI方案更新關鍵詞擴充套件。Amazon Bedrock使這一工作成為可能。透過提供對多種領先基礎模型(FM)的無伺服器訪問,Amazon Bedrock幫助團隊快速試驗多種LLM,包括Amazon Nova、Meta Llama和Anthropic的Claude,而無需構建自定義基礎設施。在評估新方法時,我們還考慮了計算廣告中的關鍵因素,包括敏感詞過濾、分群禁止列表、使用者隱私偏好以及政策合規要求。
LLM選擇與結果
在LLM選擇與評估過程中,我們使用Amazon SageMaker Studio對多個模型進行原型設計和評估,包括Amazon Titan、Meta Llama和Anthropic的Claude。最終,Anthropic的Claude 3.5 Sonnet v2被選為搜尋關鍵詞擴充套件最有效的模型,在擴充套件比和語義相似度之間取得了平衡。評估過程中我們觀察到LLM的幻覺行為。為減少幻覺並保持質量,我們引入了驗證步驟:將LLM生成的擴充套件關鍵詞轉換為嵌入,並與原始集進行比較,相似度低於閾值的關鍵詞被過濾掉,確保只保留最相關的術語。這一驗證步驟是維持工作流準確性和可信度的核心。
透過Amazon Bedrock部署後,Claude 3.5 Sonnet v2表現出遠超傳統LSH方法的擴充套件能力,在LSH無法產生任何關鍵詞的情況下,經常生成數百甚至數千個關鍵詞。即使在嚴格的相似度閾值下,中位廣泛擴充套件比提升了五倍,最大擴充套件比翻了一番。總體而言,生成式AI的關鍵詞擴充套件增加了檢索到的關鍵詞數量,並確保其語義相關性,顯著增強了搜尋使用者定向。
生成式AI工作流中的關鍵詞擴充套件守護
最初設計SRT關鍵詞擴充套件工作流時,我們只專注於擴充套件步驟,即使用生成式AI模型從種子關鍵詞生成更廣泛的相關術語集。這種方法有效,但也帶來了挑戰:模型有時過度擴充套件,產生大量關鍵詞;罕見或模糊的種子關鍵詞有時會導致不相關或嘈雜的擴充套件。這凸顯了質量控制機制的必要性。為此,我們引入了嵌入生成和相似度評分:對每個擴充套件關鍵詞生成嵌入,然後計算與原始關鍵詞嵌入的相似度分數,僅保留高於定義相似度閾值的關鍵詞。這確保了擴充套件關鍵詞與原始意圖保持語義一致。此外,我們還應用了敏感關鍵詞檢查:在推理前過濾(避免擴充套件不良術語)和推理後過濾(移除敏感擴充套件)。透過結合語義相似度評分和敏感關鍵詞過濾,我們建立了一個有守護的關鍵詞擴充套件流水線,既保留了生成式AI擴充套件的廣度和創造力,又維持了相關性、質量和合規性。
商業價值與影響
這一基於生成式AI的增強關鍵詞擴充套件能力已於2025年第一季度在生產環境中上線。對廣告主而言,他們獲得了更廣泛、更精準的受眾覆蓋。LLM驅動的擴充套件邏輯增加了候選關鍵詞池,同時進行質量過濾,使得活動與使用者意圖更緊密對齊,從而帶來更高的相關性、更強的參與度和更高的轉化率。對Yahoo DSP而言,新系統帶來了顯著的規模改進:關鍵詞擴充套件率提升高達600倍,可定址受眾規模增長高達5倍,活動表現和轉化率均有所提升。透過用LLM現代化關鍵詞擴充套件,Yahoo DSP能夠更好地為廣告主創造價值,同時在程式化環境中鞏固競爭優勢。
為何選擇Amazon Bedrock
Amazon Bedrock提供對多種領先FM的無伺服器訪問,包括Amazon Nova、Meta Llama和Anthropic的Claude,無需Yahoo團隊構建或管理複雜基礎設施。這一能力幫助團隊快速試驗、擴充套件工作負載並靈活部署。模型廣度使團隊能快速嘗試多種領先FM;無基礎設施管理消除了模型託管、擴充套件或修補的需求;靈活的推理選項包括批處理和即時推理,支援快速靈活的原型和決策;模型升級簡單——切換到更新或更先進的模型版本只需更改配置,Amazon Bedrock的架構抽象了底層基礎設施和相容性挑戰,團隊能以最小努力採用更新模型。
結論
在本文中,我們強調了SRT作為Yahoo DSP核心產品的作用,以及我們如何透過生成式AI改造關鍵詞擴充套件。透過使用Amazon Bedrock,團隊獲得了對多種領先LLM的無伺服器訪問,而無需管理基礎設施的開銷。這一能力幫助我們擴充套件廣告主的原始關鍵詞,生成語義豐富、高質量的關鍵詞集,增加了定向受眾的規模和精準度。用Amazon Bedrock驅動的LLM取代傳統的Word2Vec和LSH工作流,帶來了更準確、上下文相關的關鍵詞擴充套件。新方法推動了更強的活動表現、更高的轉化率和更大的運營靈活性。Amazon Bedrock使這一轉型成為可能,幫助Yahoo DSP在AI驅動的廣告領域更快、更高效地擴充套件。