Databricks提出企業資料搜尋新方法,讓RAG更能遵循時間與來源等限制
Databricks提出Instructed Retriever方法,把系統規格納入搜尋與生成流程,企業問答評測回覆品質較傳統RAG提升逾70%,並已用於Agent Bricks的Knowledge Assistant
by 李建興 · iThomeDatabricks旗下Mosaic研究團隊公布Instructed Retriever研究,主張把系統規格(System Specification)帶入搜尋與回覆生成流程,讓企業搜尋代理更能遵循使用者指令。研究人員表示,在一套企業問答資料集組合的評測中,Instructed Retriever相較傳統RAG的回覆品質提升超過70%。
研究人員認為,企業情境常同時要求時間新鮮度、文件類型、資料來源範圍與回覆長度等限制,但多數RAG做法,只用使用者問題進行單步擷取,查詢生成後便難以保留這些規格,使得後續擷取與重排序往往回到文字相似度,容易忽略更細緻的意圖與資料來源差異。
Instructed Retriever的重點,是把系統規格當成工作管線必須遵守的共同前提,而不是只在一開始影響使用者問題的改寫。研究團隊將這些系統規格整理成三類,第一類是使用者指令,例如偏好近幾年的資料或排除某些品牌,第二類是標註範例,用來界定哪些文件在此任務中算相關或不相關,而第三類則是索引描述,也就是搜尋系統實際提供哪些欄位與中繼資料可用,讓代理知道什麼條件能被轉成可執行的過濾條件。
由於把自然語言的限制,轉換成可執行查詢,團隊強調代理需具備把複合需求拆解成多個搜尋子任務的能力,並能在指令脈絡下判斷相關性,同時把去年這類描述轉成時間戳記等欄位過濾條件。
在效果驗證上,Databricks以半結構化擷取基準STaRK(Semi-Structured Retrieval Benchmark)為基礎,建立StaRK-Instruct資料集,刻意把常見的企業需求納入問題裡,包括指定必須具備的條件、明確排除的條件,以及偏好較新的資料等,藉此檢驗模型能否產生同時包含關鍵字與欄位過濾的結構化查詢。
研究人員指出,與直接用原始問題去搜尋相比,改採指令式查詢生成後,StaRK-Instruct上的召回率可提升35%到50%,而在題目多半未特別註明時間新鮮度或排除條件等限制的StaRK-Amazon上,召回率也約提升一成。
Databricks已在自家Agent Bricks的Knowledge Assistant導入Instructed Retriever方法,用來打造可附引用來源的文件型問答聊天機器人。至於量化成效,研究團隊在多步搜尋代理評測中指出,Knowledge Assistant作為工具相較以RAG作為工具可帶來超過30%的品質提升,平均任務完成時間降低8%。