RuleChef：將大語言模型任務知識轉化為可編輯規則
RuleChef是一個利用大語言模型（LLM）為自然語言處理任務（如文本分類、命名實體識別、關係抽取）生成可執行規則的框架。它基於任務描述和標註示例生成規則，並透過額外示例和人類反饋迭代改進。LLM僅在訓練階段使用，最終產生快速、確定且可檢查的規則系統。初步評估在分類和NER任務上進行，並開源釋出。
近年來，大語言模型（LLM）在自然語言處理領域取得了顯著成就，但其黑箱特性限制了在需要可解釋性和確定性的場景中的應用。RuleChef框架應運而生，旨在將LLM理解的任務知識轉化為人類可讀、可編輯的規則系統。該框架由Ádám Kovács等人提出，並已開源釋出。
具體來說，RuleChef的工作流程分為幾個階段。首先，使用者提供任務描述和少量標註示例，LLM基於這些資訊生成一組初始規則。這些規則採用類似於程式語言中if-then語句的形式，可以直觀地理解每個規則的條件和動作。然而，初始規則往往不夠完善，因此RuleChef引入了迭代最佳化機制。系統會在一個留出集上評估規則的效能，標記出失敗的案例，並呼叫LLM自動生成補丁來修復這些失敗。此外，人類專家也可以直接審查和修改規則，提供更精準的反饋。
RuleChef的一大亮點是其模型知識遷移能力。它能夠觀察任意現有模型（包括其他LLM或傳統機器學習模型）的輸入輸出對，從中提取模式並轉化為規則。這意味著即使原始模型是黑箱，其行為也可以透過RuleChef被“蒸餾”成透明的規則系統。這對於依賴專有模型或需要合規審計的組織尤為重要。
在初步評估中，RuleChef在文本分類和命名實體識別（NER）任務上展現了有競爭力的效能。雖然沒有達到最先進LLM的水平，但其推理速度更快、結果完全可復現，並且允許人類干預。論文指出，RuleChef特別適用於那些對延遲敏感、需要高頻推理，或者必須滿足監管要求的應用場景。
RuleChef以Apache 2.0許可證開源，程式碼和文件已在GitHub上釋出。研究團隊計劃進一步擴充套件其能力，例如支援更多工型別（如關係抽取）、最佳化規則生成策略，以及增強與人類協作的介面。這一工作為連線神經符號推理和實際NLP部署提供了有價值的橋樑。