WikiEdge:ArXiv-2311.17371/abs

編輯

• 標題：Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs
• 中文標題：我們應該去進行多智能體辯論嗎？對大型語言模型的辯論策略的探討
• 發佈日期：2023-11-29 05:54:41+00:00
• 作者：Andries Smit, Paul Duckworth, Nathan Grinsztajn, Thomas D. Barrett, Arnu Pretorius
• 分類：cs.CL, cs.AI
• 原文連結：http://arxiv.org/abs/2311.17371

摘要：最近在大型語言模型（LLMs）方面的進展凸顯了它們在各個領域回答詢問的潛力。然而，確保生成代理提供準確和可靠的答案仍然是一個持續的挑戰。在這種背景下，多代理辯論（MAD）作為一種增強LLMs真實性的有前景的策略應運而生。我們基準測試了一系列辯論和提示策略，以探索成本、時間和準確性之間的權衡。重要的是，我們發現當前形式的多代理辯論系統並沒有可靠地優於其他提出的提示策略，例如自一致性和使用多條推理路徑的集成。然而，在進行超參數調優時，某些MAD系統，如多角色（Multi-Persona），表現得更好。這表明，MAD協議可能並不比其他方法本質上更差，而是對不同的超參數設置更為敏感，且難以優化。我們基於這些結果提供了改進辯論策略的見解，例如調整代理的協議一致性水平，這可以顯著提升性能，甚至超越我們評估的所有其他非辯論協議。我們向社區提供了一個開源庫，其中包含多個最先進的協議以及用於在流行研究數據集上進行基準測試的評估腳本。