WikiEdge:ArXiv-2311.17371/methods

編輯

這篇研究論文的工作方法主要圍繞多智能體辯論（Multi-Agent Debate，MAD）策略在大型語言模型（LLMs）中的應用和評估。以下是這部分的主要內容：

1. 多智能體辯論（Multi-Agent Debate，MAD）：
   • 探討了MAD策略在提升LLMs回答問題準確性方面的潛力。MAD通過模擬辯論的方式，讓多個智能體就某一問題展開討論，以期望通過交互式推理得到更可靠的答案。
2. 辯論策略和提示策略（Debating and Prompting Strategies）：
   • 評估了多種辯論和提示策略，包括自我一致性（Self-consistency）、集成優化（Ensemble Refinement）和多角色（Multi-Persona）等，以探索它們在成本、時間和準確性之間的權衡。
3. 系統實現和評估（System Implementation和Evaluation）：
   • 實現了單智能體和MAD系統的多種配置，並提供了統一的API，以便研究社區能夠輕鬆構建和評估MAD系統。使用GPT-3作為基礎智能體，通過API調用進行實驗。
4. 數據集和性能評估（Datasets和Performance Evaluation）：
   • 使用了包括醫學問答（MedQA）、生物醫學研究問答（PubMedQA）和常識推理（CosmosQA）在內的多個數據集來評估不同策略的性能。評估指標包括準確率、成本和所需API調用次數。
5. 超參數調整（Hyperparameter Tuning）：
   • 發現MAD系統對超參數設置非常敏感，通過調整智能體間的一致性水平等超參數，可以顯著提高系統性能。
6. 開源工具和進一步研究（Open-Source Tools和Further Research）：
   • 為了促進這一領域的進一步研究，研究者提供了一個包含多種先進協議和評估腳本的開源代碼庫，以便研究社區可以跨流行的研究數據集進行基準測試。