WikiEdge:ArXiv-1711.08028

• 標題：Recurrent Relational Networks
• 中文標題：循環關係網絡
• 發布日期：2017-11-21 20:34:48+00:00
• 作者：Rasmus Berg Palm, Ulrich Paquet, Ole Winther
• 分類：cs.AI
• 原文連結：http://arxiv.org/abs/1711.08028v4

摘要：本文主要研究如何學習解決需要一系列相互依賴的關係推理步驟的任務，例如回答有關對象之間關係的複雜問題，或解決其中解決方案的較小元素相互約束的謎題。我們引入了循環關係網絡，這是一個通用模塊，可以在對象的圖形表示上進行操作。作為Santoro等人[2017]的關係網絡的泛化，它可以增強任何神經網絡模型的多步關係推理能力。我們在bAbI文本問題回答數據集上使用循環關係網絡，取得了最新的結果，穩定解決了20/20的任務。由於bAbI在關係推理方面並不特別具有挑戰性，我們引入了Pretty-CLEVR，這是一個新的關係推理診斷數據集。在Pretty-CLEVR的設置中，我們可以改變問題以控制獲取答案所需的關係推理步驟的數量。使用Pretty-CLEVR，我們探索了多層感知器、關係和循環關係網絡的限制。最後，我們展示了如何使用監督訓練數據讓循環關係網絡學習解決數獨難題，這是一個需要超過64步關係推理的挑戰性任務。我們在相似方法中取得了最新的結果，解決了96.6%的最難數獨難題。

問題與動機

作者的研究問題包括：

• 如何構建一個能夠進行多步關係推理的神經網絡模型？
• 如何在不同的數據集上驗證提出的模型是否能夠實現多步關係推理？
• 如何在複雜的任務（如數獨解謎）中應用提出的模型，並與現有方法比較其性能？

背景介紹

這篇文獻的背景主要集中在以下幾個方面：

1. 複雜問題解決的挑戰：
   • 解決如數獨等複雜問題需要進行多步的推理，傳統的多層感知器（MLP）和卷積神經網絡（CNN）在這類問題上表現不佳。
   • 這些深度學習方法通常在單次前向傳播中輸出整個解決方案，忽略了對象間相互影響的一致性。
2. 關係推理的引入：
   • Santoro等人提出的關係網絡是朝向能夠推理對象及其交互的簡單模塊的重要步驟，但它僅限於執行單一的關係操作。
   • 現有的模型在需要超過三步推理的數據集上表現不佳，這表明需要更複雜的關係推理能力。
3. 遞歸關係網絡的提出：
   • 本文提出了遞歸關係網絡（RRN），它是一個通用模塊，能夠在圖表示的對象上操作，增強了神經網絡模型進行多步關係推理的能力。
   • 遞歸關係網絡通過在每一步最小化輸出和目標分布之間的交叉熵，學習了一個收斂的消息傳遞算法，有助於解決梯度消失問題，並提高了模型的穩定性。
4. 實驗驗證：
   • 通過在bAbI文本問答數據集上的實驗，遞歸關係網絡在所有20個任務上達到了最先進的結果。
   • 為了測試模型在需要更多推理步驟的任務上的表現，作者創建了Pretty-CLEVR數據集，並使用它來探究多層感知器、關係網絡和遞歸關係網絡的局限性。
   • 此外，作者還展示了遞歸關係網絡如何通過監督訓練數據學習解決數獨難題，這是一個需要超過64步關係推理的挑戰性任務。

綜上所述，這篇文獻的背景強調了在解決需要複雜關係推理的任務中，遞歸關係網絡作為一種新型的深度學習模型，其在多個數據集上展現出的潛力和有效性。