WikiEdge:ArXiv-1711.08028

• 标题：Recurrent Relational Networks
• 中文标题：循环关系网络
• 发布日期：2017-11-21 20:34:48+00:00
• 作者：Rasmus Berg Palm, Ulrich Paquet, Ole Winther
• 分类：cs.AI
• 原文链接：http://arxiv.org/abs/1711.08028v4

摘要：本文主要研究如何学习解决需要一系列相互依赖的关系推理步骤的任务，例如回答有关对象之间关系的复杂问题，或解决其中解决方案的较小元素相互约束的谜题。我们引入了循环关系网络，这是一个通用模块，可以在对象的图形表示上进行操作。作为Santoro等人[2017]的关系网络的泛化，它可以增强任何神经网络模型的多步关系推理能力。我们在bAbI文本问题回答数据集上使用循环关系网络，取得了最新的结果，稳定解决了20/20的任务。由于bAbI在关系推理方面并不特别具有挑战性，我们引入了Pretty-CLEVR，这是一个新的关系推理诊断数据集。在Pretty-CLEVR的设置中，我们可以改变问题以控制获取答案所需的关系推理步骤的数量。使用Pretty-CLEVR，我们探索了多层感知器、关系和循环关系网络的限制。最后，我们展示了如何使用监督训练数据让循环关系网络学习解决数独难题，这是一个需要超过64步关系推理的挑战性任务。我们在相似方法中取得了最新的结果，解决了96.6%的最难数独难题。

问题与动机

作者的研究问题包括：

• 如何构建一个能够进行多步关系推理的神经网络模型？
• 如何在不同的数据集上验证提出的模型是否能够实现多步关系推理？
• 如何在复杂的任务（如数独解谜）中应用提出的模型，并与现有方法比较其性能？

背景介绍

这篇文献的背景主要集中在以下几个方面：

1. 复杂问题解决的挑战：
   • 解决如数独等复杂问题需要进行多步的推理，传统的多层感知器（MLP）和卷积神经网络（CNN）在这类问题上表现不佳。
   • 这些深度学习方法通常在单次前向传播中输出整个解决方案，忽略了对象间相互影响的一致性。
2. 关系推理的引入：
   • Santoro等人提出的关系网络是朝向能够推理对象及其交互的简单模块的重要步骤，但它仅限于执行单一的关系操作。
   • 现有的模型在需要超过三步推理的数据集上表现不佳，这表明需要更复杂的关系推理能力。
3. 递归关系网络的提出：
   • 本文提出了递归关系网络（RRN），它是一个通用模块，能够在图表示的对象上操作，增强了神经网络模型进行多步关系推理的能力。
   • 递归关系网络通过在每一步最小化输出和目标分布之间的交叉熵，学习了一个收敛的消息传递算法，有助于解决梯度消失问题，并提高了模型的稳定性。
4. 实验验证：
   • 通过在bAbI文本问答数据集上的实验，递归关系网络在所有20个任务上达到了最先进的结果。
   • 为了测试模型在需要更多推理步骤的任务上的表现，作者创建了Pretty-CLEVR数据集，并使用它来探究多层感知器、关系网络和递归关系网络的局限性。
   • 此外，作者还展示了递归关系网络如何通过监督训练数据学习解决数独难题，这是一个需要超过64步关系推理的挑战性任务。

综上所述，这篇文献的背景强调了在解决需要复杂关系推理的任务中，递归关系网络作为一种新型的深度学习模型，其在多个数据集上展现出的潜力和有效性。