WikiEdge:ArXiv-1711.08028

• 标题：Recurrent Relational Networks
• 中文标题：循环关系网络
• 发布日期：2017-11-21 20:34:48+00:00
• 作者：Rasmus Berg Palm, Ulrich Paquet, Ole Winther
• 分类：cs.AI
• 原文链接：http://arxiv.org/abs/1711.08028v4

摘要：本文主要研究如何学习解决需要一系列相互依赖的关系推理步骤的任务，例如回答有关对象之间关系的复杂问题，或解决其中解决方案的较小元素相互约束的谜题。我们引入了循环关系网络，这是一个通用模块，可以在对象的图形表示上进行操作。作为Santoro等人[2017]的关系网络的泛化，它可以增强任何神经网络模型的多步关系推理能力。我们在bAbI文本问题回答数据集上使用循环关系网络，取得了最新的结果，稳定解决了20/20的任务。由于bAbI在关系推理方面并不特别具有挑战性，我们引入了Pretty-CLEVR，这是一个新的关系推理诊断数据集。在Pretty-CLEVR的设置中，我们可以改变问题以控制获取答案所需的关系推理步骤的数量。使用Pretty-CLEVR，我们探索了多层感知器、关系和循环关系网络的限制。最后，我们展示了如何使用监督训练数据让循环关系网络学习解决数独难题，这是一个需要超过64步关系推理的挑战性任务。我们在相似方法中取得了最新的结果，解决了96.6%的最难数独难题。

问题与动机

作者的研究问题包括：

• 如何构建一个能够进行多步关系推理的神经网络模型？
• 如何在不同的数据集上验证提出的模型是否能够实现多步关系推理？
• 如何在复杂的任务（如数独解谜）中应用提出的模型，并与现有方法比较其性能？

背景介绍

这篇文献的背景主要集中在以下几个方面：

1. 复杂问题解决的挑战：
   • 解决如数独等复杂问题需要进行多步的推理，传统的多层感知器（MLP）和卷积神经网络（CNN）在这类问题上表现不佳。
   • 这些深度学习方法通常在单次前向传播中输出整个解决方案，忽略了对象间相互影响的一致性。
2. 关系推理的引入：
   • Santoro等人提出的关系网络是朝向能够推理对象及其交互的简单模块的重要步骤，但它仅限于执行单一的关系操作。
   • 现有的模型在需要超过三步推理的数据集上表现不佳，这表明需要更复杂的关系推理能力。
3. 递归关系网络的提出：
   • 本文提出了递归关系网络（RRN），它是一个通用模块，能够在图表示的对象上操作，增强了神经网络模型进行多步关系推理的能力。
   • 递归关系网络通过在每一步最小化输出和目标分布之间的交叉熵，学习了一个收敛的消息传递算法，有助于解决梯度消失问题，并提高了模型的稳定性。
4. 实验验证：
   • 通过在bAbI文本问答数据集上的实验，递归关系网络在所有20个任务上达到了最先进的结果。
   • 为了测试模型在需要更多推理步骤的任务上的表现，作者创建了Pretty-CLEVR数据集，并使用它来探究多层感知器、关系网络和递归关系网络的局限性。
   • 此外，作者还展示了递归关系网络如何通过监督训练数据学习解决数独难题，这是一个需要超过64步关系推理的挑战性任务。

综上所述，这篇文献的背景强调了在解决需要复杂关系推理的任务中，递归关系网络作为一种新型的深度学习模型，其在多个数据集上展现出的潜力和有效性。

章节摘要

这篇论文是关于学习解决需要一系列相互依赖的关系推理步骤的任务的研究，主要内容包括：

1. 引言：
   • 强调了人类智能中抽象推理对象及其交互的能力，例如解决数独。
   • 对比了传统深度学习方法（如多层感知器和卷积神经网络)与关系网络。
   • 介绍了递归关系网络（Recurrent Relational Network, RRN），一种用于多步关系推理的通用模块。

1. 递归关系网络：
   • 以解决数独谜题为例，解释了RRN如何在图表示上操作。
   • 描述了消息传递在图上的过程，包括节点如何发送和更新消息。
   • 介绍了监督训练的方法，包括损失函数的定义和收敛消息传递的重要性。

1. 实验：
   • 在bAbI文本问答数据集上实现了最先进的结果，解决了所有20个任务。
   • 引入了Pretty-CLEVR数据集，用于诊断关系推理。
   • 使用Pretty-CLEVR评估了多层感知器、关系网络和递归关系网络的局限性。
   • 展示了RRN如何通过监督训练数据学习解决数独谜题，并在最难的数独问题上达到了96.6%的解决率。

1. 讨论：
   • 提出了一种通用的关系推理模型，能够解决比当前技术更复杂的关系推理任务。
   • 讨论了在每一步都有损失函数可能带来的问题，以及模型如何避免陷入局部最小值。
   • 强调了模型的非贪婪多步算法的能力。

1. 相关工作：
   • 比较了关系网络和交互网络等现有模型与本文提出的模型。
   • 讨论了图神经网络和消息传递算法的相关文献。
   • 提到了将符号推理与亚符号分布式表示结合的方法。
   • 简要介绍了OptNet和CommNet等其他相关工作。

研究方法

这篇论文通过引入递归关系网络（Recurrent Relational Networks, RRNs），来解决需要多步关系推理的任务。以下是该研究方法论的主要组成部分：

1. 问题定义：
   • 针对需要多步关系推理的问题，例如解决复杂数独问题，或回答关于对象间关系的复杂问题。
   • 通过图表示法来操作对象，并在此基础上进行推理。
2. 递归关系网络（RRN）：
   • 作为关系网络的扩展，RRN能够为任何神经网络模型增加多步关系推理的能力。
   • 通过在图上递归地传递消息来实现关系推理，其中每个节点更新其状态以反映从其它节点接收到的信息。
3. 实验验证：
   • 在bAbI文本问答数据集上验证RRN，解决了全部20个任务。
   • 引入Pretty-CLEVR数据集，用于诊断模型在多步关系推理上的性能。
   • 在数独问题上测试RRN，展示了模型能够通过监督学习解决数独难题。
4. 模型比较：
   • 将RRN与其他不同的可微分方法进行比较，包括循环置信传播（Loopy Belief Propagation）等。
   • 展示了RRN在解决具有挑战性的数独问题上的有效性，解决了96.6%的最难数独问题。
5. 讨论与相关工作：
   • 讨论了RRN在多步关系推理中的潜在优势和可能的改进方向。
   • 将RRN与现有的关系网络、交互网络以及图神经网络等方法进行了比较。
   • 探讨了将符号逻辑与子符号分布式表示结合的相关工作。

这篇论文的方法论分析结果表明，递归关系网络是一个强大的模型，能够有效地处理需要复杂多步关系推理的任务，如数独解决和基于文本的问答系统。