WikiEdge:ArXiv-2408.17428v1/background：修订间差异

来自WikiEdge
跳转到导航 跳转到搜索
下一编辑→
可视化wikitext
David（留言 | 贡献）
机器人
1,726次编辑
Saved page by David
 
David（留言 | 贡献）
机器人
1,726次编辑
Saved page by David
第1行： 第1行：
== 研究背景 ==
本文介绍了一种基于[[忆阻器]]的计算存储硬件加速器，用于片上训练和推理，重点关注其在设备变化、导电误差和输入噪声下的准确性和效率。
<!-- 不要移除下面一行，如果有编辑错误，请直接修改该行以后的内容 -->
利用商业可用的基于[[银]]的金属自定向通道（M-SDC）忆阻器的真实SPICE模型，研究将固有的设备非理想性纳入电路仿真中。
<div style="float: right;">[{{fullurl:WikiEdge:ArXiv-2408.17428v1/background|action=edit}} 编辑]</div>
硬件由30个忆阻器和4个[[神经元]]组成，利用[[钨]]、[[铬]]和[[碳]]介质的三种不同的M-SDC结构执行二进制[[图像分类]]任务。
这篇文献的背景主要集中在以下几个方面：
片上训练算法精确调整忆阻器导电性以实现目标权重。结果表明，训练期间加入适度噪声（<15%）可以增强对设备变化和噪声输入数据的[[鲁棒性]]，
1. '''光学字符识别（Optical Character Recognition, OCR）技术在历史印刷媒体档案数字化中的重要性'''：
即使在导电变化和输入噪声下也能实现高达97%的[[准确率]]。网络可以在不显著损失准确率的情况下容忍10%的导电误差。值得注意的是，
* 历史印刷媒体档案的数字化对于提高当代记录的可访问性至关重要，特别是对于报纸和期刊等能够提供历史事件当时观点和看法的媒介。
在训练期间省略初始忆阻器重置脉冲可以显著减少训练时间和能量消耗。使用基于铬的忆阻器设计的硬件表现出优越的性能，
* 然而，OCR技术在转换物理记录为数字文本的过程中容易出错，尤其是在报纸和期刊这类布局复杂的文档中。
实现了2.4秒的训练时间和18.9毫焦耳的能量消耗。这项研究为开发用于[[边缘应用]]的[[片上学习]]的鲁棒和能效高的基于忆阻器的[[神经网络]]提供了见解。
2. '''OCR后处理和质量评估的挑战'''：
* OCR文档的错误会负面影响使用这些档案的研究质量，因此，OCR后处理和评估OCR质量成为活跃的研究领域。
* 尽管已有多种流行的OCR后处理方法，如众包校正和在线安全测试，但机器学习方法，特别是基于变换器架构的语言模型（LMs），因其在其他领域的成功和计算能力的提升，正变得越来越受欢迎。
3. '''变换器架构和掩码语言建模（Masked Language Modelling, MLM）的进步'''：
* 变换器架构自2017年引入以来，在自然语言处理（Natural Language Processing, NLP）领域迅速发展，产生了能够执行任务的LMs，达到了人类甚至超人的水平。
* MLM作为对训练双向BERT模型挑战的响应，通过随机遮蔽一部分标记并让算法预测正确的标记，提高了LMs的表示能力，使得BERT模型能够通过少量数据的微调，在多个基准测试中达到最先进的性能。
4. '''利用社会文化背景信息进行OCR校正的潜力'''：
* 提供社会文化背景信息作为校正过程的一部分，可能会提高OCR校正的性能，这是本研究希望探索的新领域。
综上所述，这篇文献的背景强调了在OCR技术领域中对提高数字化档案质量的需求，以及利用预训练语言模型和文本的社会文化背景信息进行OCR后处理的潜力。

2024年9月3日 (二) 08:30的版本

本文介绍了一种基于忆阻器的计算存储硬件加速器，用于片上训练和推理，重点关注其在设备变化、导电误差和输入噪声下的准确性和效率。 利用商业可用的基于银的金属自定向通道（M-SDC）忆阻器的真实SPICE模型，研究将固有的设备非理想性纳入电路仿真中。 硬件由30个忆阻器和4个神经元组成，利用钨、铬和碳介质的三种不同的M-SDC结构执行二进制图像分类任务。 片上训练算法精确调整忆阻器导电性以实现目标权重。结果表明，训练期间加入适度噪声（<15%）可以增强对设备变化和噪声输入数据的鲁棒性， 即使在导电变化和输入噪声下也能实现高达97%的准确率。网络可以在不显著损失准确率的情况下容忍10%的导电误差。值得注意的是， 在训练期间省略初始忆阻器重置脉冲可以显著减少训练时间和能量消耗。使用基于铬的忆阻器设计的硬件表现出优越的性能， 实现了2.4秒的训练时间和18.9毫焦耳的能量消耗。这项研究为开发用于边缘应用的片上学习的鲁棒和能效高的基于忆阻器的神经网络提供了见解。

取自“http://zh.wikiedge.org/index.php?title=WikiEdge:ArXiv-2408.17428v1/background&oldid=711”