查看“WikiEdge:ArXiv速递/2025-04-16”的源代码

== 摘要 ==
* '''原文标题'''：When Should I Run My Application Benchmark?: Studying Cloud Performance Variability for the Case of Stream Processing Applications
* '''中文标题'''：何时运行应用程序基准测试？——针对流处理应用的云性能变异性研究
* '''发布日期'''：2025-04-16 07:22:44+00:00
* '''作者'''：Sören Henning, Adriano Vogel, Esteban Perez-Wohlfeil, Otmar Ertl, Rick Rabiser
* '''分类'''：cs.SE, cs.DC, cs.PF
*'''原文链接'''：http://arxiv.org/abs/2504.11826v1
'''中文摘要'''：性能基准测试是[[软件工程]]中的常见实践，尤其在构建大规模、分布式和[[数据密集型系统]]时。虽然[[云环境]]为运行基准测试提供了诸多优势，但经常有报告指出重复测试的结果可能存在显著差异——这使得难以对实际性能得出可靠结论。本文通过[[实证研究]]量化了[[云性能]]波动对基准测试结果的影响，重点关注[[流处理]]应用这一具有代表性的数据密集型、性能关键型系统。在一项持续三个多月的[[纵向研究]]中，我们重复执行了[[Dynatrace]]研发中使用的应用基准测试，从而能够评估性能波动的多个维度（特别是时间效应相关因素）。通过约591小时的实验，在[[AWS]]上部署789个[[Kubernetes]]集群并执行2366次基准测试，这可能是同类研究中规模最大且唯一从[[端到端]]（即应用基准测试视角）探讨性能的研究。我们的研究证实性能波动确实存在，但其程度低于通常假设（[[变异系数]]<3.7%）。与相关研究不同，我们发现性能确实呈现[[日周期]]和[[周周期]]模式，尽管波动幅度较小（≤2.5%）。跨多次测试重复使用基准测试[[基础设施]]仅会导致结果准确度轻微下降（≤2.5个百分点）。这些关键发现在不同[[云区域]]和采用不同[[处理器架构]]的机器类型中均保持一致。我们得出结论：对于关注检测显著性能差异（例如>5%）的工程师和研究人员而言...