WikiEdge:ArXiv速遞/2025-04-16

摘要

• 原文標題：When Should I Run My Application Benchmark?: Studying Cloud Performance Variability for the Case of Stream Processing Applications
• 中文標題：何時運行應用程式基準測試？——針對流處理應用的雲性能變異性研究
• 發佈日期：2025-04-16 07:22:44+00:00
• 作者：Sören Henning, Adriano Vogel, Esteban Perez-Wohlfeil, Otmar Ertl, Rick Rabiser
• 分類：cs.SE, cs.DC, cs.PF
• 原文連結：http://arxiv.org/abs/2504.11826v1

中文摘要：性能基準測試是軟件工程中的常見實踐，尤其在構建大規模、分佈式和數據密集型系統時。雖然雲環境為運行基準測試提供了諸多優勢，但經常有報告指出重複測試的結果可能存在顯著差異——這使得難以對實際性能得出可靠結論。本文通過實證研究量化了雲性能波動對基準測試結果的影響，重點關注流處理應用這一具有代表性的數據密集型、性能關鍵型系統。在一項持續三個多月的縱向研究中，我們重複執行了Dynatrace研發中使用的應用基準測試，從而能夠評估性能波動的多個維度（特別是時間效應相關因素）。通過約591小時的實驗，在AWS上部署789個Kubernetes集群並執行2366次基準測試，這可能是同類研究中規模最大且唯一從端到端（即應用基準測試視角）探討性能的研究。我們的研究證實性能波動確實存在，但其程度低於通常假設（變異係數<3.7%）。與相關研究不同，我們發現性能確實呈現日周期和周周期模式，儘管波動幅度較小（≤2.5%）。跨多次測試重複使用基準測試基礎設施僅會導致結果準確度輕微下降（≤2.5個百分點）。這些關鍵發現在不同雲區域和採用不同處理器架構的機器類型中均保持一致。我們得出結論：對於關注檢測顯著性能差異（例如>5%）的工程師和研究人員而言...