WikiEdge:ArXiv-2408.17171v1/abs

编辑

• 标题：SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management
• 中文标题：边缘服务调度中通过计算冗余管理优化尾部延迟的高效方法 SafeTail
• 发布日期：2024-08-30T10:17:37+00:00
• 作者：Jyoti Shokhanda, Utkarsh Pal, Aman Kumar, Soumi Chattopadhyay, Arani Bhattacharya
• 分类：cs.LG
• 原文链接：http://arxiv.org/abs/2408.17171v1

摘要：优化尾部延迟同时高效管理计算资源对于在边缘计算中提供高性能、低延迟的服务至关重要。新兴应用，如增强现实，需要在用户设备上提供低延迟且高可靠性的计算服务，而这些设备通常具有有限的计算能力。因此，这些设备依赖于附近的边缘服务器进行处理。然而，由于无线网络的可变性和服务器负载的波动，网络和计算延迟的固有不确定性使得按时交付服务变得具有挑战性。现有的方法通常侧重于优化中位延迟，但未能解决边缘环境中特定的尾部延迟问题，特别是在不确定的网络和计算条件下。尽管一些方法确实解决了尾部延迟问题，但它们通常依赖于固定或过多的冗余，缺乏对动态网络条件的适应性，且通常为云环境设计，而非边缘计算的独特需求。在本文中，我们介绍了SafeTail，一个同时满足中位和尾部响应时间目标的框架，其中尾部延迟定义为超过90百分位阈值的延迟。SafeTail通过在多个边缘服务器上选择性地复制服务来满足目标延迟。SafeTail采用基于奖励的深度学习框架来学习最佳的服务放置策略，平衡实现目标延迟与最小化额外资源使用的需求。通过基于轨迹的模拟，SafeTail展示了接近最优的性能，并在三种不同的服务中表现优于大多数基线策略。