WikiEdge:ArXiv-2408.17171v1/abs

编辑

• 标题：SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management
• 中文标题：边缘服务调度中通过计算冗余管理优化尾部延迟的高效方法：SafeTail
• 发布日期：2024-08-30T10:17:37+00:00
• 作者：Jyoti Shokhanda, Utkarsh Pal, Aman Kumar, Soumi Chattopadhyay, Arani Bhattacharya
• 分类：cs.LG
• 原文链接：http://arxiv.org/abs/2408.17171v1

摘要：本文介绍了一种优化尾延迟同时高效管理计算资源的方法，对于在边缘计算中提供高性能、低延迟服务至关重要。新兴应用如增强现实需要在用户设备上提供低延迟且高可靠性的计算服务，而这些设备通常计算能力有限。因此，这些设备依赖于附近的边缘服务器进行处理。然而，由于无线网络的变化和服务器负载的波动，网络和计算延迟的固有不确定性使得按时交付服务变得具有挑战性。现有方法通常侧重于优化中位延迟，但未能解决边缘环境中特定的尾延迟问题，特别是在不确定的网络和计算条件下。尽管一些方法确实解决了尾延迟问题，但它们通常依赖于固定或过度的冗余，缺乏对动态网络条件的适应性，且通常为云环境设计，而非边缘计算的独特需求。在本文中，我们介绍了SafeTail，一个同时满足中位和尾响应时间目标的框架，其中尾延迟定义为超过第90百分位阈值的延迟。SafeTail通过在多个边缘服务器上选择性地复制服务来满足目标延迟。SafeTail采用基于奖励的深度学习框架来学习最佳的放置策略，平衡实现目标延迟与最小化额外资源使用的需求。通过基于轨迹的模拟，SafeTail展示了接近最优的性能，并在三种不同的服务中优于大多数基线策略。