WikiEdge:ArXiv-2408.17171v1/abs

編輯

• 標題：SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management
• 中文標題：邊緣服務調度中通過計算冗餘管理優化尾部延遲的高效方法：SafeTail
• 發布日期：2024-08-30T10:17:37+00:00
• 作者：Jyoti Shokhanda, Utkarsh Pal, Aman Kumar, Soumi Chattopadhyay, Arani Bhattacharya
• 分類：cs.LG
• 原文鏈接：http://arxiv.org/abs/2408.17171v1

摘要：本文介紹了一種優化尾延遲同時高效管理計算資源的方法，對於在邊緣計算中提供高性能、低延遲服務至關重要。新興應用如增強現實需要在用戶設備上提供低延遲且高可靠性的計算服務，而這些設備通常計算能力有限。因此，這些設備依賴於附近的邊緣服務器進行處理。然而，由於無線網絡的變化和服務器負載的波動，網絡和計算延遲的固有不確定性使得按時交付服務變得具有挑戰性。現有方法通常側重於優化中位延遲，但未能解決邊緣環境中特定的尾延遲問題，特別是在不確定的網絡和計算條件下。儘管一些方法確實解決了尾延遲問題，但它們通常依賴於固定或過度的冗餘，缺乏對動態網絡條件的適應性，且通常為雲環境設計，而非邊緣計算的獨特需求。在本文中，我們介紹了SafeTail，一個同時滿足中位和尾響應時間目標的框架，其中尾延遲定義為超過第90百分位閾值的延遲。SafeTail通過在多個邊緣服務器上選擇性地複製服務來滿足目標延遲。SafeTail採用基於獎勵的深度學習框架來學習最佳的放置策略，平衡實現目標延遲與最小化額外資源使用的需求。通過基於軌跡的模擬，SafeTail展示了接近最優的性能，並在三種不同的服務中優於大多數基線策略。