【论文】略读笔记22-前沿-深度强化学习节能任务调度

📖《Energy-Efficient Joint Task Assignment and Migration in Data Centers: A Deep Reinforcement Learning Approach》

🎯需求

• 数据中心的节能任务调度是一个关键问题，引起了人们的广泛关注。
  • 随着云计算的快速发展，越来越多的任务可以提交到数据中心进行处理。
  • 数据中心的严重问题之一是巨大的能源消耗，这会导致高昂的运营成本和大量的二氧化碳（CO2）排放。对于像谷歌这样的大公司来说，能源成本降低 3% 可以转化为超过 100 万美元的成本节约。统计结果显示，当服务器以非常低的负载运行时，会浪费大量能源。因此，设计高能效的任务调度算法来降低数据中心的能耗是必不可少的。
• 但是，任务执行时间是混合的，在实际数据中心中很难估计。

🚧现状

• 现有工作明显忽略了在任务到达时间做出的调度决策可能会导致能源浪费或资源闲置。
  • 在节能任务调度领域，研究人员专注于到达时间的任务分配。
    • 提交新任务时，会将该任务分配给适当的服务器，然后服务器为其启动虚拟机 （VM） 或容器。任务分配可以被认为是一种经典的箱打包问题，有几种启发式算法被设计用于广泛的应用，如循环和最佳拟合。
    • 在相关文献中，基于深度强化学习（DRL）的算法被设计用于分配任务以实现高性能。以前的一些工作研究了节能任务迁移。在运行时，可以在虚拟机或容器中运行的任务动态迁移到其他服务器进行整合。通过这种方式，可以释放更多的服务器并切换到睡眠模式。
  • 然而，很少有关于联合任务分配和迁移的研究能够在任务的整个生命周期内实现更好的能源效率。
    • 一方面，由于数据中心的任务时长通常遵循长尾分布，因此长时间运行的任务只占任务总数的一小部分，但消耗了大量的资源。
      • 仅执行任务分配并不能确保这些长时间运行的任务的能源效率，因为它很难区分长时间运行的任务的到达时间，或者将它们分配给几台服务器进行整合。当任务工作负载减少时，运行时间较短的任务会提前完成，而长时间运行的任务则在服务器上运行，从而导致能源浪费。
    • 另一方面，数据中心正在运行大量短期任务，迁移大量短期任务的成本从几秒钟到几分钟不等，这极大地影响了这些短期运行任务的性能。
      • 由于任务运行时的估计误差很大，在到达时很难区分长时间运行的任务和短期运行的任务，这使得混合持续时间的任务调度更具挑战性。总之，以前的工作对整个生命周期中混合持续时间的任务调度不够重视。
• 以往基于DRL技术的数据中心资源分配工作主要需要对深度神经网络（DNN）进行大量的离线训练，存在以下缺点：
  • （1）需要大量的工作负载跟踪和精心生成的状态转换配置文件来对混合持续时间任务进行建模。
  • （2）集装箱资源需求的过渡概率在相对较短的时间内（如1天）是准静态的。几天前收集的历史数据很难反映当前场景的特征，因此在线培训至关重要。

🛩创新

• 为了填补这些空白，本文共同考虑了混合持续时间任务的分配和迁移，提出了混合持续时间任务调度问题。

  • 任务分配和迁移过程是一系列相关的计划决策。为了反映不同时间调度决策之间的相关性，将调度问题建模为马尔可夫决策过程（MDP）问题。考虑到数据中心中许多同时运行的任务，MDP 问题具有巨大的状态空间。为了处理如此大规模的MDP问题，我们选择了DRL，它可以处理复杂控制问题的巨大状态空间作为底层技术。

• 进一步地，设计了一种新颖的节能任务调度算法。任务分配可以提高资源利用率，当长时间运行的任务在低负载服务器中运行时，需要迁移。

  • 为了满足时变资源需求，避免DNN繁重的离线训练，我们提出了一种基于在线DRL的任务调度算法（ODTS），该算法由任务分配策略和任务迁移策略组成。
    • 任务分配策略在任务到达时将任务分配给适当的服务器。提出了各种优化，使 DNN 以在线方式进行训练。
      • 首先，为了更好地评估每个分配决策，奖励被表述为分配前后平均功率之间的差值。
      • 然后，为了实现在线训练，采用权重共享结构来减少DNN参数的数量，并应用排序模块来识别服务器状态的不同排列。
      • 此外，通过高效探索加快收敛速度，生成训练数据，缓解稀疏奖励问题。
    • 此外，ODTS启发式地选择几个已经执行了很长时间的任务，以减少同时迁移所有任务的动作空间。
      • 然后，应用建议的任务迁移策略，以选择适当的服务器来迁移每个选定的任务。
      • 最后，为了消除各种任务工作负载的影响，奖励被重新表述为CPU利用率除以平均功耗的积分，而不是能耗和QoS等的线性组合。

• 贡献可以总结如下：

  • 1）为了高效地调度数据中心的混合持续时间任务，我们在任务的整个生命周期中共同考虑任务分配和迁移。我们制定了任务调度问题，并进一步将其建模为MDP问题。
  • 2）为了解决MDP问题，设计了一种基于DRL的算法。此外，为了满足时变资源需求，我们优化了DNN结构，重新制定了奖励，采用高效的动作选择，并生成训练数据，以实现在线训练。
  • 3）我们实施ODTS并评估性能。实验表明，在几乎相同的服务质量（QoS）和相同的迁移时间下，所提算法在能耗方面平均比现有基线算法高出14%。

📊效果

• 对真实世界数据的实验表明，所提出的算法在能耗方面比现有基线平均高出 14%，同时保持相同的服务质量 （QoS） 水平并实现在线训练。

🧠疑问

---

---

• 希望这篇博客对你有帮助！如果你有任何问题或需要进一步的帮助，请随时提问。
• 如果你喜欢这篇文章，欢迎动动小手 给我一个follow或star。

🗺参考文献

[1] J. Lou, Z. Tang and W. Jia, “Energy-Efficient Joint Task Assignment and Migration in Data Centers: A Deep Reinforcement Learning Approach,” in IEEE Transactions on Network and Service Management, vol. 20, no. 2, pp. 961-973, June 2023, doi: 10.1109/TNSM.2022.3210204.