【论文】略读笔记81-前沿-地理分布式边缘云微服务自动伸缩

📖《GeoScale: Microservice Autoscaling With Cost Budget in Geo-Distributed Edge Clouds》

2024 年 南京大学团队 发表于 CCF-A 类期刊 TPDS。

🎯需求

• 微服务是一种软件架构，其中整体式应用程序被分解为一组松散耦合的微服务。每个微服务都可以独立开发、测试、更新和维护，这大大提高了软件的可维护性，并加快了应用程序的开发。此外，微服务总是在轻量级容器化实例中运行，实例可以快速启动和终止，这提高了部署的便利性。由于上述优势，近年来，微服务已成为主流软件架构，并被阿里巴巴、亚马逊、谷歌和Netflix等互联网巨头广泛采用。
• 在位于网络边缘并靠近最终用户的地理分布式边缘云中部署微服务实例可以提供现场处理，从而提高服务质量（QoS）。
  • 为了进一步优化QoS，如今从业人员在地理分布的边缘云中部署微服务实例，这些云通常是构建在接入网络附近的微数据中心。边缘云是地理分布的，每个边缘云都可以接收来自其周围地理区域的用户请求。用户请求可以直接由附近的边缘云而不是远程云处理，这避免了耗时的回传，并减少了请求响应时间。因此，QoS可以大大改善。边缘云可以相互通信并协作以服务用户请求，从而形成边缘环境（简称边缘）。
• 为了适应每个边缘云的时间变化的请求到达率，微服务实例的部署方案是动态调整的，这被称为微服务自动缩放。
  • 为了适应每个边缘云的时变请求到达率，微服务实例的部署方案被动态调整，这被称为微服务自动缩放。
  • 如图1所示，一个由三个串行连接的微服务组成的应用程序在边缘部署。由于最终用户的移动性、加入和退出（例如，启动和停止使用应用程序），每个边缘云的请求率会随着时间的推移而变化。随着边缘云1附近的请求率增加，在边缘云1中启动更多实例，以提供足够的现场处理。此外，边缘云2和3中的几个实例被终止，以节省部署成本。在本文中，请求率被定义为每秒到达的请求数量（RPS）。

🚧现状

• 然而，关于边缘微服务自动缩放的现有研究要么只是优化QoS，而不考虑部署微服务实例的成本，要么只是专注于每个时间段的成本，因此总是严重违反长期预算约束。
  • 从应用程序服务提供商的角度来看，他们在云供应商管理的边缘云中部署基于微服务的应用程序，并为微服务实例占用的计算资源付费。
  • 然而，关于边缘微服务自动缩放的现有研究没有考虑到部署成本的长期预算。他们要么只旨在优化QoS（例如，请求响应时间），而不考虑部署成本，要么只是专注于每个时间段的成本。因此，它们严重违反了长期成本预算，而长期成本预算在实际实践中通常受到限制。
• 为了解决上述问题，我们面临着两个主要挑战。
  • 1）首先，在每个时间段，我们只能观察近期的当前信息或预测信息。然而，这种短期信息不足以解决长期问题。
  • 2）其次，由于基于微服务的应用程序结构复杂，以及边缘环境中的请求分布在地理上不均匀，因此很难同时确定每个微服务的实例数量，以及这些实例的部署位置以优化QoS。

🛩创新

• 为了解决这个问题，在本文中，我们研究了在长期成本预算约束下边缘环境中面向QoS的微服务自动缩放问题，并设计了一种名为GeoScale的新方法来解决这个问题，旨在优化长期成本预算约束下的平均请求响应时间。
  • GeoScale首先利用Lyapunov优化框架将长期优化问题分解为一系列每个时间段的子问题，
  • 然后应用基于符号几何编程（SGP）的算法，为每个NP-hard子问题获得接近最佳的解决方案。
• 我们的主要贡献如下。
  • 1）我们提出了基于微服务的应用程序和边缘环境的建模，在此基础上，我们制定了长期成本预算约束下边缘环境中面向QoS的微服务自动缩放问题。
  • 2）为了解决长期问题，我们提出了一种名为GeoScale的方法，该方法利用Lyapunov优化将问题分解为一系列单时间段子问题。GeoScale通过随着时间的推移解决子问题来确保成本预算。
  • 3）通过确定每个微服务的实例数量并放松整数变量，GeoScale将单时间段子问题转换为SGP问题，可以用接近最佳的解决方案解决。最后，设计了一种新的四舍五入算法来获得整数解。
  • 4）进行了广泛的跟踪驱动实验，以验证GeScale的优越性。实验结果表明，GeScale可以改善QoS，同时显著减轻对长期成本预算约束的违反。

📊效果

• 通过广泛的跟踪驱动实验，我们验证了GeoScale的优越性。实验结果表明，与现有策略和设计的基线相比，GeoScale可以通过将平均请求响应时间减少到87.8%来提高QoS，同时显著减轻对长期成本预算约束的违反。

⛳️未来机会

• 虽然在本文中，我们主要关注边缘的不同请求到达率，但在实践中，基于微服务的应用程序也在不断发展。微服务可以修改或删除，也可以添加新的微服务。GeoScale也能够适应此类应用程序更改，只需在相应时间段内更新微服务信息。
• 未来，我们将探索计算异构边缘云中的微服务自动缩放，其中同一微服务的实例在部署在各种边缘云中时具有不同的处理率。

🧠疑问

1. 很经典的写作手法，很清晰，但创新性体现不足。如果只是利用Lyapunov优化，似乎就很简单？运筹学方法的亮点在什么地方？

---

---

• 希望这篇博客对你有帮助！如果你有任何问题或需要进一步的帮助，请随时提问。
• 如果你喜欢这篇文章，欢迎动动小手给我一个follow或star。

🗺参考文献

[1] K. Cheng et al., “GeoScale: Microservice Autoscaling With Cost Budget in Geo-Distributed Edge Clouds,” in IEEE Transactions on Parallel and Distributed Systems, vol. 35, no. 4, pp. 646-662, April 2024, doi: 10.1109/TPDS.2024.3366533.