【论文】略读笔记34-前沿-地理分布式成本优化调度

📖《TanGo: A Cost Optimization Framework for Tenant Task Placement in Geo-distributed Clouds》

🎯需求

• 云基础设施逐渐呈现地理分布的趋势，以实现全球租户的随时随地连接。
  • 将企业用户应用程序部署到共享和多区域云基础设施已成为一种新常态，以满足应用程序要求，包括延迟（例如，视频流为 100-150 毫秒）和数据主权法规（例如，欧盟 GDPR）。
  • 这种地理分布式部署模式要求云提供商（例如AWS、Microsoft Azure和Google Cloud）在全球范围内构建多区域和大规模基础设施，在各大洲建立数十个数据中心，通过专门构建的高带宽光纤将它们连接到全球骨干网络中，或从ISP租用带宽。
    • 在人口稠密地区附近建造超大规模云数据中心既不环保也不经济，因为在电力传输过程中浪费了能源（例如，从美国中西部到东海岸，或从中国西部到中国东部的低成本电力供应）。云消耗的电力与服务器数量的激增和每台服务器上托管的密集型工作负载相关，一直在快速增长，占总运营成本的 60%-70%。因此，现有的云部署模式远非理想，需要一套创新的设计，以更具成本效益和环保的云部署。
    • 为了实现这一雄心勃勃的目标，我们的论文旨在回答一个有意义但尚未探索的问题：是否有可能以跨区域的方式安排和安排租户任务，以便在满足所需租户/应用程序要求的同时显着降低整体电力成本？
• 地理分布云中租户任务的放置涉及三个关键而相互关联的因素：电价的区域差异、租户的访问延迟以及任务间流量需求，因此在多区域多租户云中实现高效的任务放置是一项艰巨的任务。
  • 电价的区域差异：根据电力来源（例如水力发电、风能或天然气）和与发电厂的传输距离，位于不同地区的数据中心的电力单价可能会有很大差异。例如，高峰定价的年平均前一天为32.57/MWhintheUSNorthwestcomparedto纽约为62.71/MWh。
  • 租户访问延迟：指客户端与部署在云中的租户应用程序/服务之间的往返访问延迟。所需的延迟由租户任务的类型决定（例如，时间敏感型与不时间敏感型），实际延迟根据客户端和云区域之间的地理距离而有很大差异。
  • 任务间流量需求是指同一租户的多个任务之间所需的时延/带宽。所需的延迟/带宽还取决于租户任务的类型，例如，MapReduce 和分布式机器学习 等新计算范式需要任务之间的高带宽。如果部署在不同的位置（例如，一个在美国东部，另一个在美国南部），任务之间的大量流量可能与数据中心之间的有限带宽容量相矛盾。

🚧现状

• 现有研究要么忽视了地区电价的差异，要么忽视了地理分布云中租户的需求，从而导致了运营成本的增加或用户服务质量的降低。
  • 例如，已经提出了一些任务放置解决方案，通过利用多个区域之间的电价差异来最小化总电力成本。但是，这些工作忽略了任务之间的各种流量需求。当应用程序对任务间通信（例如，分布式训练）提出很高的要求时，最好将任务放在同一区域，否则任务放置可以更灵活。忽视通信需求可能会导致更高的运营成本。

🛩创新

• 我们设计了一个针对地理分布云中租户任务放置的成本优化框架，称为TanGo。
  • 其中租户可以指定他们对任务的各种需求，云提供商可以以经济高效的方式放置租户任务。
  • TanGo的核心是一种近乎最优的任务放置算法，它可以在满足所有需求和约束的同时将总成本降至最低。
• 我们做出了以下贡献：
  1. 我们提出了TanGo，这是一个成本优化框架，其中包括地理分布任务放置问题的数学模型。TanGo最大限度地降低了整体电力成本，同时满足了所有不同的需求。
  2. 我们将任务放置问题中的电费最小化问题表述为混合整数非线性优化问题，并给出了一个基于子模的解。我们证明了我们的算法接近最优，并受到 （1 − 1/e） 的严格近似因子的限制。

📊效果

• 基于真实数据集的深入模拟结果显示了我们算法的有效性，以及与通常采用的替代方案相比，电费总体减少了10%-30%。
  • 场景
    • 选择美国十个城市作为数据中心位置，用户从美国100个城市随机访问这些数据中心。
    • 电力数据基于美国联邦能源监管委员会定价数据。
    • 时延根据欧几里得距离获得，带宽默认都设置为50Gbps。（带宽没有价格）
    • 任务使用阿里巴巴、谷歌数据集。总共有29天内2500w个任务（平均10个/s），选择其中12h任务。
  • 指标
    • 只比较了电价成本。

🧠疑问

1. 带宽不收费，该假设的合理性？
2. 算法性能？

---

---

• 希望这篇博客对你有帮助！如果你有任何问题或需要进一步的帮助，请随时提问。
• 如果你喜欢这篇文章，欢迎动动小手给我一个follow或star。

🗺参考文献

[1] L. Luo, G. Zhao, H. Xu, Z. Yu and L. Xie, “TanGo: A Cost Optimization Framework for Tenant Task Placement in Geo-distributed Clouds,” IEEE INFOCOM 2023 - IEEE Conference on Computer Communications, New York City, NY, USA, 2023, pp. 1-10, doi: 10.1109/INFOCOM53939.2023.10229004.