【论文】略读笔记48-经典-缺乏历史数据的容器共性个性特征捕捉负载预测

📖《COIN: A Container Workload Prediction Model Focusing on Common and Individual Changes in Workloads》

2022 年发表于 CCF-A 类期刊 TPDS。

🎯需求

• 最近，容器已成为云应用的主要部署形式。 要确保应用程序的服务质量（QoS）和成本效益，并满足与用户签订的服务水平协议（SLA），准确预测容器工作量至关重要。
  • 如今，软件作为人们生产和生活中的必要工具，正变得越来越复杂。 对于用户来说，他们希望软件的响应速度更快、稳定性更高。 为了实现软件生产与用户体验之间的平衡，以微服务架构思想和容器化技术为核心的云原生（cloud-native）已成为主流的应用实现和部署模式。 微服务架构旨在将复杂的应用程序拆解为功能单一的服务，从而降低应用程序的耦合度。
    • 容器是一种内核级虚拟化技术，与虚拟机相比，它不再需要管理程序的支持，因此具有更高的性能和效率。 因此，通过容器化技术实现的微服务架构能以更快的速度交付、部署、迁移和扩展应用程序，从而实现应用程序的持续集成、持续交付和持续部署。

🚧现状

• 然而，面对容器工作负载预测中数据不足导致的模型不可用、动态工作负载变化导致的模型不适应、工作负载模式多变导致的模型非泛化等多重挑战，现有方法尚未提供统一有效的解决方案。
  • 云原生带来的显著优势之一是弹性，云提供商提供适当的应用运行时管理技术，如自动缩放、弹性调度、容器迁移和工作负载平衡，以确保应用行为和资源利用率。
    • 然而，当前大多数应用运行时管理技术都是作为被动机制运行的，基于规则的触发通常会造成资源利用过度或不足，从而导致违反服务水平协议和低成本高效率。 因此，有人提出了工作负载预测技术来指导云应用的主动运行时管理。
  • 目前，有关容器工作负载预测方法的研究相对较少。 而且，在预测容器中运行的应用程序的工作负载方面，现有方法仍面临多重挑战。
    • 1）数据不足导致模型不可用（无历史经验）： 由于云中每个容器的启动和关闭时间相对较短，因此很难甚至不可能提前为预测容器收集足够的历史工作负载数据。 当预测的容器没有或只有少量历史数据时，由于需要足够的历史数据，大多数现有方法通常都无法使用。
    • 2）动态工作负载变化导致的模型适应不良（无历史经验）：由于容器工作负载是动态和流式的，新的工作负载数据可能是预测模型从未遇到过和学习过的。 现有的大多数方法都是离线生成的，无法确保模型面对动态工作负载变化时的适应性。
    • 3）工作负载模式变化导致的模型非概括性（历史经验不是一直适用）：由于云环境和服务的动态性、应用和用户请求的多样性以及云资源的弹性供应，云工作负载通常会随着时间的推移而呈现不同的模式。 没有任何一种模式适合所有云工作负载模式。 现有方法大多使用单一模型或确定性模型结构，这就很难确保模型对不同工作负载模式的通用性。

🛩创新

• 为了解决上述挑战，我们提出了一种新颖的容器工作负载预测模型（COIN），它基于迁移学习和在线学习，将容器工作负载的共性（COmmon）和个性（INdividual）变化结合起来。 具体来说，
  • 1）一方面，COIN 在云中寻找与预测容器相似度最高且历史数据充足的 N 个容器，根据 N 个选定容器的工作负载数据离线训练 N 个预测模型，并将其转移到预测容器的工作负载共性变化中进行估算；具体来说，每个预测模型都由一个模型池提供，模型池可以根据每个模型的历史准确性动态选择合适的模型。
    • 此外，我们还提出了一种面向真实云场景的容器相似度计算算法，该算法结合了容器的静态和动态信息，全面刻画了容器之间的相似度。
  • 2）另一方面，COIN 会单独建立一个在线预测模型，以估计预测容器的个别工作负载变化，增量生成方法使其能够适应动态的工作负载变化。（难点在哪？）
  • 基于迁移学习和在线学习的思想，N 个针对常见工作量变化的离线预测模型和针对个别工作量变化的在线预测模型相结合，形成了最终的联合模型。
• 本文的主要贡献如下：
  • a. 针对容器数据不足、工作负载动态变化和工作负载模式多变等问题，提出了一种结合容器工作负载共性和个性变化的联合容器工作负载预测模型（COIN），以确保其可用性、适应性和通用性。 此外，基于COIN和容器编排平台Kubernetes，设计并实现了一种主动式容器运行时管理系统框架。
  • b. 提出了一种面向真实云场景的容器相似度计算算法，该算法结合容器的静态和动态信息，全面刻画了容器之间的相似度。
  • c. 基于现有工作中的两个公开数据集，进行了一系列实验，结果表明COIN比现有的先进方法具有更好的准确性。

📊效果

• 通过基于两个公开数据集的实验，COIN 模型的准确率高于现有的先进解决方案，证明了我们提出的模型的有效性和鲁棒性，为容器工作量预测提供了一种新的解决方案。

⛳️未来机会

• COIN算法的未来发展方向主要包括三个方面。
  • 1）首先，我们提出的模型中局部预测变量的动态权重分配只是基于近期预测误差的平方和，可以进一步探索更复杂、更鲁棒的基于误差的权重分配策略。
  • 2）其次，我们提出的模型中的容器静态相似度计算指标对于容器化应用来说比较全面和通用，可能并不完全适用于所有云场景。因此，对于无服务器应用、基于虚拟机的应用等特殊云场景，需要根据应用场景和特点，进一步探索更有针对性的指标。
  • 3）第三，数据噪声确实使生成预测模型变得困难。因此，如何实现数据去噪和工作负载预测的正确结合，在优化其准确性的同时，确保预测模型能够应用于真实的云环境，是一个值得研究的问题。

🧠疑问

1. 本文核心难点是什么？
   1. 当前容器缺乏历史数据（由于模式各异、运行时间短）。需要找到合适的历史数据作为补充。
   2. 历史数据通用性不强，还需要实时更新预测模型。（难在哪？）
2. 本文核心难点如何解决？
   1. 刻画“相似性”，找到最合适的历史数据。
   2. ？
3. 实时更新预测模型的难点在于什么？如何解决的？

---

---

• 希望这篇博客对你有帮助！如果你有任何问题或需要进一步的帮助，请随时提问。
• 如果你喜欢这篇文章，欢迎动动小手 给我一个follow或star。

🗺参考文献

[1] Z. Ding, B. Feng and C. Jiang, “COIN: A Container Workload Prediction Model Focusing on Common and Individual Changes in Workloads,” in IEEE Transactions on Parallel and Distributed Systems, vol. 33, no. 12, pp. 4738-4751, 1 Dec. 2022, doi: 10.1109/TPDS.2022.3202833.