利用模型性能管理（MPM）解决机器学习模型监控挑战

​译者 | 李睿

审校 | 孙淑娟

在过去几年，世界的数字化给组织和企业带来了独特的机遇和挑战。虽然数据的蓬勃发展为提高决策准确度提供了更多的机会，但现在分析和利用这些信息更加耗时和昂贵。因此，各种规模的企业都在部署机器学习(ML)模型，这些模型可以处理大量数据，并识别经常被分析师忽视或耗费不合理时间的模式和相关性。这些模型具有增强决策和推动卓越业务结果的能力。例如，一些机器学习模型可以对特定产品在下一年的销售速度做出高度准确的预测，以改进营销和库存计划。其他企业能够识别可能导致数百万美元收入损失的欺诈交易。  

但随着对机器学习模型的日益依赖，对模型性能的监控和对人工智能建立信任的需求也变得更加迫切。如果没有对机器学习模型监控，MLOps和数据科学团队会面临以下问题：

• 模型性能不一致。这可能会发生波动，因为机器学习模型是根据历史数据训练的，这些数据可能与它们在生产中看到的真实数据不同。  
• 缺乏控制和可调试性。因为复杂的机器学习系统是不透明的，从业者可能不太了解机器学习模型，不知道在出现问题时如何修复它。  
• 偏见实例。机器学习模型可能放大它们所训练的数据中的隐藏偏见，使企业面临法律和声誉风险，并可能给消费者带来有害的结果。
• 提高机器学习的性能。因为很难理解和跟踪需要进行哪些改进，所以在初始发布之后，机器学习模型不会获得更多的投资。  

MLOps团队也更有可能对他们的模型缺乏信心，这可能导致在项目上花费更多的时间和更多的错误。机器学习模型监视使开发人员能够在试验和生产过程中调试模型，以便在问题发生时捕获它们。这是获得可解释、公平和合乎道德的人工智能解决方案的最有效方式，这在当今世界是至关重要的。假设一家银行正在使用机器学习系统来批准贷款，他们可能收到客户投诉，询问银行为什么某笔贷款被拒绝，而这家银行需要负责解释模型做出这个决定的原因。如果没有适当的监控解决方案，追踪这一问题的答案几乎是不可能的。  

无论机器学习模型是负责预测欺诈、批准贷款还是定位广告，发生的微小变化都可能导致模型漂移、报告不准确或存在偏见——所有这些都会导致收入损失和影响品牌信誉。  

当今模型监视面临的挑战

不幸的是，由于当今组织所依赖的机器学习模型种类繁多，数量众多，因此机器学习模型监视变得更加复杂。机器学习模型现在服务于广泛的用例，例如反洗钱、工作匹配、临床诊断和监视行星。它们也有许多不同的表现形式(表格、时间序列、文本、图像、视频和音频)。虽然这些模型可以处理企业需要使用的大量数据，但跟踪它们的难度和成本要高得多。

一些企业已经部署了传统的基础设施监控解决方案，旨在支持广泛的运营可见性，以克服这些挑战。其他人则尝试在内部创建自己的工具。在任何一种情况下，这些解决方案通常都不能满足机器学习系统的独特需求。与传统软件系统不同，机器学习系统的性能是不确定的，这取决于各种因素，例如季节性、新的用户行为趋势，以及通常极高维的上游数据系统。例如，功能完美的广告模式可能需要在新的假期到来时进行更新。类似地，经过训练的一个机器学习模型显示在美国的内容推荐可能不会很好地用于国际用户注册。或者，企业经常面临无法扩展的问题，由于型号过时，浪费了生产故障排除时间，以及内部工具维护的额外费用。

为了在机器学习模型中启用可见性和可解释性，并克服常见的模型监视挑战，企业需要能够方便地监视、解释、分析和改进机器学习模型的解决方案，并采用模型性能管理（MPM）。

模型性能管理（MPM）如何解决性能和偏见  

模型性能管理（MPM）是位于机器学习工作流中心的一个集中控制系统，它跟踪模型生命周期所有阶段的性能，并关闭机器学习反馈循环。采用模型性能管理（MPM），企业可以通过解释和根本原因分析来发现深刻的可操作的见解，同时立即显示机器学习性能问题，以避免负面的业务影响。  

模型性能管理（MPM）不断自动重新评估模型业务价值和性能，发布生产中模型性能的警报，并帮助开发人员在出现偏见的第一个迹象时主动响应。因为模型性能管理（MPM）跟踪模型从训练到发布的行为，它也可以解释是什么因素导致了某种预测。将模型监视与机器学习可观察性的其他支柱(如可解释性和模型公平性)结合起来，为机器学习工程师和数据科学家提供了全面的工具包，可以嵌入到他们的机器学习工作流程中，并提供了横跨模型验证和监视用例的单一控制面板。企业从模型性能管理（MPM）中受益，不仅因为它能够提高模型监视的效率，还因为可以减少导致代价高昂的监管罚款或声誉损失的偏见实例。      机器学习模型需要在整个生命周期中持续的模型监视和再训练。模型性能管理（MPM）使开发人员不仅可以在他们的模型中获得信心和更高的效率，而且还可以理解和验证他们的人工智能结果背后的原因和过程。

原文标题：​​Solving for ML Model Monitoring Challenges with Model Performance Management (MPM) ​​，作者：Krishnaram Kenthapadi​