监控是构建决策管理系统所需的五大关键功能之一。每项功能都可以逐步采用，并可根据资源和业务驱动因素进行扩展。
支持监控和改进决策的能力通常不存在于单个软件产品中。相反，这些能力推动了用于决策逻辑管理的产品的部署和其他要求，嵌入了预测分析以及优化和模拟：
l 决策服务必须支持实验（在决策逻辑和分析模型中）以及决策结果和所用方法的记录。
l 标准绩效管理工具中必须提供有关决策绩效的数据，以便评估决策绩效并评估实验中使用的替代方案。
l 决策逻辑的更改及其影响必须由业务用户管理。
l 必须监控所使用的分析模型，以查看它们是否变得不那么具有预测性，并且可以应用自动模型调整。
l 可以重新分析场景，以查看收集的数据是否表明了更好的方法。
有效的监控和改进需要集成用于构建决策管理系统的平台的功能。
概述
对于决策管理系统而言，监控和改进决策的能力至关重要，因为决策是高变化的组成部分，而且决策的实施时间可能很长，因此很难区分好坏。
决策制定中有许多变化的驱动因素。
l 法规发生变化，因此组织必须改变其做出资格决定的方式，以遵守这些法规。
l 政策发生变化，因此组织必须改变其对供应商的验证方式，以跟踪新的数据要求。
l 竞争对手发生变化，因此希望保持竞争力的组织必须改变其折扣或定价。
l 市场（例如金融或信贷市场）发生变化，因此组织必须不断改变其评估风险的方式。
l 消费者行为会定期且持续地发生变化，因此与消费者合作的组织必须在决策中不断应对这些变化。
l 欺诈者不断适应并寻找新的漏洞来利用，因此组织必须改变其检测和处理欺诈的方式，以关注正在发展的新欺诈。
除了明确推动决策变化的外部变化外，组织还希望不断改进其决策。某些决策的挑战在于决策实施所需的时间——例如，组织可能需要数周或数月才能知道该决策是否有利可图。为了在这些情况下不断改进，必须能够进行实验并比较其结果。这样的实验以两种或更多种不同的方式做出相同的决策，将不同的方法应用于不同的交易并比较结果。这些方法有时被称为自适应控制、冠军挑战者或A/B测试，它们推动决策的持续改进。如图1所示，持续决策改进需要评估决策结果，更新和完善预测分析模型和业务规则，开发新的“挑战者”或替代方案。这些反馈到决策循环中，并用于制定未来的决策。这些决策的结果依次进行评估，成功的实验被采纳，不成功的实验被放弃，新的实验被开发，这是一个持续的循环。
图1.持续改进周期
架构
支持监控和改进决策的功能通常不存在于单个软件产品中。相反，这些功能推动了用于决策逻辑管理的产品的部署和其他要求，嵌入了预测分析以及优化和模拟：
l 决策服务必须支持实验（在决策逻辑和分析模型中）以及决策结果和所用方法的记录。
l 标准绩效管理工具中必须提供有关决策绩效的数据，以便评估决策绩效并评估实验中使用的替代方案。
l 决策逻辑的更改及其影响必须由业务用户管理。
l 必须监控所使用的分析模型，以查看它们是否变得不那么具有预测性，并且可以应用自动模型调整。
l 可以重新分析场景，以查看收集的数据是否表明了更好的方法。
有效的监控和改进需要集成用于构建决策管理系统的整个平台的功能。
功能
日志记录
决策监控所需的主要功能是记录决策执行。当决策管理系统做出决策时，必须能够记录该决策是如何做出的、做出了哪些子决策以及触发了哪些业务规则。此日志应包括在决策过程中计算的任何预测分析模型得分以及决策管理系统建议的具体操作。
此外，这些决策日志的存储方式应使其能够与客户和其他人对决策的反应信息集成在一起——客户是否接受了报价、销售人员是否以额外的折扣覆盖了价格、交易是否完成等等。这使得所做的决策与可归因于这些决策的长期结果（例如下达的订单或保留的客户）相关联。
日志记录还通过提供完整的执行透明度来支持合规性和审计需求。当进行审计或合规性审查时，将能够准确地了解决策是如何做出的，以及该决策是否遵循了正确的指导方针。
实验
为了确保决策的持续改进，通常需要进行实验。这些实验通常涉及多种方法，无论是决策的决策逻辑、决策中使用的预测分析模型还是两者兼而有之。必须管理额外的决策逻辑，以确定哪种方法应该应用于特定客户或交易，并且必须能够将其记录为决策本身的一部分。
所有适合管理决策逻辑的产品都可以以这种方式管理实验。一些用于决策逻辑管理的产品具有内置的附加功能，可以轻松管理、审查和比较决策中使用的各种方法。
决策绩效管理
决策的绩效可以而且应该以与业务绩效的任何其他方面相同的方式进行管理和监控。通常，将组织的标准绩效管理功能应用于决策日志以查看趋势、热点等非常简单。
非技术规则管理
虽然决策的变更有时很广泛，但局部和集中的变更更为常见。业务用户通常应该这样做，以便可以避免整个IT周期的定期小更新。应该可以使用非技术决策逻辑管理功能向业务人员展示他们自己的业务规则。理想情况下，这种环境只允许他们进行有意义的更改，而不会提供不必要的信息。大多数用于管理决策逻辑的产品要么包含合适的接口，要么允许开发合适的接口。
图2.监控决策的能力
影响分析
当非技术用户进行快速、敏捷的更改时，他们需要能够
看到这些更改的影响。这应涵盖以业务为中心的方式呈现的设计影响和执行影响。
场景分析
持续的数据记录可能会显示，以前被拒绝的替代方案现在应该被考虑或优先考虑。需要一个界面，允许业务分析师或业务用户基于模型和新数据运行和比较方案。这种场景分析涉及基于部署系统生成的历史数据的丰富可视化。
替代方案评估
当并行使用多种决策方法时，评估这些替代方案的有效性至关重要。诸如交换集分析（例如，显示哪些客户将获得报价B而不是报价A）等功能以及更一般的业务绩效指标比较至关重要。此外，还需要模拟和假设分析工具，这些工具可以使用每种替代方法并比较基于这些方法的多个模拟结果。
预测模型监控
模型是根据数据快照构建的。因此，它们会“老化”——随着时间的推移，输入到部署模型中的数据可能看起来越来越不像构建模型时的数据。应监控已部署的分析模型，以了解其性能随时间的变化情况。许多新模型最初部署是为了挑战现有模型，需要比较原始“冠军”模型和新“挑战者”模型的性能，以查看挑战者是否足以取代冠军。
预测模型调整
使用机器学习技术的自动模型调整和更新可用于监控分析模型在部署过程中的性能，并根据该性能自动调整其底层方程。模型调整可以永远运行，也可以在定义的边界内调整模型，并在模型性能开始超出这些边界时标记模型以进行重建。
我们拥有丰富的经验，专注于帮助客户使用决策管理、业务规则和高级分析技术构建以决策为中心、以行动为导向的系统和流程。使客户快速有效地采用决策建模并将其集成到他们的系统中。我们的客户涉及保险、银行、医疗、制造、供应链、物联网、电信、电商、健康管理和零售等领域的领先公司。
您可以联系我们进行免费咨询并了解有关我们服务的更多信息。
