为了确定人工智能系统的预测是否公平，数据科学家需要知道模型的短期和长期影响，这可能是由许多静态数据集的误差度量差异造成的。在某些情况下，除了误差指标之外，还必须考虑AI系统的运行环境，这也是谷歌研究人员开发ML-failure-gym的原因，ML-failure-gym是一组用于评估算法在模拟社会环境中的公平性的组件。
ML-failure-gym(本周GitHub上的开源版本)可以通过使用OpenAI的Gym框架模拟决策，来研究自动化系统的长期影响。人工智能控制的代理与数字环境循环交互，在每一步中，代理都会选择一个会影响环境状态的动作。然后，环境将揭示一个观察结果，代理将使用该观察结果来通知其下一个操作，以便环境可以对问题的系统和动态进行建模，并将观察结果用作数据。
例如，考虑到经典的贷款问题，即每组申请人偿还银行贷款的概率是其信用评分的函数，银行作为代理人，以环境的形式接收申请人的评分和会员观察。它做出决定(是否接受或拒绝贷款)，环境模拟申请人是成功还款还是违约，然后相应调整其信用评分。在整个过程中，ML-failure-gym会对结果进行模拟，从而评估银行政策的公平性。
ML-failure-gym通过这种方式巧妙地避开了静态数据集分析的陷阱。如果经典公平评估中的测试集(即用于评估模型性能的语料库)是从现有系统中生成的，它们可能是不完整的或反映了这些系统的固有偏差。此外，人工智能系统输出通知的动作可能会影响其未来的输入。
谷歌软件写道：“我们创建了ML-公平-健身房框架，帮助ML从业者将基于模拟的分析引入他们的ML系统。这种方法在许多难以进行封闭分析的动态系统领域被证明是有效的。”工程师Hansa Srinivasan的博文。
标签：