为了确定人工智能系统的预测是否公平，数据科学家需要了解模型的短期和长期影响，这可能是由于许多静态数据集的误差度量存在差异。在某些情况下，除了误差指标之外，还必须考虑AI系统的运行环境，这也是谷歌研究人员开发ML-failure-gym的原因，ML-failure-gym是一组用于评估算法在模拟社会环境中的公平性的组件。
ML-failure-gym(本周GitHub上的开源版本)可以通过使用OpenAI的Gym框架模拟决策来研究自动化系统的长期影响。人工智能控制的代理程序与数字环境循环交互，在每一步中，代理程序都会选择一个会影响环境状态的动作。然后，环境将揭示一个观察，代理将使用该观察来通知其下一个操作，以便环境可以对问题的系统和动态进行建模，并将该观察用作数据。
例如，考虑到经典的借贷问题，即每组申请人偿还银行贷款的概率是其信用评分的函数，银行作为代理人，以环境的形式接收申请人，观察其评分和会员情况。它做出决定(是否接受或拒绝贷款)，并模拟申请人是成功还款还是违约，然后相应地调整其信用评分。在整个过程中，ML-failure-gym会对结果进行模拟，从而评估银行政策的公平性。
这样，ML-failure-gym巧妙地避开了静态数据集分析的陷阱。如果经典公平评价中的测试集(即用于评价模型性能的语料库)是从现有系统中生成的，它们可能是不完整的或反映了这些系统的固有偏差。此外，人工智能系统输出通知的动作可能会影响其未来的输入。
谷歌研究软件写道：“我们创建了ML-公平-健身房框架，以帮助ML从业者将基于模拟的分析引入他们的ML系统。这种方法在许多难以进行封闭分析的动态系统领域被证明是有效的。”工程师HansaSrinivasan的博文。
免责声明：本文由用户上传，如有侵权请联系删除！
