explAIner: 面向交互式可解释机器学习的可视化分析框架
可解释性机器学习 XAI 是打开机器学习黑盒的一系列技术手段，是近些年来的热门研究领域。然而伴随着各种层出不穷的XAI技术，如何选择不同的方法和适应不一样的依赖和输出成为了新的挑战。explAIner[1] 正是在这样的大背景下提出的一套一体化可视分析框架，它提供了标准化的接口属性去统一了目前比较流行的XAI方法，并统一了完整的交互式可解释机器学习的工作流程。此外，论文作者在研究基础上实现了一个基于TensorBoard的原型系统[2]。
在研究前期准备过程中，研究者调研了目前流行的XAI方法，如下表所示。对于每种XAI的方法，文中统计了三种属性，分别为Level：表示数据的覆盖程度（数据全覆盖或样本数据）、Abstraction：表示模型的覆盖程度（完整模型或部分模型）以及Dependency：依赖数据、模型或领域。这些属性会成为explAIner里的标准参数作为XAI流程的输入参数。
下图中的虚线框内为XAI框架的说明，其中黄色部分展示了机器学习模型的状态，这里的每个模型状态包括机器学习中的三部分：输入、模型、输出。单个或多组这样子的连续模型状态可以作为XAI方法的输入。图中绿色部分为解释器的Pipeline，其中的输入为模型状态以及前文中已经统计好的各类参数，经过XAI的方法后可以输出两类信息：第一是对于机器学习模型的解释说明，第二是一种迁移方法用于对当前模型的修改建议。
整个交互的过程核心步骤可以分为三步：理解，诊断和调优。参考下图流程，首先初始情况下模型状态处于State 1，在经过一系列XAI方法（Explainer A进行了模型的解释，Explainer B给出了迁移方法的建议），模型状态通过调优进入了State 2。此后用户又使用了C和D进行了比较解释并再次经过了多次迁移达到了最终结果State n。在这一系列过程中，用户可以记录下他所有的操作过程，并在最后通过explAIner内部包含的Report模块整理成汇总报告，存档自己的模型调优过程用于后续总结。
系统整体的实现包含了一个TensorBoard的前端，以及两个分别用于XAI插件和存储模型的后端模块。最终的用户可视化界面在顶部包含了4个Tab，分别对应理解、诊断、调优、报告四大模块，下方的序列图是用户调优过程中记录的操作，帮助用户回溯整体的模型调优过程。读者可以直接使用官方网站[2]中的Demo进行体验。
该系统面向三类用户：可以帮助想学习机器学习原理的小白用户来理解机器学习模型；可以帮助机器学习模型的使用者来挑选模型；以及帮助机器学习的开发者来进行模型的调优。在用户研究中，这三类用户对该系统均有不错的反馈。
[1] Spinner, Thilo, et al. “explAIner: A visual analytics framework for interactive and explainable machine learning.”IEEE transactions on visualization and computer graphics(2019).
