您的位置:永利手机网站 > 科技中心 > 测试机器学习模型不用写代码!谷歌“what-if”工

测试机器学习模型不用写代码!谷歌“what-if”工

2019-04-27 15:33

永利手机网站 1

为了说明What-if工具的功能,我们使用预先训练的模型发布了一组Demo:

永利手机网站 2

永利手机网站 3

对于二分类模型来说,这个工具可以将你的数据集分成子数据集,继而探索不同算法公平性约束(fairness constraints)的影响。

倒计时**8**天

今天,谷歌推出了已开源的TensorFlow可视化工具TensorBoard中一项新功能:What-If Tool,用户可在不编写程序代码的情况下分析机器学习(ML)模型。

Google AI PAIR计划的一个重点就是让更广泛的人群能够更方便地对机器学习系统进行检查、评估和调试。

功能七:测试算法公平性限制

http://www.aiworld2018.com/

不用写代码?

构建高效的机器学习系统,需要提出并解决许多问题。仅仅训练模型然后就放着不管是远远不够的。优秀的机器学习从业者要像侦探一样,时刻注意探索如何更好地理解构建的模型:数据点的变化将对模型的预测结果造成什么影响?同一个模型对不同的群体会有哪些不同的表现?用来测试模型的数据集的多样化程度如何等等。

What-If Tool里功能很多,包括自动用Facets将数据集可视化,也有从数据集中手动编辑示例并查看更改效果的功能,还能自动生成部分关系图,显示模型预测随着单个特征的改变而改变的趋势。

下面详细介绍What-If工具的两个功能。

在谷歌官方博客上,研究人员还发布了用预训练模型进行的一组演示,比如检测错误分类的原因,评估二元分类模型的公平性和调查不同子数据集中模型的表现等。可以移步官方博客查看更多,博客地址:

在这种情况下,对于选定的数据点,模型预测该人年收入超过5万美元的信度为73%。该工具自动定位数据集中最相似的人,模型预测其年收入低于5万美元,然后将选定数据点和与之最相似、但预测结果相反的数据点进行并排比较。如下图所示,二者只有在年龄和职业上存在微小的差异,但模型的预测结果已经完全相反了。

铜灵 编译整理

今天,我们正式发布What-If工具,该工具是开源的TensorBoard Web应用程序的一项新功能,它允许用户在不编写代码的情况下分析机器学习模型。What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

责任编辑:

What-If工具显示一组250张面部图片及其检测微笑模型的结果

永利手机网站 4

只需一键,自动对比数据点与模型预测最相似点

功能六:查看混淆矩阵和ROC曲线

在下面的截图中,该工具用于二进制分类模型,该模型根据美国人口普查数据集的公共人口普查数据,预测一个人的年收入是否超过5万美元。这是机器学习研究人员使用的基准预测任务,尤其是在分析算法的公平性时。

永利手机网站 5

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

功能三:发掘单个特征的效果

模型性能和算法公平性分析

原标题:无需写代码!谷歌推出机器学习模型分析神器,代号What-If

What-If工具的实地应用

https://pair-code.github.io/what-if-tool/

编辑:大明

永利手机网站 6

要回答这些问题并不容易。要回答这些“假设”问题,通常要编写自定义的一次性代码来分析特定模型。这个过程不仅效率低下,而且除了程序员,其他人很难参与改进机器学习模型的过程。

功能二:编辑一个数据点,看模型表现如何

Github:

What-If Tool介绍主页:

对Counterfactuals的比较。二人只有在年龄和职业上存在微小的差异,但模型的预测结果已经完全相反

永利手机网站 7

我们将What-If工具在Google内部团队中进行了测试,该工具在测试中显现出了直接价值。有团队很快发现他们的模型错误地忽略了数据集的整个特征,修复了以前未发现的代码错误。 还有团队使用该工具将模型示例按性能高到低排列出来,并发现表现不佳的模型示例的运行模式。

功能一:可视化推断结果

来源:Google AI

用L1或L2距离从选定的数据点创建距离特性,并将其可视化进行进一步分析。

永利手机网站 8

你可以编辑、添加或删除任何选定数据点的特性或特性值,然后运行推断来测试模型性能,也可上传全新示例。

本文由永利手机网站发布于科技中心,转载请注明出处:测试机器学习模型不用写代码!谷歌“what-if”工

关键词: