艾伦人工智能研究所和研究人员发布了AllenNLP Interpret

来自加利福尼亚州欧文分校的艾伦人工智能研究所和研究人员发布了allennlp interpret,该工具包用于解释自然语言处理(nlp)模型的结果。可扩展的工具包包括用于解释和可视化组件的几种内置方法,以及使用allennlp interpret解释包含bert和roberta的最新nlp模型的结果的示例。
在arxiv上发表的一篇论文中,研究团队更详细地描述了该工具包。allennlp interpret使用两种基于梯度的解释方法:显着性图,确定输入句子中的每个单词或“标记”对模型的预测有多大作用;以及对抗攻击,尝试删除或更改输入中的单词,同时仍保持来自模型的相同预测。这些技术可用于各种nlp任务和模型架构。这些实现使用一组通用的api和可视化组件,为将来开发其他技术和模型支持提供了框架。
随着公司越来越多地使用ai来自动提供问题的答案,用户想知道为什么 ai会给出给定的答案。例如,在检测到信用卡交易欺诈的情况下,该交易特别暗示欺诈吗?
对模型如何产生答案的解释对于模型开发人员了解面对新数据时系统将如何泛化的能力也很重要。allennlp interpret研究人员sameer singh经常引用该模型来区分狼和狗,但实际上只是学会了检测雪。
对于某些机器学习算法,解释很简单:例如,决策树只是一系列if / then规则。但是,深度学习模型的输出可能更难以解释。
辛格的先前工作包括lime,它使用线性逼近来解释更复杂模型的预测。allennlp interpret使用基于梯度的方法,该方法可测量输入要素对输出的影响。由于计算此梯度是深度学习培训的关键组成部分,因此这些方法可以应用于任何深度学习模型。
尽管这些技术是通用的,但allennlp interpret旨在用于nlp。nlp系统的输入是文本字符串,通常是句子或整个文档,然后将文本解析为其组成词或标记。allennlp interpret包括显着性图,显示每个标记对模型预测的贡献;一个用例可能是解释句子中的哪些单词导致其情感被分为正面或负面。
该工具包还包括两个对抗方法,这些方法显示了更改输入中的标记如何影响输出。第一,hotflip,用其他单词替换斜率最高的输入单词,直到模型输出更改。另一种攻击是输入缩减,它会反复删除坡度最小的单词,而不会更改输出。这导致输入文本“通常是无意义的,但会引起高置信度预测”。

TD-SCDMA:棋局当前尚留三大“疑问手”
歌尔股份2020年净利利润超28亿元 增长122%
苹果推出ios13.2系统后,都出现了哪些问题
出自大众,途昂的升级版,保时捷平台打造,35万剑指奥迪Q7
iFixit拆解华为Mate20 Pro
艾伦人工智能研究所和研究人员发布了AllenNLP Interpret
沃尔沃表示全力支持电动汽车充电接口标准化
成都天府新区紫光芯城项目正式开工 项目投资约500亿元预计2022年投入运营
商汤科技发布“端边云一体化方案”,全技术栈整合强化智慧城市中枢能力
你敢相信L2自动驾驶的安全性吗
青少年用科技思维为城市“疑难杂症”开良方
影驰RTX2070SuperGamerOC/2080Super大将评测 高性能低噪音与高性价比各取所需
无人驾驶汽车技术标准化中国领先!
高精度地图将成为自动驾驶落地过程中的一大趋势
食品安全检验检测设备是什么,它的作用有哪些
亚成微推氮化镓合封电源芯片 紫光国微获ICT行业科技创新优秀奖
用74ls138设计全加器
英威腾一体化数据中心解决方案促进智慧校园信息化建设
扣押孟晚舟是打“心理战”?美学者批政府制裁华为
如何解决微带滤波器的损耗问题?