AI如何检测这类虚假新闻
上个月，openai 发布其最新语言模型——gpt-2，但因为担心它可能被用来制造大量伪造和虚假的信息，颇为戏剧性地决定不开源该模型。
这一决定也使得 ai 社区开始讨论：如何检测这类虚假新闻。
在一项新实验中，来自麻省理工学院-ibm watson 人工智能实验室和哈佛大学自然语言处理实验室的研究人员思考，能够生成如此逼真的文本的语言模型，是否可以用来检测其他语言模型生成的文本的真假。
图 丨 openai gpt-2 生成的假新闻。（来源：hendrik strobelt and sebastian gehrmann）
这个假设背后的想法很简单：语言模型通过不断预测单词序列中的下一个概率最大的单词来产生句子。因此，如果某个语言模型能够轻松地预测某一段落中的大部分词语，那这段文本很可能就是这个语言模型生成的。
研究人员通过构建基于 openai gpt-2 开源的小模型的交互式工具来测试他们的想法。当为该工具提供一段文字时，它会让每个单词高亮不同的颜色，从绿色到黄色到红色，表示预测几率逐渐下降；如果语言模型根本没有预测出某一单词，它会用紫色高亮该单词。所以从理论上讲，红色和紫色词的越多，该文本由人类书写的概率就越大；如果绿色和黄色词的份额越大，该文本由语言模型生成的概率就越大。
图 丨 openai gpt-2 小模型生成的文本。（来源：hendrik strobelt and sebastian gehrmann）
事实上，研究人员发现，gpt-2 的小模型和完整版本的模型所写的段落几乎完全是绿色和黄色，而人类写的科学文摘和美国入学标准化测试中阅读理解段落中的文字有很多红色和紫色。
图 丨 美国入学标准化测试中的阅读理解短文，由人类书写。（来源：hendrik strobelt and sebastian gehrmann）
但事情没有想象中的简单。janelle shane 是一位负责运营“letting neural networks be weird“博客的研究员，她并未参与前文所述的研究。她将该工具用于更严格的测试，不仅仅提供 gpt-2 生成的文本，还提供了由其他语言模型生成的文本，包括一个用亚马逊评论训练的模型和一个用《龙与地下城》语料训练的模型。
她发现，这个工具无法预测每个段落中的大部分单词，因此该工具认为这些文本是人类写的。这说明一个重要观点：语言模型可能擅长检测自己的输出，但不一定擅长检测其他语言模型的输出。
看来，人类打击互联网假新闻还是任重道远啊。
区块链技术正在改变我们生活中的各个方面
跑步机控制板BGA芯片用底部填充胶
诺基亚lumia800更新 解决电池寿命问题
鸿蒙系统正式走向海外 华为智慧屏和荣耀智慧屏有何区别
三星GalaxyA8s现场高清图赏
AI如何检测这类虚假新闻
苹果新机人脸识别! 库克“刷脸”失败,iphone8/iphonex发布会出现bug被网友吐槽
荣耀v9play和红米Note4X哪个值得买？性能参数对比分析
华大北斗新一代SoC HD8040芯片
AlphaGo的横空出世让“人工智能”成为街头巷尾人人讨论的话题
Unity中所有特殊的文件夹
智慧安防系统如何才能切实有效地保障社区安全？
哪些环境下不适合用红外光谱仪
特斯拉新车AR试驾应用亮相 够在iOS和Android设备上使用
InGaAs被发现可用于制造更小更节能的非硅基晶体管
基于WLAN无线网络的网络覆盖设计方案
中国物联网产业发展对比国际竞争态势，还需努力！
【洞见芯趋势】华为星闪，能否实现万物互联？
安费诺正式授权倍捷连接器亚洲工厂组装 62GB 系列连接器
【技术分享】CAN总线接口保护电路设计指南
这一决定也使得 ai 社区开始讨论：如何检测这类虚假新闻。
在一项新实验中，来自麻省理工学院-ibm watson 人工智能实验室和哈佛大学自然语言处理实验室的研究人员思考，能够生成如此逼真的文本的语言模型，是否可以用来检测其他语言模型生成的文本的真假。
图 丨 openai gpt-2 生成的假新闻。（来源：hendrik strobelt and sebastian gehrmann）
这个假设背后的想法很简单：语言模型通过不断预测单词序列中的下一个概率最大的单词来产生句子。因此，如果某个语言模型能够轻松地预测某一段落中的大部分词语，那这段文本很可能就是这个语言模型生成的。
研究人员通过构建基于 openai gpt-2 开源的小模型的交互式工具来测试他们的想法。当为该工具提供一段文字时，它会让每个单词高亮不同的颜色，从绿色到黄色到红色，表示预测几率逐渐下降；如果语言模型根本没有预测出某一单词，它会用紫色高亮该单词。所以从理论上讲，红色和紫色词的越多，该文本由人类书写的概率就越大；如果绿色和黄色词的份额越大，该文本由语言模型生成的概率就越大。
图 丨 openai gpt-2 小模型生成的文本。（来源：hendrik strobelt and sebastian gehrmann）
事实上，研究人员发现，gpt-2 的小模型和完整版本的模型所写的段落几乎完全是绿色和黄色，而人类写的科学文摘和美国入学标准化测试中阅读理解段落中的文字有很多红色和紫色。
图 丨 美国入学标准化测试中的阅读理解短文，由人类书写。（来源：hendrik strobelt and sebastian gehrmann）
但事情没有想象中的简单。janelle shane 是一位负责运营“letting neural networks be weird“博客的研究员，她并未参与前文所述的研究。她将该工具用于更严格的测试，不仅仅提供 gpt-2 生成的文本，还提供了由其他语言模型生成的文本，包括一个用亚马逊评论训练的模型和一个用《龙与地下城》语料训练的模型。
她发现，这个工具无法预测每个段落中的大部分单词，因此该工具认为这些文本是人类写的。这说明一个重要观点：语言模型可能擅长检测自己的输出，但不一定擅长检测其他语言模型的输出。
看来，人类打击互联网假新闻还是任重道远啊。
区块链技术正在改变我们生活中的各个方面
跑步机控制板BGA芯片用底部填充胶
诺基亚lumia800更新 解决电池寿命问题
鸿蒙系统正式走向海外 华为智慧屏和荣耀智慧屏有何区别
三星GalaxyA8s现场高清图赏
AI如何检测这类虚假新闻
苹果新机人脸识别! 库克“刷脸”失败,iphone8/iphonex发布会出现bug被网友吐槽
荣耀v9play和红米Note4X哪个值得买？性能参数对比分析
华大北斗新一代SoC HD8040芯片
AlphaGo的横空出世让“人工智能”成为街头巷尾人人讨论的话题
Unity中所有特殊的文件夹
智慧安防系统如何才能切实有效地保障社区安全？
哪些环境下不适合用红外光谱仪
特斯拉新车AR试驾应用亮相 够在iOS和Android设备上使用
InGaAs被发现可用于制造更小更节能的非硅基晶体管
基于WLAN无线网络的网络覆盖设计方案
中国物联网产业发展对比国际竞争态势，还需努力！
【洞见芯趋势】华为星闪，能否实现万物互联？
安费诺正式授权倍捷连接器亚洲工厂组装 62GB 系列连接器
【技术分享】CAN总线接口保护电路设计指南