人工智能自身会面临着哪些方面的安全风险
（文章来源：千家网）
训练数据污染可导致人工智能决策错误。数据投毒通过在训练数据里加入伪装数据、恶意样本等破坏数据的完整性，进而导致训练的算法模型决策出现偏差。
数据投毒主要有两种攻击方式：一种是采用模型偏斜方式，主要攻击目标是训练数据样本，通过污染训练数据达到改变分类器分类边界的目的。例如，模型偏斜污染训练数据可欺骗分类器将特定的恶意二进制文件标记为良性。
另外一种是采用反馈误导方式，主要攻击目标是人工智能的学习模型本身，利用模型的用户反馈机制发起攻击，直接向模型“注入”伪装的数据或信息，误导人工智能做出错误判断。随着人工智能与实体经济深度融合，医疗、交通、金融等行业训练数据集建设需求迫切，这就为恶意、伪造数据的注入提供了机会，使得从训练样本环节发动网络攻击成为最直接有效的方法，潜在危害巨大。在自动驾驶领域，数据投毒可导致车辆违反交通规则甚至造成交通事故；在军事领域，通过信息伪装的方式可诱导自主性武器启动或攻击，从而带来毁灭性风险。
运行阶段的数据异常可导致智能系统运行错误。一是人为构造对抗样本攻击，导致智能系统产生错误的决策结果。人工智能算法模型主要反映了数据关联性和特征统计，而没有真正获取数据因果关系。针对算法模型这一缺陷，对抗样本通过对数据输入样例添加难以察觉的扰动，使算法模型以高置信度给出一个错误的输出。对抗样本攻击可实现逃避检测，例如在生物特征识别应用场景中，对抗样本攻击可欺骗基于人工智能技术的身份鉴别、活体检测系统。
2019年4月，比利时鲁汶大学研究人员发现，借助一张设计的打印图案就可以避开人工智能视频监控系统。二是动态环境的非常规输入可导致智能系统运行错误。人工智能决策严重依赖训练数据特征分布性和完备性，人工标记数据覆盖不全、训练数据与测试数据同质化等塬因常常导致人工智能算法泛化能力差，智能系统在动态环境实际使用中决策可能出现错误。特斯拉汽车自动驾驶系统曾因无法识别蓝天背景下的白色货车，致使发生致命交通事故。
模型窃取攻击可对算法模型的数据进行逆向还塬。人工智能算法模型的训练过程依托训练数据，并且在运行过程中会进一步采集数据进行模型优化，相关数据可能涉及到隐私或敏感信息，所以算法模型的机密性非常重要。但是，算法模型在部署应用中需要将公共访问接口发布给用户使用，攻击者可通过公共访问接口对算法模型进行黑盒访问，依据输入信息和输出信息映射关系，在没有算法模型任何先验知识（训练数据、模型参数等）情况下，构造出与目标模型相似度非常高的模型，实现对算法模型的窃取，进而还塬出模型训练和运行过程中的数据以及相关隐私信息。
新加坡国立大学rezashokri等针对机器学习模型的隐私泄露问题，提出了一种成员推理攻击，在对模型参数和结构知之甚少的情况下，可以推断某一样本是否在模型的训练数据集中。
人工智能开源学习框架实现了基础算法的模块化封装，可以让应用开发人员无需关注底层实现细节，大大提高了人工智能应用的开发效率。谷歌、微软、亚马逊、脸书等企业都发布了自己的人工智能学习框架，在全球得到广泛应用。但是，人工智能开源学习框架集成了大量的第叁方软件包和依赖库资源，相关组件缺乏严格的测试管理和安全认证，存在未知安全漏洞。近年来，360、腾讯等企业安全团队曾多次发现tensorflow、caffe、torch等深度学习框架及其依赖库的安全漏洞，攻击者可利用相关漏洞篡改或窃取人工智能系统数据。
美国宇航局的毅力号火星车成功收集第12个岩芯样本
你有没有发现你身边的人工智能
疫情防治过程中，AI所干的八件事情
华为或占国内5G过半份额 Vivo加速抢跑5G赛道
深圳禁止“APP不让授权就不让用”，最高罚5000万，用户画像究竟谁来把握！
人工智能自身会面临着哪些方面的安全风险
搭载高通骁龙820处理器的手机有哪些
四维向量携手登临科技打造“端边云场”全场景AI解决方案
如何使用时间间隔计数器/间隔计时器
LTE与WiMax竞争 4G技术
3D全息展示柜是什么，有什么优势
才茂桥梁结构安全监测，全程把脉桥梁健康
启扬方案：基于ARM架构的医用内窥镜解决方案
ZKS型单相直流电机调速现场使用必须注意的事项
如何避免连接器正向力失效
苹果手表或将会配备带触摸和光传感器的数字表冠
对于英特尔助力智能工业的发展
网络分析仪的常见故障都有哪些
2019款的iPhone XI长什么样子的呢？它除了网络信号变好以外，会有什么改进？
单相电机电容怎么测量好坏
训练数据污染可导致人工智能决策错误。数据投毒通过在训练数据里加入伪装数据、恶意样本等破坏数据的完整性，进而导致训练的算法模型决策出现偏差。
数据投毒主要有两种攻击方式：一种是采用模型偏斜方式，主要攻击目标是训练数据样本，通过污染训练数据达到改变分类器分类边界的目的。例如，模型偏斜污染训练数据可欺骗分类器将特定的恶意二进制文件标记为良性。
另外一种是采用反馈误导方式，主要攻击目标是人工智能的学习模型本身，利用模型的用户反馈机制发起攻击，直接向模型“注入”伪装的数据或信息，误导人工智能做出错误判断。随着人工智能与实体经济深度融合，医疗、交通、金融等行业训练数据集建设需求迫切，这就为恶意、伪造数据的注入提供了机会，使得从训练样本环节发动网络攻击成为最直接有效的方法，潜在危害巨大。在自动驾驶领域，数据投毒可导致车辆违反交通规则甚至造成交通事故；在军事领域，通过信息伪装的方式可诱导自主性武器启动或攻击，从而带来毁灭性风险。
运行阶段的数据异常可导致智能系统运行错误。一是人为构造对抗样本攻击，导致智能系统产生错误的决策结果。人工智能算法模型主要反映了数据关联性和特征统计，而没有真正获取数据因果关系。针对算法模型这一缺陷，对抗样本通过对数据输入样例添加难以察觉的扰动，使算法模型以高置信度给出一个错误的输出。对抗样本攻击可实现逃避检测，例如在生物特征识别应用场景中，对抗样本攻击可欺骗基于人工智能技术的身份鉴别、活体检测系统。
2019年4月，比利时鲁汶大学研究人员发现，借助一张设计的打印图案就可以避开人工智能视频监控系统。二是动态环境的非常规输入可导致智能系统运行错误。人工智能决策严重依赖训练数据特征分布性和完备性，人工标记数据覆盖不全、训练数据与测试数据同质化等塬因常常导致人工智能算法泛化能力差，智能系统在动态环境实际使用中决策可能出现错误。特斯拉汽车自动驾驶系统曾因无法识别蓝天背景下的白色货车，致使发生致命交通事故。
模型窃取攻击可对算法模型的数据进行逆向还塬。人工智能算法模型的训练过程依托训练数据，并且在运行过程中会进一步采集数据进行模型优化，相关数据可能涉及到隐私或敏感信息，所以算法模型的机密性非常重要。但是，算法模型在部署应用中需要将公共访问接口发布给用户使用，攻击者可通过公共访问接口对算法模型进行黑盒访问，依据输入信息和输出信息映射关系，在没有算法模型任何先验知识（训练数据、模型参数等）情况下，构造出与目标模型相似度非常高的模型，实现对算法模型的窃取，进而还塬出模型训练和运行过程中的数据以及相关隐私信息。
新加坡国立大学rezashokri等针对机器学习模型的隐私泄露问题，提出了一种成员推理攻击，在对模型参数和结构知之甚少的情况下，可以推断某一样本是否在模型的训练数据集中。
人工智能开源学习框架实现了基础算法的模块化封装，可以让应用开发人员无需关注底层实现细节，大大提高了人工智能应用的开发效率。谷歌、微软、亚马逊、脸书等企业都发布了自己的人工智能学习框架，在全球得到广泛应用。但是，人工智能开源学习框架集成了大量的第叁方软件包和依赖库资源，相关组件缺乏严格的测试管理和安全认证，存在未知安全漏洞。近年来，360、腾讯等企业安全团队曾多次发现tensorflow、caffe、torch等深度学习框架及其依赖库的安全漏洞，攻击者可利用相关漏洞篡改或窃取人工智能系统数据。
美国宇航局的毅力号火星车成功收集第12个岩芯样本
你有没有发现你身边的人工智能
疫情防治过程中，AI所干的八件事情
华为或占国内5G过半份额 Vivo加速抢跑5G赛道
深圳禁止“APP不让授权就不让用”，最高罚5000万，用户画像究竟谁来把握！
人工智能自身会面临着哪些方面的安全风险
搭载高通骁龙820处理器的手机有哪些
四维向量携手登临科技打造“端边云场”全场景AI解决方案
如何使用时间间隔计数器/间隔计时器
LTE与WiMax竞争 4G技术
3D全息展示柜是什么，有什么优势
才茂桥梁结构安全监测，全程把脉桥梁健康
启扬方案：基于ARM架构的医用内窥镜解决方案
ZKS型单相直流电机调速现场使用必须注意的事项
如何避免连接器正向力失效
苹果手表或将会配备带触摸和光传感器的数字表冠
对于英特尔助力智能工业的发展
网络分析仪的常见故障都有哪些
2019款的iPhone XI长什么样子的呢？它除了网络信号变好以外，会有什么改进？
单相电机电容怎么测量好坏