如何使用Dioptra工具进行AI模型的加固
人工智能和机器学习在安全中的应用是一个屡见不鲜的话题，同样在rsac2022大会中出现了围绕ai/ml为重点的焦点议题。此次会议中重点探讨了ai对抗和隐私合规问题，还有时下热门的零信任、api安全和威胁狩猎等。
rsac2022人工智能安全议题
以智能对抗智能
是数字化时代下的安全趋势
在数字化转型时代，对抗愈发严峻，攻击工具更加智能化。相信有过安全分析工作经验的人都对att&ck矩阵并不陌生，而对抗性机器学习威胁矩阵atlas（adversarial threat landscape for artificial-intelligence systems）参照了att&ck矩阵技术的框架设计，在机器学习攻防技术博弈的发展上，框架植入了一系列精心策划的漏洞和攻击行为，使安全分析师能够定位对机器学习系统的攻击。
对抗性机器学习威胁矩阵atlas
在rsa大会的实际攻击案例中，来自sap公司的漏洞管理人员分享了利用收集的图像、语音样本，构建深度虚假社会形象进行网络攻击，使得网络攻击更加智能化。为了防范此类攻击，建议大家不要在社交媒体上留存过多的视频和图片，避免被攻击者收集滥用。
nist的安全人员在《measuringthe difference： metric development at nccoe‘s securing ai testbed》话题中分享了如何利用nccoe的安全ai测试平台dioptra评估人工智能防御模型脆弱性，演讲者首先介绍了ai模型的三种常见攻击手段：（1）样本投毒：在训练样本中进行投毒；（2）模型逃逸：改变模型预测值；（3）反向工程：进行反向工程窃取模型或数据集。
ai图像预测中的逃逸案例
最后，分享者介绍了如何使用dioptra工具进行ai模型的加固，包括使用数据增强、进行模型推理前的预处理等。
除了dioptra工具外，此次大会上还有另外一款工具值得注意——art（adversarial robustness toolbox），art是ibm 研究团队开源的、用于检测模型及对抗攻击的工具箱，为开发人员加强ai模型的防御性，让ai系统变得更加安全，目前支持tensor flow和keras深度学习，同时也支持传统机器学习。
“以智能对抗智能”，用于红队和蓝队的art工具
该工具支持的ai模型对抗攻击类型：
deep fool
fastgradient method
jacobiansaliency map
universalperturbation
virtualadversarial method
c&wattack
newtonfool
对应的防御类型有：
featuresqueezing
spatialsmoothing
labelsmoothing
adversarialtraining
virtualadversarial training
由于安全的本质是攻防技术的不断对抗。对应防御方，以智能对抗智能是“正着”，art工具可以说是以智能对抗智能的一个典型案例。微软、谷歌和mitre在《red teaming ai systems： the path， the prospect and the perils》话题中共同表明了红队ai是未来，但随着ai对抗，需要更多的工具和框架来保护组织中的ai系统。微软提出的ai风险管理评估框架建议机器学习工程师从多个维度来评估ai模型的影响和风险。
微软的ai风险管理评估框架
以智能对抗智能是当前对抗ai类攻击的主要手段，包括智能威胁分析、狩猎和自动化的响应处置，大会上来自onee security 和acronis的研究人员分别分享了如何通过ds4n6ai工具集（集成了大量的异常检测算法）增强威胁狩猎，基于机器学习和堆栈分析应对无文件勒索高级威胁，在云安全环境下如何使能安全团队进行自动化调查和响应违规行为。
ai的双刃剑：
ai隐私合规问题亟需解决
当然，伴随着人工智能技术的应用，它在为人们带来便利的同时，也暴露出一些问题，例如算法歧视、不公平、缺乏隐私和安全性等。因此，如何以负责的、符合伦理要求的方式使用ai，成为业界关注的焦点之一。
可信ai 8原则：可复现、健壮、公平、隐私、可解释、可问责、透明、安全
解决ai隐私合规问题的“四方法”，首先最重要的是强化规则制定与立法，让组织机构必须清楚了解目前适用于ai领域的隐私要求，才能为ai和机器学习应用建立一个合规的数据保护计划。在本次rsa大会上，重点探讨了欧盟和美国的法律和政策应对人工智能合规问题。
其次，一些安全联盟的参与也至关重要，例如联合国教科文组织（unesco）发布的《ai伦理问题建议书》，欧洲理事会的报告《ai系统的监管》，经济合作与发展组织（oecd）的《ai原则》，以及欧盟委员会ai高级别专家组制定的《可信ai伦理指南》。在此次rsa大会上，由算法正义联盟（algorithmic justice league，简称ajl）分享了他们的最新研究结果。ajl是一家位于马萨诸塞州剑桥市的数字倡导性非营利组织，由计算机科学家joy buolamwini于2016年创立，通过研究、政策宣传来提高社会对人工智能在社会中的使用以及人工智能对社会造成的危害和偏见的认识。
解决ai隐私合规问题的“四方法”
最后是ai风险管理框架和工具支撑，nist研究人员在大会上介绍通过airmf框架解决ai系统可信和风险问题，必须处理好ai治理原则与隐私保护之间的关系。在可执行层面，ibm的ai隐私工具集（ai-privacy-toolkit）通过数据匿名化和最小化帮助开发者解决低维表格类数据的隐私问题，当然模型精度会有所下降，大约2%左右。
ibm的ai-privacy-toolkit实现数据匿名化效果
针对ai模型是否存在偏见，大会上来自sailpoint的在《it’s not fair！ detecting algorithmic bias with open source tools》话题中提到的aequitas工具能够帮助你评估ai模型的偏见问题，感兴趣的读者可以亲自尝试一下。
aequitas工具评估ai模型偏见问题
更多的优秀工具，笔者都一一汇总在下表中。优秀的开源ai隐私合规类工具
rsa大会上的其他ai议题，还包括了ai在零信任的应用。由于受到新冠疫情影响，远程办公对传统安全体系结构带来的挑战。大会上分享了pki、加密、机器身份在iam中的快速增长，以及如何通过workload segmentation降低攻击风险等。
从本次会议看，人工智能安全可谓在对抗中前进：人工智能除了要解决用户关注的隐私合规问题外，还需要解决ai对抗类攻击。以智能对抗智能是当前对抗ai类攻击的主要手段，而如何在对抗中“获得先手”，获取防御主动地位，是ai安全要解决的核心问题，也是安全攻防的痛点。
原文标题：rsac2022解读丨人工智能安全洞察—在对抗中前进
文章出处：【微信公众号：华为数据通信】欢迎添加关注！文章转载请注明出处。
超声波液位传感器在农业灌溉中的应用
大数据分析是如何进行数据采集？
物联网：让各种技术不再单一！
如何在养殖中应用物联网技术？
荣耀9、荣耀V9对比评测：华为荣耀9、华为荣耀V9哪个更好？有什么区别？配置、价格、外观大对决！
如何使用Dioptra工具进行AI模型的加固
首次火星探测任务“天问一号”
医学创新和定制光学传感器
因和硕联合违反苹果政策，暂时终止与和硕联合的新业务合作
关于蓄电池组充电的认识
争夺优秀人才教育你会支持孩子上人工智能(AI)嘛？
单片机按键去抖动的方法
最新iPad 3谍照曝光：外形不变Home键保留（图文）
关于OLED拼接屏，有哪些知名厂商？
2021年的智能手机市场会怎么样?
足坛也即将“高考”了！选购华为P20就有机会去俄罗斯见梅西
特斯拉计划凭借FSD方案实现完全自动驾驶
中国量子计算原型机九章问世
硅基外延量子点激光器及其掺杂调控方面获得重要进展
新基建的浪潮之下，工业物联网将赋能各行各业
rsac2022人工智能安全议题
以智能对抗智能
是数字化时代下的安全趋势
在数字化转型时代，对抗愈发严峻，攻击工具更加智能化。相信有过安全分析工作经验的人都对att&ck矩阵并不陌生，而对抗性机器学习威胁矩阵atlas（adversarial threat landscape for artificial-intelligence systems）参照了att&ck矩阵技术的框架设计，在机器学习攻防技术博弈的发展上，框架植入了一系列精心策划的漏洞和攻击行为，使安全分析师能够定位对机器学习系统的攻击。
对抗性机器学习威胁矩阵atlas
在rsa大会的实际攻击案例中，来自sap公司的漏洞管理人员分享了利用收集的图像、语音样本，构建深度虚假社会形象进行网络攻击，使得网络攻击更加智能化。为了防范此类攻击，建议大家不要在社交媒体上留存过多的视频和图片，避免被攻击者收集滥用。
nist的安全人员在《measuringthe difference： metric development at nccoe‘s securing ai testbed》话题中分享了如何利用nccoe的安全ai测试平台dioptra评估人工智能防御模型脆弱性，演讲者首先介绍了ai模型的三种常见攻击手段：（1）样本投毒：在训练样本中进行投毒；（2）模型逃逸：改变模型预测值；（3）反向工程：进行反向工程窃取模型或数据集。
ai图像预测中的逃逸案例
最后，分享者介绍了如何使用dioptra工具进行ai模型的加固，包括使用数据增强、进行模型推理前的预处理等。
除了dioptra工具外，此次大会上还有另外一款工具值得注意——art（adversarial robustness toolbox），art是ibm 研究团队开源的、用于检测模型及对抗攻击的工具箱，为开发人员加强ai模型的防御性，让ai系统变得更加安全，目前支持tensor flow和keras深度学习，同时也支持传统机器学习。
“以智能对抗智能”，用于红队和蓝队的art工具
该工具支持的ai模型对抗攻击类型：
deep fool
fastgradient method
jacobiansaliency map
universalperturbation
virtualadversarial method
c&wattack
newtonfool
对应的防御类型有：
featuresqueezing
spatialsmoothing
labelsmoothing
adversarialtraining
virtualadversarial training
由于安全的本质是攻防技术的不断对抗。对应防御方，以智能对抗智能是“正着”，art工具可以说是以智能对抗智能的一个典型案例。微软、谷歌和mitre在《red teaming ai systems： the path， the prospect and the perils》话题中共同表明了红队ai是未来，但随着ai对抗，需要更多的工具和框架来保护组织中的ai系统。微软提出的ai风险管理评估框架建议机器学习工程师从多个维度来评估ai模型的影响和风险。
微软的ai风险管理评估框架
以智能对抗智能是当前对抗ai类攻击的主要手段，包括智能威胁分析、狩猎和自动化的响应处置，大会上来自onee security 和acronis的研究人员分别分享了如何通过ds4n6ai工具集（集成了大量的异常检测算法）增强威胁狩猎，基于机器学习和堆栈分析应对无文件勒索高级威胁，在云安全环境下如何使能安全团队进行自动化调查和响应违规行为。
ai的双刃剑：
ai隐私合规问题亟需解决
当然，伴随着人工智能技术的应用，它在为人们带来便利的同时，也暴露出一些问题，例如算法歧视、不公平、缺乏隐私和安全性等。因此，如何以负责的、符合伦理要求的方式使用ai，成为业界关注的焦点之一。
可信ai 8原则：可复现、健壮、公平、隐私、可解释、可问责、透明、安全
解决ai隐私合规问题的“四方法”，首先最重要的是强化规则制定与立法，让组织机构必须清楚了解目前适用于ai领域的隐私要求，才能为ai和机器学习应用建立一个合规的数据保护计划。在本次rsa大会上，重点探讨了欧盟和美国的法律和政策应对人工智能合规问题。
其次，一些安全联盟的参与也至关重要，例如联合国教科文组织（unesco）发布的《ai伦理问题建议书》，欧洲理事会的报告《ai系统的监管》，经济合作与发展组织（oecd）的《ai原则》，以及欧盟委员会ai高级别专家组制定的《可信ai伦理指南》。在此次rsa大会上，由算法正义联盟（algorithmic justice league，简称ajl）分享了他们的最新研究结果。ajl是一家位于马萨诸塞州剑桥市的数字倡导性非营利组织，由计算机科学家joy buolamwini于2016年创立，通过研究、政策宣传来提高社会对人工智能在社会中的使用以及人工智能对社会造成的危害和偏见的认识。
解决ai隐私合规问题的“四方法”
最后是ai风险管理框架和工具支撑，nist研究人员在大会上介绍通过airmf框架解决ai系统可信和风险问题，必须处理好ai治理原则与隐私保护之间的关系。在可执行层面，ibm的ai隐私工具集（ai-privacy-toolkit）通过数据匿名化和最小化帮助开发者解决低维表格类数据的隐私问题，当然模型精度会有所下降，大约2%左右。
ibm的ai-privacy-toolkit实现数据匿名化效果
针对ai模型是否存在偏见，大会上来自sailpoint的在《it’s not fair！ detecting algorithmic bias with open source tools》话题中提到的aequitas工具能够帮助你评估ai模型的偏见问题，感兴趣的读者可以亲自尝试一下。
aequitas工具评估ai模型偏见问题
更多的优秀工具，笔者都一一汇总在下表中。优秀的开源ai隐私合规类工具
rsa大会上的其他ai议题，还包括了ai在零信任的应用。由于受到新冠疫情影响，远程办公对传统安全体系结构带来的挑战。大会上分享了pki、加密、机器身份在iam中的快速增长，以及如何通过workload segmentation降低攻击风险等。
从本次会议看，人工智能安全可谓在对抗中前进：人工智能除了要解决用户关注的隐私合规问题外，还需要解决ai对抗类攻击。以智能对抗智能是当前对抗ai类攻击的主要手段，而如何在对抗中“获得先手”，获取防御主动地位，是ai安全要解决的核心问题，也是安全攻防的痛点。
原文标题：rsac2022解读丨人工智能安全洞察—在对抗中前进
文章出处：【微信公众号：华为数据通信】欢迎添加关注！文章转载请注明出处。
超声波液位传感器在农业灌溉中的应用
大数据分析是如何进行数据采集？
物联网：让各种技术不再单一！
如何在养殖中应用物联网技术？
荣耀9、荣耀V9对比评测：华为荣耀9、华为荣耀V9哪个更好？有什么区别？配置、价格、外观大对决！
如何使用Dioptra工具进行AI模型的加固
首次火星探测任务“天问一号”
医学创新和定制光学传感器
因和硕联合违反苹果政策，暂时终止与和硕联合的新业务合作
关于蓄电池组充电的认识
争夺优秀人才教育你会支持孩子上人工智能(AI)嘛？
单片机按键去抖动的方法
最新iPad 3谍照曝光：外形不变Home键保留（图文）
关于OLED拼接屏，有哪些知名厂商？
2021年的智能手机市场会怎么样?
足坛也即将“高考”了！选购华为P20就有机会去俄罗斯见梅西
特斯拉计划凭借FSD方案实现完全自动驾驶
中国量子计算原型机九章问世
硅基外延量子点激光器及其掺杂调控方面获得重要进展
新基建的浪潮之下，工业物联网将赋能各行各业