人类必须控制人工智能和机器
不可预测性、不可解释性和不可理解性
介绍
ai 研究人员开始确定工程 ai 安全的主要挑战，例如解决价值对齐问题作为过去 60 年 ai 失败的主要原因。另一个暴露的现实是：机器越智能，人类就越无法预测、解释和理解其影响。
不可预测性
人工智能的不可预测性是指我们无法准确、一致地预测系统将用于实现其目标的具体行动。如果我们想象一场智能国际象棋比赛，我们可以预测 ai 会赢——如果这是它的目标——但我们无法预测它为实现目标会采取的确切动作。这种情况下的后果并不显着，但不可预测性随着目标的智能和复杂性的增加而增加。如第 2 部分所述，假设 ai 的任务是治愈癌症；从理论上讲，它可以通过消灭人类来做到这一点。
这些临时步骤取决于几个因素，包括 ai 在整个过程中的交互。第 3 部分中介绍的 microsoft 的 tay（bot）开始根据与在线人的互动用不恰当的评论激怒他人。更重要的是，低智能系统无法学会预测高智能系统做出的决定。尽管高级人工智能可以将所有可能的选择、决策或策略理论化，但人类没有这种能力。对于在某个领域比人类具有更高智能的狭窄系统，情况可能类似，即使该系统总体上能力较差。
无法解释
无法解释指的是不可能以既可理解又准确的方式解释智能系统做出的决定。例如，用于批准或拒绝抵押贷款的人工智能可能会使用数百万甚至数十亿个加权因素来做出决定。但当申请人被拒绝时，解释会指出一两个因素，例如“信用不良”或“薪水不足”。然而，这种解释充其量只是对如何做出决定的简化。这类似于糟糕的图像压缩，其中数据在缩小过程中丢失，即使生成的图像在很大程度上代表了原始图像。以类似的方式，解释抵押贷款拒绝是基于“不良信用”而忽略了其他因素可能产生的影响。由此产生的解释是不完整的，因此不是 100% 准确。
其他因素是否一定需要解释？他们可以。例如，在美国，涉及贷款、住房、医疗保健等的决策不能基于受保护的阶层。用于批准或拒绝抵押贷款的人工智能不能在决策过程中使用年龄或性别等因素，但这些数据可以成为因素。例如，如果抵押贷款公司历来拒绝向居住在旧金山且没有大学学位的 18-25 岁拉丁裔女性提供贷款，人工智能可能会了解到符合这些标准的申请人拖欠贷款的风险更高，无论是否有其他有利条件标准。在这里，不可预测性也会出现，但这是一个很好的例子，说明为什么能够准确、完整地解释决策很重要。
不可理解
如果抵押贷款拒绝得到完整和准确的解释，解释是否可以理解？可理解性在某种程度上是相对于个人的；拥有金融学位或在抵押贷款行业拥有多年经验的人会比没有类似领域智慧的人更（或更容易）理解准确和完整的解释。也就是说，考虑到一百万个不同加权因素的系统的详细响应对于人类来说是不可理解的，因为我们没有存储容量、内存和理解那么多相互关联的变量的能力。
对安全人工智能的影响
不可预测性、不可解释性和不可理解性使得实现 100% 安全的 ai 变得不可能，因为即使是既定的标准、法律和工具也无法适当地鼓励或阻止不必要的影响。即使我们能够预测 ai 行为，我们也无法在不限制智能或系统价值的情况下有效地控制行为。当然，评估和调试 ai 故障需要易于理解的解释，随着机器智能的增加，这种解释变得越来越不可能。接下来，第 5 部分探讨了 ai 安全将如何影响工程领域。
典型零件的加工方案介绍
信息安全不容忽视 国家网络安全战略发布 明确9方面战略任务
动力电池：扩产与加班同步
凌科入选国家级专精特新“小巨人”企业
人工智能是“天方夜谭” 技术革新乘势“苏醒”
人类必须控制人工智能和机器
告诉逻辑分析仪探头的负荷模型及探头探测位置的影响
特斯拉部分快充站的停车位安装智能地锁
艾德克斯（ITECH）亮相慕尼黑上海电子展，引领测试新科技
关于iPhone 7和7 Plus黑色款出现掉漆的问题，官方这样回应
六种最常见的物联网无线技术介绍
光伏逆变电源系统的设计
实例分析，动力系统图的识读方法
rk3588参数详解 rk3588芯片参数
美国联邦航空局的工作小组建议，所有无人机250克登记了
85-015G-FC压力传感器在水力发电的应用
USB 3.0时代如何为接口提速?
GPU如何突破算力供需瓶颈
AcrelCloud-3500油烟监测系统云平台的详细说明
携手高通优化影像处理器,oppor11拍照如虎添翼
介绍
ai 研究人员开始确定工程 ai 安全的主要挑战，例如解决价值对齐问题作为过去 60 年 ai 失败的主要原因。另一个暴露的现实是：机器越智能，人类就越无法预测、解释和理解其影响。
不可预测性
人工智能的不可预测性是指我们无法准确、一致地预测系统将用于实现其目标的具体行动。如果我们想象一场智能国际象棋比赛，我们可以预测 ai 会赢——如果这是它的目标——但我们无法预测它为实现目标会采取的确切动作。这种情况下的后果并不显着，但不可预测性随着目标的智能和复杂性的增加而增加。如第 2 部分所述，假设 ai 的任务是治愈癌症；从理论上讲，它可以通过消灭人类来做到这一点。
这些临时步骤取决于几个因素，包括 ai 在整个过程中的交互。第 3 部分中介绍的 microsoft 的 tay（bot）开始根据与在线人的互动用不恰当的评论激怒他人。更重要的是，低智能系统无法学会预测高智能系统做出的决定。尽管高级人工智能可以将所有可能的选择、决策或策略理论化，但人类没有这种能力。对于在某个领域比人类具有更高智能的狭窄系统，情况可能类似，即使该系统总体上能力较差。
无法解释
无法解释指的是不可能以既可理解又准确的方式解释智能系统做出的决定。例如，用于批准或拒绝抵押贷款的人工智能可能会使用数百万甚至数十亿个加权因素来做出决定。但当申请人被拒绝时，解释会指出一两个因素，例如“信用不良”或“薪水不足”。然而，这种解释充其量只是对如何做出决定的简化。这类似于糟糕的图像压缩，其中数据在缩小过程中丢失，即使生成的图像在很大程度上代表了原始图像。以类似的方式，解释抵押贷款拒绝是基于“不良信用”而忽略了其他因素可能产生的影响。由此产生的解释是不完整的，因此不是 100% 准确。
其他因素是否一定需要解释？他们可以。例如，在美国，涉及贷款、住房、医疗保健等的决策不能基于受保护的阶层。用于批准或拒绝抵押贷款的人工智能不能在决策过程中使用年龄或性别等因素，但这些数据可以成为因素。例如，如果抵押贷款公司历来拒绝向居住在旧金山且没有大学学位的 18-25 岁拉丁裔女性提供贷款，人工智能可能会了解到符合这些标准的申请人拖欠贷款的风险更高，无论是否有其他有利条件标准。在这里，不可预测性也会出现，但这是一个很好的例子，说明为什么能够准确、完整地解释决策很重要。
不可理解
如果抵押贷款拒绝得到完整和准确的解释，解释是否可以理解？可理解性在某种程度上是相对于个人的；拥有金融学位或在抵押贷款行业拥有多年经验的人会比没有类似领域智慧的人更（或更容易）理解准确和完整的解释。也就是说，考虑到一百万个不同加权因素的系统的详细响应对于人类来说是不可理解的，因为我们没有存储容量、内存和理解那么多相互关联的变量的能力。
对安全人工智能的影响
不可预测性、不可解释性和不可理解性使得实现 100% 安全的 ai 变得不可能，因为即使是既定的标准、法律和工具也无法适当地鼓励或阻止不必要的影响。即使我们能够预测 ai 行为，我们也无法在不限制智能或系统价值的情况下有效地控制行为。当然，评估和调试 ai 故障需要易于理解的解释，随着机器智能的增加，这种解释变得越来越不可能。接下来，第 5 部分探讨了 ai 安全将如何影响工程领域。
典型零件的加工方案介绍
信息安全不容忽视 国家网络安全战略发布 明确9方面战略任务
动力电池：扩产与加班同步
凌科入选国家级专精特新“小巨人”企业
人工智能是“天方夜谭” 技术革新乘势“苏醒”
人类必须控制人工智能和机器
告诉逻辑分析仪探头的负荷模型及探头探测位置的影响
特斯拉部分快充站的停车位安装智能地锁
艾德克斯（ITECH）亮相慕尼黑上海电子展，引领测试新科技
关于iPhone 7和7 Plus黑色款出现掉漆的问题，官方这样回应
六种最常见的物联网无线技术介绍
光伏逆变电源系统的设计
实例分析，动力系统图的识读方法
rk3588参数详解 rk3588芯片参数
美国联邦航空局的工作小组建议，所有无人机250克登记了
85-015G-FC压力传感器在水力发电的应用
USB 3.0时代如何为接口提速?
GPU如何突破算力供需瓶颈
AcrelCloud-3500油烟监测系统云平台的详细说明
携手高通优化影像处理器,oppor11拍照如虎添翼