下一代AI将是什么样子?
人工智能领域发展迅速。距离2012年imagenet竞赛的深度学习的现代时代仅仅8年了。自那时以来，该领域的进步令人震惊。不仅如此，今后五年内，人工智能领域将与今天大不相同。当前被认为是最先进的方法将已经过时；刚刚出现或处于边缘的方法或将成为主流。
下一代人工智能将是什么样子？哪种新颖的ai方法将释放当前在技术和业务方面难以想象的可能性？ai中的三个新兴领域，将在未来的几年中重新定义社会。
1.无监督学习
当今ai世界中最主要的范例是有监督的学习。在监督学习中，ai模型从数据集中学习人类根据预定义类别进行策划和标记的过程。（术语“监督学习”源于人类“监督者”预先准备数据的事实。）
在过去的十年中，尽管从无人驾驶汽车到语音助手，有监督的学习已经推动了ai的显着进步，但它仍然存在着严重的局限性。
手动标记成千上万个数据点的过程可能非常昂贵且繁琐。在机器学习模型提取数据之前，人们必须手动标记数据这一事实已成为ai的主要瓶颈。
在更深层次上，有监督的学习代表了一种狭窄的，受限制的学习形式。受监督的算法不仅无法探索和吸收给定数据集中的所有潜在信息，关系和含义，而且仅针对研究人员提前确定的概念和类别。相反，无监督学习是一种ai方法，其中算法无需人工提供标签或指导即可从数据中学习。
许多ai领导者将无监督学习视为人工智能的下一个前沿领域。用ai传奇人物yann lecun的话说：“下一场ai革命将不会受到监督。” 加州大学伯克利分校的教授吉滕达·马利克（jitenda malik）更加生动地说：“标签是机器学习研究人员的鸦片。”
无监督学习如何工作？
简而言之，系统会根据世界的其他部分来了解世界的某些部分。通过观察实体的行为，实体之间的模式以及实体之间的关系（例如，文本中的单词或视频中的人物），系统引导了对其环境的整体理解。一些研究人员用“从其他事物中预测所有事物”来概括这一点。
无监督学习更紧密地反映了人类学习世界的方式：通过开放式探索和推理，不需要监督学习的“训练轮”。它的基本优点之一是，世界上总是会比未标记的数据多得多（并且前者更容易获得）。
用lecun的话来说，他喜欢密切相关的术语“自我监督学习”：“在自我监督学习中，一部分输入被用作监视信号，以预测输入的其余部分。可以通过自我监督学习而不是［其他ai范式］来学习有关世界结构的知识，因为数据是无限的，每个示例提供的反馈量很大。”
无监督学习已经在自然语言处理中产生了变革性的影响。nlp得益于一种新的无监督的学习架构，即transformer，最近取得了令人难以置信的进步，该架构始于google大约三年前。
将无监督学习应用于ai的其他领域的努力仍处于早期阶段，但是正在取得快速进展。举个例子，一家名为helm.ai的初创公司正在寻求利用无监督学习来超越自动驾驶汽车行业的领导者。
许多研究人员将无监督学习视为开发人类级ai的关键。lecun认为，掌握无监督学习是“未来几年ml和ai面临的最大挑战。”
2.联合学习
数字时代的主要挑战之一是数据隐私。由于数据是现代人工智能的命脉，因此数据隐私问题在ai的发展轨迹中扮演着重要的角色（并且通常是限制性的）。
保持隐私的人工智能（使ai模型能够从数据集中学习而不损害其隐私的方法）正变得日益重要。保持隐私的ai的最有前途的方法也许是联合学习。
联邦学习的概念最早由google的研究人员于2017年初提出。在过去的一年中，对联邦学习的兴趣激增：到2020年的前六个月，发表了1，000多篇关于联邦学习的研究论文，而只有180篇在所有2018年。
如今，构建机器学习模型的标准方法是将所有训练数据收集到一个地方（通常在云中），然后在数据上训练模型。但是，这种方法对于世界上的许多数据都不可行，由于隐私和安全原因，这些数据无法移至中央数据存储库。这使其成为传统ai技术的禁区。
联合学习通过颠覆传统的ai方法解决了这个问题。
联合学习并不需要一个统一的数据集来训练模型，而是将数据保留在原处，并分布在边缘的众多设备和服务器上。取而代之的是，将模型的许多版本发送到一个带有训练数据的设备，每个模型都在每个数据子集上进行本地训练。然后将生成的模型参数（而不是训练数据本身）发送回云。当所有这些“微型模型”汇总在一起时，结果便是一个整体模型，其功能就像是一次在整个数据集上进行训练一样。
最初的联合学习用例是针对分布在数十亿移动设备上的个人数据训练ai模型。正如这些研究人员总结的那样：“现代移动设备可以访问大量适用于机器学习模型的数据。。.。但是，这些丰富的数据通常对隐私敏感，数量庞大或两者兼而有之，因此可能无法登录到数据中心……我们提倡一种替代方案，将培训数据保留在移动设备上，并通过汇总本地计算的更新来学习共享模型。”
最近，医疗保健已成为联邦学习应用中特别有前途的领域。
不难理解原因。一方面，医疗保健中有大量有价值的ai用例。另一方面，医疗保健数据，尤其是患者的个人可识别信息，非常敏感。像hipaa这样的法规丛书限制了它的使用和移动。联合学习可以使研究人员能够开发挽救生命的医疗保健ai工具，而无需从源头转移敏感的健康记录或使它们暴露于隐私泄露中。
涌现出许多初创公司，致力于医疗保健中的联合学习。最有名的是总部位于巴黎的owkin；早期阶段的参与者包括lynx.md，ferrum health和secure ai labs。
除了医疗保健，联邦学习有一天可能会在任何涉及敏感数据的ai应用程序的开发中发挥中心作用：从金融服务到自动驾驶汽车，从政府用例到各种消费产品。与差分隐私和同态加密之类的其他隐私保护技术搭配使用，联合学习可以提供释放ai巨大潜力的关键，同时减轻数据隐私这一棘手的挑战。
今天全球范围内颁布的数据隐私立法浪潮（从gdpr和ccpa开始，许多类似的法律即将出台）只会加速对这些隐私保护技术的需求。期望联邦学习在未来几年中将成为ai技术堆栈的重要组成部分。
3.变形金刚
我们已经进入了自然语言处理的黄金时代。
openai发行的gpt-3是有史以来功能最强大的语言模型，今年夏天吸引了技术界。它为nlp设定了新的标准：它可以编写令人印象深刻的诗歌，生成有效的代码，撰写周到的业务备忘录，撰写有关自身的文章等等。
gpt-3只是一系列类似架构的nlp模型（google的bert，openai的gpt-2，facebook的roberta等）中最新的（也是最大的），它们正在重新定义nlp的功能。
推动语言ai革命的关键技术突破是transformer。
在2017年具有里程碑意义的研究论文中介绍了变压器。以前，最新的nlp方法都基于递归神经网络（例如lstm）。根据定义，递归神经网络按顺序显示数据-即一次显示一个单词。
变形金刚的一项伟大创新是使语言处理并行化：在给定文本主体中的所有标记都是同时而不是按顺序分析的。为了支持这种并行化，变形金刚严重依赖于称为注意力的ai机制。注意使模型能够考虑单词之间的关系，而不论它们之间有多远，并确定段落中的哪些单词和短语对于“注意”最为重要。
为什么并行化如此有价值？因为它使transformers的计算效率大大高于rnn，这意味着可以在更大的数据集上对它们进行训练。gpt-3训练了大约5，000亿个单词，由1，750亿个参数组成，这使现有的rnn显得微不足道。
迄今为止，由于gpt-3等型号的成功应用，变压器几乎只与nlp相关联。但是就在本月，发布了一篇突破性的新论文，该论文成功地将transformers应用于计算机视觉。许多ai研究人员认为，这项工作可以预示计算机视觉的新时代。
尽管像google和facebook这样的领先ai公司已经开始将基于transformer的模型投入生产，但大多数组织仍处于将该技术产品化和商业化的初期阶段。openai已宣布计划通过api将gpt-3进行商业访问，这可能会为在其上构建应用程序的整个初创企业生态系统注入种子。
从自然语言开始，期望transformers在未来的几年中将成为整个新一代ai功能的基础。过去十年来人工智能领域令人兴奋，但事实证明，这仅仅是未来十年的前奏。
Arduino锁的制作教程
200MHz主频的C28x 核以及 CLA 的协处理器
CKS32F4xx系列产品Timer的基本使用方法-比较输出
节卡机器人亮相车展,摇身变成顶级咖啡师,助力某知名车企服务升级
LG 正式推出HU810P 4K 激光投影仪：支持苹果的 AirPlay 2和 WebOS 5.0 系统
下一代AI将是什么样子?
python常用的内置函数和模块
变压器220v转12v怎么接线
DPDHL集团和顺丰控股股份圆满完成具有标杆性意义的交易
Facebook高管称：从其平台上撤下澳所有新闻与默多克有直接关系
简单的分立元件振荡器设计中蕴含的巧妙思想
采用锂离子电容器替代双电层电容器进行应用
MCU的调试接口——怎么堵住这个后门？
【kicad大会】把您的 PCB 艺术品带来 KiCon 吧：SAO Hat 作品招募中
澳洲证交所ASX宣布将使用区块链技术来处理股票交易
电子皮肤像人类一样可对疼痛做出反应
中国中车与山东能源集团签订战略合作框架协议
两会热点:机器人“上岗”,“钢铁侠”成报道神器
基于西门子S7-300系列PLC实现焦炉除尘控制系统的设计
IGBT弧焊逆变电源的数字化控制技术
下一代人工智能将是什么样子？哪种新颖的ai方法将释放当前在技术和业务方面难以想象的可能性？ai中的三个新兴领域，将在未来的几年中重新定义社会。
1.无监督学习
当今ai世界中最主要的范例是有监督的学习。在监督学习中，ai模型从数据集中学习人类根据预定义类别进行策划和标记的过程。（术语“监督学习”源于人类“监督者”预先准备数据的事实。）
在过去的十年中，尽管从无人驾驶汽车到语音助手，有监督的学习已经推动了ai的显着进步，但它仍然存在着严重的局限性。
手动标记成千上万个数据点的过程可能非常昂贵且繁琐。在机器学习模型提取数据之前，人们必须手动标记数据这一事实已成为ai的主要瓶颈。
在更深层次上，有监督的学习代表了一种狭窄的，受限制的学习形式。受监督的算法不仅无法探索和吸收给定数据集中的所有潜在信息，关系和含义，而且仅针对研究人员提前确定的概念和类别。相反，无监督学习是一种ai方法，其中算法无需人工提供标签或指导即可从数据中学习。
许多ai领导者将无监督学习视为人工智能的下一个前沿领域。用ai传奇人物yann lecun的话说：“下一场ai革命将不会受到监督。” 加州大学伯克利分校的教授吉滕达·马利克（jitenda malik）更加生动地说：“标签是机器学习研究人员的鸦片。”
无监督学习如何工作？
简而言之，系统会根据世界的其他部分来了解世界的某些部分。通过观察实体的行为，实体之间的模式以及实体之间的关系（例如，文本中的单词或视频中的人物），系统引导了对其环境的整体理解。一些研究人员用“从其他事物中预测所有事物”来概括这一点。
无监督学习更紧密地反映了人类学习世界的方式：通过开放式探索和推理，不需要监督学习的“训练轮”。它的基本优点之一是，世界上总是会比未标记的数据多得多（并且前者更容易获得）。
用lecun的话来说，他喜欢密切相关的术语“自我监督学习”：“在自我监督学习中，一部分输入被用作监视信号，以预测输入的其余部分。可以通过自我监督学习而不是［其他ai范式］来学习有关世界结构的知识，因为数据是无限的，每个示例提供的反馈量很大。”
无监督学习已经在自然语言处理中产生了变革性的影响。nlp得益于一种新的无监督的学习架构，即transformer，最近取得了令人难以置信的进步，该架构始于google大约三年前。
将无监督学习应用于ai的其他领域的努力仍处于早期阶段，但是正在取得快速进展。举个例子，一家名为helm.ai的初创公司正在寻求利用无监督学习来超越自动驾驶汽车行业的领导者。
许多研究人员将无监督学习视为开发人类级ai的关键。lecun认为，掌握无监督学习是“未来几年ml和ai面临的最大挑战。”
2.联合学习
数字时代的主要挑战之一是数据隐私。由于数据是现代人工智能的命脉，因此数据隐私问题在ai的发展轨迹中扮演着重要的角色（并且通常是限制性的）。
保持隐私的人工智能（使ai模型能够从数据集中学习而不损害其隐私的方法）正变得日益重要。保持隐私的ai的最有前途的方法也许是联合学习。
联邦学习的概念最早由google的研究人员于2017年初提出。在过去的一年中，对联邦学习的兴趣激增：到2020年的前六个月，发表了1，000多篇关于联邦学习的研究论文，而只有180篇在所有2018年。
如今，构建机器学习模型的标准方法是将所有训练数据收集到一个地方（通常在云中），然后在数据上训练模型。但是，这种方法对于世界上的许多数据都不可行，由于隐私和安全原因，这些数据无法移至中央数据存储库。这使其成为传统ai技术的禁区。
联合学习通过颠覆传统的ai方法解决了这个问题。
联合学习并不需要一个统一的数据集来训练模型，而是将数据保留在原处，并分布在边缘的众多设备和服务器上。取而代之的是，将模型的许多版本发送到一个带有训练数据的设备，每个模型都在每个数据子集上进行本地训练。然后将生成的模型参数（而不是训练数据本身）发送回云。当所有这些“微型模型”汇总在一起时，结果便是一个整体模型，其功能就像是一次在整个数据集上进行训练一样。
最初的联合学习用例是针对分布在数十亿移动设备上的个人数据训练ai模型。正如这些研究人员总结的那样：“现代移动设备可以访问大量适用于机器学习模型的数据。。.。但是，这些丰富的数据通常对隐私敏感，数量庞大或两者兼而有之，因此可能无法登录到数据中心……我们提倡一种替代方案，将培训数据保留在移动设备上，并通过汇总本地计算的更新来学习共享模型。”
最近，医疗保健已成为联邦学习应用中特别有前途的领域。
不难理解原因。一方面，医疗保健中有大量有价值的ai用例。另一方面，医疗保健数据，尤其是患者的个人可识别信息，非常敏感。像hipaa这样的法规丛书限制了它的使用和移动。联合学习可以使研究人员能够开发挽救生命的医疗保健ai工具，而无需从源头转移敏感的健康记录或使它们暴露于隐私泄露中。
涌现出许多初创公司，致力于医疗保健中的联合学习。最有名的是总部位于巴黎的owkin；早期阶段的参与者包括lynx.md，ferrum health和secure ai labs。
除了医疗保健，联邦学习有一天可能会在任何涉及敏感数据的ai应用程序的开发中发挥中心作用：从金融服务到自动驾驶汽车，从政府用例到各种消费产品。与差分隐私和同态加密之类的其他隐私保护技术搭配使用，联合学习可以提供释放ai巨大潜力的关键，同时减轻数据隐私这一棘手的挑战。
今天全球范围内颁布的数据隐私立法浪潮（从gdpr和ccpa开始，许多类似的法律即将出台）只会加速对这些隐私保护技术的需求。期望联邦学习在未来几年中将成为ai技术堆栈的重要组成部分。
3.变形金刚
我们已经进入了自然语言处理的黄金时代。
openai发行的gpt-3是有史以来功能最强大的语言模型，今年夏天吸引了技术界。它为nlp设定了新的标准：它可以编写令人印象深刻的诗歌，生成有效的代码，撰写周到的业务备忘录，撰写有关自身的文章等等。
gpt-3只是一系列类似架构的nlp模型（google的bert，openai的gpt-2，facebook的roberta等）中最新的（也是最大的），它们正在重新定义nlp的功能。
推动语言ai革命的关键技术突破是transformer。
在2017年具有里程碑意义的研究论文中介绍了变压器。以前，最新的nlp方法都基于递归神经网络（例如lstm）。根据定义，递归神经网络按顺序显示数据-即一次显示一个单词。
变形金刚的一项伟大创新是使语言处理并行化：在给定文本主体中的所有标记都是同时而不是按顺序分析的。为了支持这种并行化，变形金刚严重依赖于称为注意力的ai机制。注意使模型能够考虑单词之间的关系，而不论它们之间有多远，并确定段落中的哪些单词和短语对于“注意”最为重要。
为什么并行化如此有价值？因为它使transformers的计算效率大大高于rnn，这意味着可以在更大的数据集上对它们进行训练。gpt-3训练了大约5，000亿个单词，由1，750亿个参数组成，这使现有的rnn显得微不足道。
迄今为止，由于gpt-3等型号的成功应用，变压器几乎只与nlp相关联。但是就在本月，发布了一篇突破性的新论文，该论文成功地将transformers应用于计算机视觉。许多ai研究人员认为，这项工作可以预示计算机视觉的新时代。
尽管像google和facebook这样的领先ai公司已经开始将基于transformer的模型投入生产，但大多数组织仍处于将该技术产品化和商业化的初期阶段。openai已宣布计划通过api将gpt-3进行商业访问，这可能会为在其上构建应用程序的整个初创企业生态系统注入种子。
从自然语言开始，期望transformers在未来的几年中将成为整个新一代ai功能的基础。过去十年来人工智能领域令人兴奋，但事实证明，这仅仅是未来十年的前奏。
Arduino锁的制作教程
200MHz主频的C28x 核以及 CLA 的协处理器
CKS32F4xx系列产品Timer的基本使用方法-比较输出
节卡机器人亮相车展,摇身变成顶级咖啡师,助力某知名车企服务升级
LG 正式推出HU810P 4K 激光投影仪：支持苹果的 AirPlay 2和 WebOS 5.0 系统
下一代AI将是什么样子?
python常用的内置函数和模块
变压器220v转12v怎么接线
DPDHL集团和顺丰控股股份圆满完成具有标杆性意义的交易
Facebook高管称：从其平台上撤下澳所有新闻与默多克有直接关系
简单的分立元件振荡器设计中蕴含的巧妙思想
采用锂离子电容器替代双电层电容器进行应用
MCU的调试接口——怎么堵住这个后门？
【kicad大会】把您的 PCB 艺术品带来 KiCon 吧：SAO Hat 作品招募中
澳洲证交所ASX宣布将使用区块链技术来处理股票交易
电子皮肤像人类一样可对疼痛做出反应
中国中车与山东能源集团签订战略合作框架协议
两会热点:机器人“上岗”,“钢铁侠”成报道神器
基于西门子S7-300系列PLC实现焦炉除尘控制系统的设计
IGBT弧焊逆变电源的数字化控制技术