开辟新篇章!谷歌机器学习又有新进展!
在谷歌最新的论文中，研究人员提出了“非政策强化学习”算法opc，它是强化学习的一种变体，它能够评估哪种机器学习模型将产生最好的结果。数据显示，opc比基线机器学习算法有着显著的提高，更加稳健可靠。
在谷歌ai研究团队一篇新发表的论文《通过非政策分类进行非政策评估》（off-policyevaluation via off-policy classification）和博客文章中，他们提出了所称的“非政策分类”，即opc（off-policy classification）。它能够评估ai的表现，通过将评估视为一个分类问题来驱动代理性能。
研究人员认为他们的方法是强化学习的一种变体，它利用奖励来推动软件政策实现与图像输入协同工作这个目标，并扩展到包括基于视觉的机器人抓取在内的任务。
“完全脱离政策强化学习是一种变体。代理完全从旧数据中学习，对于工程师来说这是很有吸引力的，因为它可以在不需要物理机器人的情况下进行模型迭代。”
robotics at google（专注机器学的的谷歌新团队）的软件工程师alexa irpan写道，“完全脱离政策的rl，可以在先前代理收集的同一固定数据集上训练多个模型，然后选择出最佳的那个模型。”
但是opc并不像听起来那么容易，正如irpan在论文中所描述的，非政策性强化学习可以通过机器人进行人工智能模型培训，但不能进行评估。并且在需要评估大量模型的方法中，地面实况评估通常效率太低。
opc在假设任务状态变化方面几乎没有随机性，同时假设代理在实验结束时用“成功或失败”来解决这个问题。两个假设中第二个假设的二元性质，允许为每个操作分配两个分类标签（“有效”表示成功或“灾难性”表示失败）。
另外，opc还依赖q函数（通过q学习算法学习）来估计行为的未来总回报。代理商选择具有最大预期回报的行动，其绩效通过所选行动的有效频率来衡量（这取决于q函数如何正确地将行动分类为有效与灾难性），并以分类准确性作为非政策评估分数。
（左图为基线，右图为建议的方法之一，softopc）
谷歌ai团队使用完全非策略强化学习对机器学习策略进行了模拟培训，然后使用从以前的实际数据中列出的非策略分数对其进行评估。
在机器人抓取任务时，他们报告opc的一种变体softopc在预测最终成功率方面表现最佳。假设有15种模型（其中7种纯粹在模拟中训练）具有不同的稳健性，softopc产生的分数与与真正的抓取成功密切相关，并且相比于基线方法更加稳定可靠。
在未来的研究中，研究人员打算用“噪声”（noisier）和非二进制动力学来探索机器学习任务。“我们认为这个结果有希望应用于许多现实世界的rl问题，”irpan在论文结尾写道。
工信部副部长陈肇雄表示5G的发展总体上可以分为3个阶段
拉力试验机有哪些主要构造？机架、传感器、夹具
华为鸿蒙系统PC版怎么安装？
艾迈斯半导体推出领先的高精确度、超低功耗及小尺寸新型温度传感器
机器视觉已经成为了备受全球关注的新基础设施技术
开辟新篇章!谷歌机器学习又有新进展!
发展农业无人机需要解决的三个问题
基于AD8253的复合放大器满足设计要求
韩国运营商LG U+的5G网络已保持在500Mbit/s的速度时延在20ms以内
飞思卡尔推出一款先进的三轴加速计系列MMA845xQ 加速计
骁龙笔记本电脑好用吗？三大高通骁龙笔记本上手评测
KLA-Tencor公司宣布推出两款全新缺陷检测产品
二氧化碳传感器在智慧粮仓上的应用
Linux网络基金会开发者研讨会已在西安成功举办
季丰电子极速封装线磨划能力介绍
无间道商界上演 华为“手撕”前员工？
Semiware推出针对RJ11-VDSL接口的Surge保护方案
利用Vague集理论实现基于AT89S51和DSl8B20的数字温度控制器的设计
区块链的转折之年将会做一些什么
如何在PCB印制板制造过程中防板翘曲
在谷歌ai研究团队一篇新发表的论文《通过非政策分类进行非政策评估》（off-policyevaluation via off-policy classification）和博客文章中，他们提出了所称的“非政策分类”，即opc（off-policy classification）。它能够评估ai的表现，通过将评估视为一个分类问题来驱动代理性能。
研究人员认为他们的方法是强化学习的一种变体，它利用奖励来推动软件政策实现与图像输入协同工作这个目标，并扩展到包括基于视觉的机器人抓取在内的任务。
“完全脱离政策强化学习是一种变体。代理完全从旧数据中学习，对于工程师来说这是很有吸引力的，因为它可以在不需要物理机器人的情况下进行模型迭代。”
robotics at google（专注机器学的的谷歌新团队）的软件工程师alexa irpan写道，“完全脱离政策的rl，可以在先前代理收集的同一固定数据集上训练多个模型，然后选择出最佳的那个模型。”
但是opc并不像听起来那么容易，正如irpan在论文中所描述的，非政策性强化学习可以通过机器人进行人工智能模型培训，但不能进行评估。并且在需要评估大量模型的方法中，地面实况评估通常效率太低。
opc在假设任务状态变化方面几乎没有随机性，同时假设代理在实验结束时用“成功或失败”来解决这个问题。两个假设中第二个假设的二元性质，允许为每个操作分配两个分类标签（“有效”表示成功或“灾难性”表示失败）。
另外，opc还依赖q函数（通过q学习算法学习）来估计行为的未来总回报。代理商选择具有最大预期回报的行动，其绩效通过所选行动的有效频率来衡量（这取决于q函数如何正确地将行动分类为有效与灾难性），并以分类准确性作为非政策评估分数。
（左图为基线，右图为建议的方法之一，softopc）
谷歌ai团队使用完全非策略强化学习对机器学习策略进行了模拟培训，然后使用从以前的实际数据中列出的非策略分数对其进行评估。
在机器人抓取任务时，他们报告opc的一种变体softopc在预测最终成功率方面表现最佳。假设有15种模型（其中7种纯粹在模拟中训练）具有不同的稳健性，softopc产生的分数与与真正的抓取成功密切相关，并且相比于基线方法更加稳定可靠。
在未来的研究中，研究人员打算用“噪声”（noisier）和非二进制动力学来探索机器学习任务。“我们认为这个结果有希望应用于许多现实世界的rl问题，”irpan在论文结尾写道。
工信部副部长陈肇雄表示5G的发展总体上可以分为3个阶段
拉力试验机有哪些主要构造？机架、传感器、夹具
华为鸿蒙系统PC版怎么安装？
艾迈斯半导体推出领先的高精确度、超低功耗及小尺寸新型温度传感器
机器视觉已经成为了备受全球关注的新基础设施技术
开辟新篇章!谷歌机器学习又有新进展!
发展农业无人机需要解决的三个问题
基于AD8253的复合放大器满足设计要求
韩国运营商LG U+的5G网络已保持在500Mbit/s的速度时延在20ms以内
飞思卡尔推出一款先进的三轴加速计系列MMA845xQ 加速计
骁龙笔记本电脑好用吗？三大高通骁龙笔记本上手评测
KLA-Tencor公司宣布推出两款全新缺陷检测产品
二氧化碳传感器在智慧粮仓上的应用
Linux网络基金会开发者研讨会已在西安成功举办
季丰电子极速封装线磨划能力介绍
无间道商界上演 华为“手撕”前员工？
Semiware推出针对RJ11-VDSL接口的Surge保护方案
利用Vague集理论实现基于AT89S51和DSl8B20的数字温度控制器的设计
区块链的转折之年将会做一些什么
如何在PCB印制板制造过程中防板翘曲