新型阿尔法狗如何通过自学3天击败李世石旧版？
伦敦当地时间10月18日18：00（北京时间19日01：00），alphago再次登上世界顶级科学杂志——《自然》。
一年多前，alphago便是2016年1月28日当期的封面文章，deepmind公司发表重磅论文，介绍了这个击败欧洲围棋冠军樊麾的人工智能程序。
今年5月，以3:0的比分赢下中国棋手柯洁后，alphago宣布退役，但deepmind公司并没有停下研究的脚步。伦敦当地时间10月18日，deepmind团队公布了最强版alphago ，代号alphago zero。它的独门秘籍，是“自学成才”。而且，是从一张白纸开始，零基础学习，在短短3天内，成为顶级高手。
团队称，alphago zero的水平已经超过之前所有版本的alphago。在对阵曾赢下韩国棋手李世石那版alphago时，alphago zero取得了100:0的压倒性战绩。deepmind团队将关于alphago zero的相关研究以论文的形式，刊发在了10月18日的《自然》杂志上。
“alphago在两年内达到的成绩令人震惊。现在，alphago zero是我们最强版本，它提升了很多。zero提高了计算效率，并且没有使用到任何人类围棋数据，”alphago之父、deepmind联合创始人兼ceo 戴密斯·哈萨比斯（demis hassabis）说，“最终，我们想要利用它的算法突破，去帮助解决各种紧迫的现实世界问题，如蛋白质折叠或设计新材料。如果我们通过alphago，可以在这些问题上取得进展，那么它就有潜力推动人们理解生命，并以积极的方式影响我们的生活。”
不再受人类知识限制，只用4个tpu
alphago此前的版本，结合了数百万人类围棋专家的棋谱，以及强化学习的监督学习进行了自我训练。
在战胜人类围棋职业高手之前，它经过了好几个月的训练，依靠的是多台机器和48个tpu（谷歌专为加速深层神经网络运算能力而研发的芯片）。
alphago zero的能力则在这个基础上有了质的提升。最大的区别是，它不再需要人类数据。也就是说，它一开始就没有接触过人类棋谱。研发团队只是让它自由随意地在棋盘上下棋，然后进行自我博弈。值得一提的是，alphago zero还非常“低碳”，只用到了一台机器和4个tpu，极大地节省了资源。
alphago zero强化学习下的自我对弈
经过几天的训练，alphago zero完成了近5百万盘的自我博弈后，已经可以超越人类，并击败了此前所有版本的alphago。deepmind团队在官方博客上称，zero用更新后的神经网络和搜索算法重组，随着训练地加深，系统的表现一点一点地在进步。自我博弈的成绩也越来越好，同时，神经网络也变得更准确。
alphago zero习得知识的过程
“这些技术细节强于此前版本的原因是，我们不再受到人类知识的限制，它可以向围棋领域里最高的选手——alphago自身学习。” alphago团队负责人大卫·席尔瓦（dave sliver）说。
据大卫·席尔瓦介绍，alphago zero使用新的强化学习方法，让自己变成了老师。系统一开始甚至并不知道什么是围棋，只是从单一神经网络开始，通过神经网络强大的搜索算法，进行了自我对弈。
随着自我博弈的增加，神经网络逐渐调整，提升预测下一步的能力，最终赢得比赛。更为厉害的是，随着训练的深入，deepmind团队发现，alphago zero还独立发现了游戏规则，并走出了新策略，为围棋这项古老游戏带来了新的见解。
自学3天，就打败了旧版alphago
除了上述的区别之外，alphago zero还在3个方面与此前版本有明显差别。
alphago-zero的训练时间轴
首先，alphago zero仅用棋盘上的黑白子作为输入，而前代则包括了小部分人工设计的特征输入。
其次，alphago zero仅用了单一的神经网络。在此前的版本中，alphago用到了“策略网络”来选择下一步棋的走法，以及使用“价值网络”来预测每一步棋后的赢家。而在新的版本中，这两个神经网络合二为一，从而让它能得到更高效的训练和评估。
第三，alphago zero并不使用快速、随机的走子方法。在此前的版本中，alphago用的是快速走子方法，来预测哪个玩家会从当前的局面中赢得比赛。相反，新版本依靠地是其高质量的神经网络来评估下棋的局势。
alphago几个版本的排名情况
据哈萨比斯和席尔瓦介绍，以上这些不同帮助新版alphago在系统上有了提升，而算法的改变让系统变得更强更有效。
经过短短3天的自我训练，alphago zero就强势打败了此前战胜李世石的旧版alphago，战绩是100:0的。经过40天的自我训练，alphago zero又打败了alphago master版本。“master”曾击败过世界顶尖的围棋选手，甚至包括世界排名第一的柯洁。
对于希望利用人工智能推动人类社会进步为使命的deepmind来说，围棋并不是alphago的终极奥义，他们的目标始终是要利用alphago打造通用的、探索宇宙的终极工具。alphago zero的提升，让deepmind看到了利用人工智能技术改变人类命运的突破。他们目前正积极与英国医疗机构和电力能源部门合作，提高看病效率和能源效率。
以下转载一篇关于论文深度解读，部分内容会与前面部分有重复
论文深度解读
作者: 开明nature上海办公室
人工智能棋手 alphago先后战胜了两位顶尖围棋高手李世乭和柯洁。在这场猛烈风暴席卷了世界后，alphago宣布不再和人下棋。但它的创造者并没有因此停下脚步，alphago还在成长，今天deepmind又在《自然》期刊上发表了关于 alphago的新论文。
deepmind于2016年1月28日在nature杂志上发表第一篇关于alphago的论文，并登上封面。
这篇论文中的 alphago是全新的，它不是战胜柯洁的那个最强的 master，但却是孪生兄弟。它的名字叫alphago zero。和以前的 alphago相比，它：
• 从零开始学习，不需要任何人类的经验
• 使用更少的算力得到了更好的结果
• 发现了新的围棋定式
• 将策略网络和值网络合并
• 使用了深度残差网络
白板理论（tabula rasa)
alphago zero最大的突破是实现了白板理论。白板理论是哲学上的一个著名观点，认为婴儿生下来是白板一块，通过不断训练、成长获得知识和智力。
作为 ai 领域的先驱，图灵使用了这个想法。在提出了著名的“图灵测试”的论文中，他从婴儿是一块白板出发，认为只要能用机器制造一个类似小孩的 ai，然后加以训练，就能得到一个近似成人智力，甚至超越人类智力的ai。
现代科学了解到的事实并不是这样，婴儿生下来就有先天的一些能力，他们偏爱高热量的食物，饿了就会哭闹希望得到注意。这是生物体在亿万年的演化中学来的。
监督学习 vs 无监督学习
计算机则完全不同，它没有亿万年的演化，因此也没有这些先天的知识，是真正的“白板一块”。监督学习（supervised learning）和无监督学习（unsupervised learning）是镜子的两面，两者都想解决同一个问题——如何让机器从零开始获得智能？
监督学习认为人要把自己的经验教给机器。拿分辨猫猫和狗狗的ai来说，你需要准备几千张照片，然后手把手教机器——哪张照片是猫，哪张照片是狗。机器会从中学习到分辨猫狗的细节，从毛发到眼睛到耳朵，然后举一反三得去判断一张它从没见过的照片是猫猫还是狗狗。
而无监督学习认为机器要去自己摸索，自己发现规律。人的经验或许能帮助机器掌握智能，但或许人的经验是有缺陷的，不如让机器自己发现新的，更好的规律。人的经验就放一边吧。
从无知到无敌
就像这篇新论文中讲述的那样。alphago zero是无监督学习的产物，而它的双胞胎兄弟master则用了监督学习的方法。在训练了72小时后alphago zero就能打败战胜李世乭的 alphago lee，相比较alphago lee训练了几个月。而40天后，它能以89:11的成绩，将战胜了所有人类高手的master甩在后面。
alphago zero从0开始的学习曲线,这个版本的神经网络由40个模块组成。
图灵的白板假设虽然无法用在人身上，但是alphago zero证明了，一个白板ai能够被训练成超越人类的围棋高手。
强化学习
强化学习（reinforcement learning）是一种模仿人类学习方式的模型，它的基本方法是：要是机器得到了好的结果就能得到奖励，要是得到差的结果就得到惩罚。alphago zero并没有像之前的兄弟姐妹一样被教育了人类的围棋知识。它只是和不同版本的自己下棋，然后用胜者的思路来训练新的版本，如此不断重复。
alphago zero就像人类初学者，需要经历一定时间摸索。不同训练阶段进行的三场自我对弈游戏中的头80步，图中显示的下法来自alphago zero的一个版本，这个版本的神经网络由20个模块组成。
图片来自deepmind
通过这一方法，alphago zero完全自己摸索出了开局、收官、定式等以前人类已知的围棋知识，也摸索出了新的定势。
算法和性能
如何高效合理得利用计算资源？这是算法要解决的一个重要问题。alphago lee使用了48个tpu，更早版本的 alphago fan（打败了樊麾的版本）使用了176个gpu，而master和alphago zero仅仅用了4个tpu，也就是说一台电脑足够！
由于在硬件和算法上的进步，alphago变得越来越有效率。
alphago zero在72小时内就能超越alphago lee也表明，优秀的算法不仅仅能降低能耗，也能极大提高效率。另外这也说明，围棋问题的复杂度并不需要动用大规模的计算能力，那是只浪费。
alphago zero的算法有两处核心优化：将策略网络（计算下子的概率）和值网络（计算胜率）这两个神经网络结合，其实在第一篇 alphago的论文中，这两种网络已经使用了类似的架构。另外，引入了深度残差网络（deep residual network），比起之前的多层神经网络效果更好。
deepmind 的历程
这不是 deepmind第一次在《自然》上发论文，他们还在nature上发表过《利用深度神经网络和搜索树成为围棋大师》和《使用深度强化学习达到人类游戏玩家水平》（论文链接：http://rdcu.be/wrds）以及《使用神经网络和动态外存的混合计算模型》三篇论文，deepmind在nature neuroscience上也发过多篇论文。
我们可以从中一窥 deepmind的思路，他们寻找人类还没有理解原理的游戏，游戏比起现实世界的问题要简单很多。然后他们选择了两条路，一条道路是优化算法，另外一条道路是让机器不受人类先入为主经验的影响。
这两条路交汇的终点，是那个真正能够超越人的ai。
结语
这是alphago 的终曲，也是一个全新的开始，相关技术将被用于造福人类，帮助科学家认识蛋白质折叠，制造出治疗疑难杂症的药物，开发新材料，以制造以出更好的产品。
微型电机工作原理
曝！荣耀Note 10搭载麒麟970最快6月发布
盘点86智能开关面板一季度行业头号玩家都发布了啥
工业以太网的主要技术及典型结构有哪些
风力发电的工作原理与结构
新型阿尔法狗如何通过自学3天击败李世石旧版？
Maxim 300mm晶圆生产线开始发货
数据库复制的设计和管理
手机电池将暴露键盘输入和网页浏览内容？
浅谈PLC与接近开关接线方法
芯文芯事丨如何挑选用于PS8902光电耦合器电路的电阻
LTE将成为运营商5G时代全业务基础网
模拟电路和数字电路设计/制作方面的差别
基于PSoC 的嵌入式数字滤波技术
海信推出社交电视 可实现边看边聊、边聊边玩
全球首款固态激光雷达无人物流车，定位于末端低速无人配送
触控面板TDDI芯片需求大爆发，主要应用于全面屏智能手机
诺基亚NokiaX5评测 到底怎么样
led灯开关电源电路图大全（五款模拟电路设计原理图详解）
显同电子浙江LED租赁屏分享控制卡的常见问题
一年多前，alphago便是2016年1月28日当期的封面文章，deepmind公司发表重磅论文，介绍了这个击败欧洲围棋冠军樊麾的人工智能程序。
今年5月，以3:0的比分赢下中国棋手柯洁后，alphago宣布退役，但deepmind公司并没有停下研究的脚步。伦敦当地时间10月18日，deepmind团队公布了最强版alphago ，代号alphago zero。它的独门秘籍，是“自学成才”。而且，是从一张白纸开始，零基础学习，在短短3天内，成为顶级高手。
团队称，alphago zero的水平已经超过之前所有版本的alphago。在对阵曾赢下韩国棋手李世石那版alphago时，alphago zero取得了100:0的压倒性战绩。deepmind团队将关于alphago zero的相关研究以论文的形式，刊发在了10月18日的《自然》杂志上。
“alphago在两年内达到的成绩令人震惊。现在，alphago zero是我们最强版本，它提升了很多。zero提高了计算效率，并且没有使用到任何人类围棋数据，”alphago之父、deepmind联合创始人兼ceo 戴密斯·哈萨比斯（demis hassabis）说，“最终，我们想要利用它的算法突破，去帮助解决各种紧迫的现实世界问题，如蛋白质折叠或设计新材料。如果我们通过alphago，可以在这些问题上取得进展，那么它就有潜力推动人们理解生命，并以积极的方式影响我们的生活。”
不再受人类知识限制，只用4个tpu
alphago此前的版本，结合了数百万人类围棋专家的棋谱，以及强化学习的监督学习进行了自我训练。
在战胜人类围棋职业高手之前，它经过了好几个月的训练，依靠的是多台机器和48个tpu（谷歌专为加速深层神经网络运算能力而研发的芯片）。
alphago zero的能力则在这个基础上有了质的提升。最大的区别是，它不再需要人类数据。也就是说，它一开始就没有接触过人类棋谱。研发团队只是让它自由随意地在棋盘上下棋，然后进行自我博弈。值得一提的是，alphago zero还非常“低碳”，只用到了一台机器和4个tpu，极大地节省了资源。
alphago zero强化学习下的自我对弈
经过几天的训练，alphago zero完成了近5百万盘的自我博弈后，已经可以超越人类，并击败了此前所有版本的alphago。deepmind团队在官方博客上称，zero用更新后的神经网络和搜索算法重组，随着训练地加深，系统的表现一点一点地在进步。自我博弈的成绩也越来越好，同时，神经网络也变得更准确。
alphago zero习得知识的过程
“这些技术细节强于此前版本的原因是，我们不再受到人类知识的限制，它可以向围棋领域里最高的选手——alphago自身学习。” alphago团队负责人大卫·席尔瓦（dave sliver）说。
据大卫·席尔瓦介绍，alphago zero使用新的强化学习方法，让自己变成了老师。系统一开始甚至并不知道什么是围棋，只是从单一神经网络开始，通过神经网络强大的搜索算法，进行了自我对弈。
随着自我博弈的增加，神经网络逐渐调整，提升预测下一步的能力，最终赢得比赛。更为厉害的是，随着训练的深入，deepmind团队发现，alphago zero还独立发现了游戏规则，并走出了新策略，为围棋这项古老游戏带来了新的见解。
自学3天，就打败了旧版alphago
除了上述的区别之外，alphago zero还在3个方面与此前版本有明显差别。
alphago-zero的训练时间轴
首先，alphago zero仅用棋盘上的黑白子作为输入，而前代则包括了小部分人工设计的特征输入。
其次，alphago zero仅用了单一的神经网络。在此前的版本中，alphago用到了“策略网络”来选择下一步棋的走法，以及使用“价值网络”来预测每一步棋后的赢家。而在新的版本中，这两个神经网络合二为一，从而让它能得到更高效的训练和评估。
第三，alphago zero并不使用快速、随机的走子方法。在此前的版本中，alphago用的是快速走子方法，来预测哪个玩家会从当前的局面中赢得比赛。相反，新版本依靠地是其高质量的神经网络来评估下棋的局势。
alphago几个版本的排名情况
据哈萨比斯和席尔瓦介绍，以上这些不同帮助新版alphago在系统上有了提升，而算法的改变让系统变得更强更有效。
经过短短3天的自我训练，alphago zero就强势打败了此前战胜李世石的旧版alphago，战绩是100:0的。经过40天的自我训练，alphago zero又打败了alphago master版本。“master”曾击败过世界顶尖的围棋选手，甚至包括世界排名第一的柯洁。
对于希望利用人工智能推动人类社会进步为使命的deepmind来说，围棋并不是alphago的终极奥义，他们的目标始终是要利用alphago打造通用的、探索宇宙的终极工具。alphago zero的提升，让deepmind看到了利用人工智能技术改变人类命运的突破。他们目前正积极与英国医疗机构和电力能源部门合作，提高看病效率和能源效率。
以下转载一篇关于论文深度解读，部分内容会与前面部分有重复
论文深度解读
作者: 开明nature上海办公室
人工智能棋手 alphago先后战胜了两位顶尖围棋高手李世乭和柯洁。在这场猛烈风暴席卷了世界后，alphago宣布不再和人下棋。但它的创造者并没有因此停下脚步，alphago还在成长，今天deepmind又在《自然》期刊上发表了关于 alphago的新论文。
deepmind于2016年1月28日在nature杂志上发表第一篇关于alphago的论文，并登上封面。
这篇论文中的 alphago是全新的，它不是战胜柯洁的那个最强的 master，但却是孪生兄弟。它的名字叫alphago zero。和以前的 alphago相比，它：
• 从零开始学习，不需要任何人类的经验
• 使用更少的算力得到了更好的结果
• 发现了新的围棋定式
• 将策略网络和值网络合并
• 使用了深度残差网络
白板理论（tabula rasa)
alphago zero最大的突破是实现了白板理论。白板理论是哲学上的一个著名观点，认为婴儿生下来是白板一块，通过不断训练、成长获得知识和智力。
作为 ai 领域的先驱，图灵使用了这个想法。在提出了著名的“图灵测试”的论文中，他从婴儿是一块白板出发，认为只要能用机器制造一个类似小孩的 ai，然后加以训练，就能得到一个近似成人智力，甚至超越人类智力的ai。
现代科学了解到的事实并不是这样，婴儿生下来就有先天的一些能力，他们偏爱高热量的食物，饿了就会哭闹希望得到注意。这是生物体在亿万年的演化中学来的。
监督学习 vs 无监督学习
计算机则完全不同，它没有亿万年的演化，因此也没有这些先天的知识，是真正的“白板一块”。监督学习（supervised learning）和无监督学习（unsupervised learning）是镜子的两面，两者都想解决同一个问题——如何让机器从零开始获得智能？
监督学习认为人要把自己的经验教给机器。拿分辨猫猫和狗狗的ai来说，你需要准备几千张照片，然后手把手教机器——哪张照片是猫，哪张照片是狗。机器会从中学习到分辨猫狗的细节，从毛发到眼睛到耳朵，然后举一反三得去判断一张它从没见过的照片是猫猫还是狗狗。
而无监督学习认为机器要去自己摸索，自己发现规律。人的经验或许能帮助机器掌握智能，但或许人的经验是有缺陷的，不如让机器自己发现新的，更好的规律。人的经验就放一边吧。
从无知到无敌
就像这篇新论文中讲述的那样。alphago zero是无监督学习的产物，而它的双胞胎兄弟master则用了监督学习的方法。在训练了72小时后alphago zero就能打败战胜李世乭的 alphago lee，相比较alphago lee训练了几个月。而40天后，它能以89:11的成绩，将战胜了所有人类高手的master甩在后面。
alphago zero从0开始的学习曲线,这个版本的神经网络由40个模块组成。
图灵的白板假设虽然无法用在人身上，但是alphago zero证明了，一个白板ai能够被训练成超越人类的围棋高手。
强化学习
强化学习（reinforcement learning）是一种模仿人类学习方式的模型，它的基本方法是：要是机器得到了好的结果就能得到奖励，要是得到差的结果就得到惩罚。alphago zero并没有像之前的兄弟姐妹一样被教育了人类的围棋知识。它只是和不同版本的自己下棋，然后用胜者的思路来训练新的版本，如此不断重复。
alphago zero就像人类初学者，需要经历一定时间摸索。不同训练阶段进行的三场自我对弈游戏中的头80步，图中显示的下法来自alphago zero的一个版本，这个版本的神经网络由20个模块组成。
图片来自deepmind
通过这一方法，alphago zero完全自己摸索出了开局、收官、定式等以前人类已知的围棋知识，也摸索出了新的定势。
算法和性能
如何高效合理得利用计算资源？这是算法要解决的一个重要问题。alphago lee使用了48个tpu，更早版本的 alphago fan（打败了樊麾的版本）使用了176个gpu，而master和alphago zero仅仅用了4个tpu，也就是说一台电脑足够！
由于在硬件和算法上的进步，alphago变得越来越有效率。
alphago zero在72小时内就能超越alphago lee也表明，优秀的算法不仅仅能降低能耗，也能极大提高效率。另外这也说明，围棋问题的复杂度并不需要动用大规模的计算能力，那是只浪费。
alphago zero的算法有两处核心优化：将策略网络（计算下子的概率）和值网络（计算胜率）这两个神经网络结合，其实在第一篇 alphago的论文中，这两种网络已经使用了类似的架构。另外，引入了深度残差网络（deep residual network），比起之前的多层神经网络效果更好。
deepmind 的历程
这不是 deepmind第一次在《自然》上发论文，他们还在nature上发表过《利用深度神经网络和搜索树成为围棋大师》和《使用深度强化学习达到人类游戏玩家水平》（论文链接：http://rdcu.be/wrds）以及《使用神经网络和动态外存的混合计算模型》三篇论文，deepmind在nature neuroscience上也发过多篇论文。
我们可以从中一窥 deepmind的思路，他们寻找人类还没有理解原理的游戏，游戏比起现实世界的问题要简单很多。然后他们选择了两条路，一条道路是优化算法，另外一条道路是让机器不受人类先入为主经验的影响。
这两条路交汇的终点，是那个真正能够超越人的ai。
结语
这是alphago 的终曲，也是一个全新的开始，相关技术将被用于造福人类，帮助科学家认识蛋白质折叠，制造出治疗疑难杂症的药物，开发新材料，以制造以出更好的产品。
微型电机工作原理
曝！荣耀Note 10搭载麒麟970最快6月发布
盘点86智能开关面板一季度行业头号玩家都发布了啥
工业以太网的主要技术及典型结构有哪些
风力发电的工作原理与结构
新型阿尔法狗如何通过自学3天击败李世石旧版？
Maxim 300mm晶圆生产线开始发货
数据库复制的设计和管理
手机电池将暴露键盘输入和网页浏览内容？
浅谈PLC与接近开关接线方法
芯文芯事丨如何挑选用于PS8902光电耦合器电路的电阻
LTE将成为运营商5G时代全业务基础网
模拟电路和数字电路设计/制作方面的差别
基于PSoC 的嵌入式数字滤波技术
海信推出社交电视 可实现边看边聊、边聊边玩
全球首款固态激光雷达无人物流车，定位于末端低速无人配送
触控面板TDDI芯片需求大爆发，主要应用于全面屏智能手机
诺基亚NokiaX5评测 到底怎么样
led灯开关电源电路图大全（五款模拟电路设计原理图详解）
显同电子浙江LED租赁屏分享控制卡的常见问题