论文遭首届ICLR拒稿、代码被过度优化，word2vec作者Tomas Mikolov分享背后的故事
除了表达自己获得 neurips 2023 时间检验奖的感想之外，tomas mikolo 还对 nlp 和 chatgpt 的现状给出了自己的一些思考。
几天前，neurips 2023 公布了获奖论文，其中时间检验奖颁给了十年前的 neurips 论文「distributed representations of words and phrases and their compositionality」。这项工作引入了开创性的词嵌入技术 word2vec，展示了从大量非结构化文本中学习的能力，推动了自然语言处理新时代的到来。
这篇论文由当时都还在谷歌的 tomas mikolov、ilya sutskever、kai chen、greg corrado、jeffrey dean 等人撰写，被引量超过 4 万次。
不过，word2vec 首篇论文是 tomas mikolov 等同一作者的「efficient estimation of word representations in vector space」。这篇论文的引用量也已经接近 4 万。
论文地址：https://arxiv.org/abs/1301.3781
近日，tomas mikolov 分享了论文背后更多的故事，包括被首届 iclr 拒稿以及之后的进展等。
图源：https://www.facebook.com/tomas.mikolov
以下为原贴内容，我们做了不改变原意的整理。
我非常高兴 word2vec 论文获得了 neurips 2023 时间检验奖，这是我获得的第一个最佳论文类型的奖项。实际上，word2vec 原始论文在 2013 年首届 iclr 会议被拒绝接收了（尽管接收率很高），这让我想到审稿人预测论文的未来影响是多么困难。
这些年，我听到了很多关于 word2vec 的评论，正面的还有负面的，但至今没有在网络上认真地发表过评论。我觉得研究界正在不断地被一些研究人员的 pr 式宣传淹没，他们通过这样的方式获得他人的论文引用和注意力。我不想成为其中的一部分，但 10 年后，分享一些关于论文背后的故事可能会很有趣。
我经常听到的一个评论是，代码很难理解，以至于有些人认为是我故意地让代码不可读。但我没有那么邪恶，代码最终被过度优化了，因为我等了好几个月才被批准发布它。我也试图让代码更快更短。回想起来，如果当时团队中没有 greg corrado 和 jeff dean，我怀疑自己是否会获得批准。我认为 word2vec 可能是谷歌开源的第一个广为人知的 ai 项目。
在 word2vec 发布一年多后，斯坦福 nlp 小组的 glove 项目也引发了很大争议。虽然该项目从我们的项目中复刻了很多技巧，但总感觉 glove 倒倒退了一步：速度较慢，还需要更多内存，生成的向量质量比 word2vec 低。然而，glove 是基于在更多数据上预训练的词向量发布的，因而很受欢迎。之后，我们在 fasttext 项目中修复了相关问题，在使用相同数据进行训练时，word2vec 比 glove 好得多。
尽管 word2vec 是我被引用最多的论文，但我从未认为它是我最有影响力的项目。实际上，word2vec 代码最初只是我之前项目 rnnlm 的一个子集，我感觉 rnnlm 很快就被人们遗忘了。但在我看来，它应该和 alexnet 一样具有革命性意义。
在这里，我列举一些在 2010 年 rnnlm 中首次展示的想法：递归神经网络的可扩展训练、首次通过神经语言模型生成文本、动态评估、字符和子词级别的神经语言建模、神经语言模型自适应（现在称为微调）、首个公开可用的 lm 基准。
我发布了第一项研究，显示当一切正确完成时，训练数据越多，神经网络就能比 n-gram 语言模型更胜一筹。这在今天听起来是显而易见的，但在当时这被广泛认为是不可能的，甚至大多数谷歌员工都认为，数据越多，除了 n-gram 和平滑技术外，其他任何工作都是徒劳的。
我很幸运能在 2012 年加入谷歌 brain 团队，那里有很多大规模神经网络的「信徒」，他们允许我参与 word2vec 项目，展示了它的潜力。但我不想给人留下到这里就足够完美的印象。在 word2vec 之后，作为后续项目，我希望通过改进谷歌翻译来普及神经语言模型。我确实与 franz och 和他的团队开始了合作，在此期间我提出了几种模型，这些模型可以补充基于短语的机器翻译，甚至可以取代它。
其实在加入谷歌之前，我就提出了一个非常简单的想法，通过在句子对（比如法语 - 英语）上训练神经语言模型来实现端到端的翻译，然后在看到第一句话后使用生成模式生成翻译。这对短句子效果很好，但在长句子上就不那么奏效了。
我在谷歌 brain 内部多次讨论过这个项目，主要是与 quoc 和 ilya，在我转到 facebook ai 后他们接手了这个项目。我感到非常意外的是，他们最终以「从序列到序列（sequence to sequence）」为名发表了我的想法，不仅没有提到我是共同作者，而且在长长的致谢部分提及了谷歌 brain 中几乎所有的人，唯独没有我。那时是资金大量涌入人工智能领域的时期，每一个想法都价值连城。看到深度学习社区迅速变成某种权力的游戏，我感到很悲哀。
总之，多年来人们对语言模型的兴趣增长缓慢，但自从 chatgpt 发布以来，人们对它的兴趣呈爆炸式增长，看到这么多人终于将人工智能和语言联系在一起，真的很酷。我们还没有到达那个阶段，我个人认为我们需要有新的发现来突破神经模型的泛化极限。我们无疑生活在一个激动人心的时代。但是，让我们不要过分信任那些想要垄断基于数十位甚至数百位科学家辛勤工作的技术，同时声称这一切都是为了人类的利益的人。
不过，tomas mikolov 的发言也让人感叹，他也要步 lstm 之父 jürgen schmidhuber 的后尘吗？
图源：https://twitter.com/agihippo/status/1736107652407849208
你们怎么看呢？
由电池测试系统和电池测试模组构成的双重保障
苹果新款Pro Display XDR显示器开售，具有32英寸视网膜6K显示屏
虹科快讯 | 冷链温度计LIBERO CB，超丰富货源，充足现货尽在虹科！
电容，这篇讲解说得太好了
汽车音响车规电容器在电路中的作用详解
论文遭首届ICLR拒稿、代码被过度优化，word2vec作者Tomas Mikolov分享背后的故事
苹果iOS 14.4 RC版发布：和14.3基本一致
Wi-Fi在EPON中的应用
天通一号02星的成功，将为中国及周边等提供移动通信服务
【节能学院】安科瑞远程预付费电能管理系统在国中星城三期（M09地块）万国商业广场的设计与应用
微软放弃win7试图逼迫用户升级win10
水电预付费云平台的详细介绍
双通道数字调节可变增益放大器MAX2063
abb机器人将向客户免费开放关键的软件服务
中美5G形成打劫局面 技术“硬核”即是先手
搭载骁龙835的小米6到底有多强？GPU频率峰值超过800Mhz官方都没摸透？
立景创新科技联合华为打造高品质制造园区，柔性生产、高效运营
ChatGLM2-6B解析与TPU部署
隆利科技荣获“Mini/Micro LED产业推动先锋奖”奖项
石英射灯电路的检修
几天前，neurips 2023 公布了获奖论文，其中时间检验奖颁给了十年前的 neurips 论文「distributed representations of words and phrases and their compositionality」。这项工作引入了开创性的词嵌入技术 word2vec，展示了从大量非结构化文本中学习的能力，推动了自然语言处理新时代的到来。
这篇论文由当时都还在谷歌的 tomas mikolov、ilya sutskever、kai chen、greg corrado、jeffrey dean 等人撰写，被引量超过 4 万次。
不过，word2vec 首篇论文是 tomas mikolov 等同一作者的「efficient estimation of word representations in vector space」。这篇论文的引用量也已经接近 4 万。
论文地址：https://arxiv.org/abs/1301.3781
近日，tomas mikolov 分享了论文背后更多的故事，包括被首届 iclr 拒稿以及之后的进展等。
图源：https://www.facebook.com/tomas.mikolov
以下为原贴内容，我们做了不改变原意的整理。
我非常高兴 word2vec 论文获得了 neurips 2023 时间检验奖，这是我获得的第一个最佳论文类型的奖项。实际上，word2vec 原始论文在 2013 年首届 iclr 会议被拒绝接收了（尽管接收率很高），这让我想到审稿人预测论文的未来影响是多么困难。
这些年，我听到了很多关于 word2vec 的评论，正面的还有负面的，但至今没有在网络上认真地发表过评论。我觉得研究界正在不断地被一些研究人员的 pr 式宣传淹没，他们通过这样的方式获得他人的论文引用和注意力。我不想成为其中的一部分，但 10 年后，分享一些关于论文背后的故事可能会很有趣。
我经常听到的一个评论是，代码很难理解，以至于有些人认为是我故意地让代码不可读。但我没有那么邪恶，代码最终被过度优化了，因为我等了好几个月才被批准发布它。我也试图让代码更快更短。回想起来，如果当时团队中没有 greg corrado 和 jeff dean，我怀疑自己是否会获得批准。我认为 word2vec 可能是谷歌开源的第一个广为人知的 ai 项目。
在 word2vec 发布一年多后，斯坦福 nlp 小组的 glove 项目也引发了很大争议。虽然该项目从我们的项目中复刻了很多技巧，但总感觉 glove 倒倒退了一步：速度较慢，还需要更多内存，生成的向量质量比 word2vec 低。然而，glove 是基于在更多数据上预训练的词向量发布的，因而很受欢迎。之后，我们在 fasttext 项目中修复了相关问题，在使用相同数据进行训练时，word2vec 比 glove 好得多。
尽管 word2vec 是我被引用最多的论文，但我从未认为它是我最有影响力的项目。实际上，word2vec 代码最初只是我之前项目 rnnlm 的一个子集，我感觉 rnnlm 很快就被人们遗忘了。但在我看来，它应该和 alexnet 一样具有革命性意义。
在这里，我列举一些在 2010 年 rnnlm 中首次展示的想法：递归神经网络的可扩展训练、首次通过神经语言模型生成文本、动态评估、字符和子词级别的神经语言建模、神经语言模型自适应（现在称为微调）、首个公开可用的 lm 基准。
我发布了第一项研究，显示当一切正确完成时，训练数据越多，神经网络就能比 n-gram 语言模型更胜一筹。这在今天听起来是显而易见的，但在当时这被广泛认为是不可能的，甚至大多数谷歌员工都认为，数据越多，除了 n-gram 和平滑技术外，其他任何工作都是徒劳的。
我很幸运能在 2012 年加入谷歌 brain 团队，那里有很多大规模神经网络的「信徒」，他们允许我参与 word2vec 项目，展示了它的潜力。但我不想给人留下到这里就足够完美的印象。在 word2vec 之后，作为后续项目，我希望通过改进谷歌翻译来普及神经语言模型。我确实与 franz och 和他的团队开始了合作，在此期间我提出了几种模型，这些模型可以补充基于短语的机器翻译，甚至可以取代它。
其实在加入谷歌之前，我就提出了一个非常简单的想法，通过在句子对（比如法语 - 英语）上训练神经语言模型来实现端到端的翻译，然后在看到第一句话后使用生成模式生成翻译。这对短句子效果很好，但在长句子上就不那么奏效了。
我在谷歌 brain 内部多次讨论过这个项目，主要是与 quoc 和 ilya，在我转到 facebook ai 后他们接手了这个项目。我感到非常意外的是，他们最终以「从序列到序列（sequence to sequence）」为名发表了我的想法，不仅没有提到我是共同作者，而且在长长的致谢部分提及了谷歌 brain 中几乎所有的人，唯独没有我。那时是资金大量涌入人工智能领域的时期，每一个想法都价值连城。看到深度学习社区迅速变成某种权力的游戏，我感到很悲哀。
总之，多年来人们对语言模型的兴趣增长缓慢，但自从 chatgpt 发布以来，人们对它的兴趣呈爆炸式增长，看到这么多人终于将人工智能和语言联系在一起，真的很酷。我们还没有到达那个阶段，我个人认为我们需要有新的发现来突破神经模型的泛化极限。我们无疑生活在一个激动人心的时代。但是，让我们不要过分信任那些想要垄断基于数十位甚至数百位科学家辛勤工作的技术，同时声称这一切都是为了人类的利益的人。
不过，tomas mikolov 的发言也让人感叹，他也要步 lstm 之父 jürgen schmidhuber 的后尘吗？
图源：https://twitter.com/agihippo/status/1736107652407849208
你们怎么看呢？
由电池测试系统和电池测试模组构成的双重保障
苹果新款Pro Display XDR显示器开售，具有32英寸视网膜6K显示屏
虹科快讯 | 冷链温度计LIBERO CB，超丰富货源，充足现货尽在虹科！
电容，这篇讲解说得太好了
汽车音响车规电容器在电路中的作用详解
论文遭首届ICLR拒稿、代码被过度优化，word2vec作者Tomas Mikolov分享背后的故事
苹果iOS 14.4 RC版发布：和14.3基本一致
Wi-Fi在EPON中的应用
天通一号02星的成功，将为中国及周边等提供移动通信服务
【节能学院】安科瑞远程预付费电能管理系统在国中星城三期（M09地块）万国商业广场的设计与应用
微软放弃win7试图逼迫用户升级win10
水电预付费云平台的详细介绍
双通道数字调节可变增益放大器MAX2063
abb机器人将向客户免费开放关键的软件服务
中美5G形成打劫局面 技术“硬核”即是先手
搭载骁龙835的小米6到底有多强？GPU频率峰值超过800Mhz官方都没摸透？
立景创新科技联合华为打造高品质制造园区，柔性生产、高效运营
ChatGLM2-6B解析与TPU部署
隆利科技荣获“Mini/Micro LED产业推动先锋奖”奖项
石英射灯电路的检修