什么是rnn?
rnn的思想是利⽤序列化的信息。在传统的神经⽹络中,我们假设所有输⼊和输出彼此独⽴。 但对于 许多任务⽽⾔,这个假设有问题。例如你想预测句⼦中的下⼀个单词,就需要知道它前⾯有哪些单词。 rnn被称为循环,因为它对序列的每个元素执⾏相同的任务,并且基于先前的计算进⾏输出。rnn的另 ⼀个优点是它具有“记忆”,它可以收集到⽬前为⽌已经计算的信息。 理论上,rnn可以在任意⻓的序列 中使⽤信息,但实际使⽤中仅仅往回记录⼏步。这是典型的rnn的样⼦:
这个图是循环是循环神经⽹络正向计算时按时间顺序展开。这⾥展开意味着把完整的序列的⽹络展示出 来。例如,如果我们关⼼的序列是5个单词的句⼦,则⽹络将展开为5层神经⽹络,每个单词⼀层。途中 的表达式解释如下:
这⾥有⼏点需要注意:
rnn可以做什么?
rnn在许多nlp任务中取得了巨⼤成功。 在这个领域最常⽤的rnn类型是lstm,它在捕获⻓期依赖⽅ ⾯要⽐普通的rnn好得多。但不要担⼼,lstm和rnn基本相同,它们只是采⽤不同的⽅式来计算隐藏 状态。以下是rnp在nlp中的⼀些示例应⽤。
语⾔模型和⽣成⽂本
给定⼀个单词的序列,我们想要根据给出的前⼀个词预测出下⼀个词的概率。根据语⾔模型我们可以计 算句⼦的可能性,这是机器翻译的重要输⼊(因为概率⾼的句⼦通常是正确的)。能够预测下⼀个单词 的副作⽤是我们得到⼀个⽣成模型,⽣成模型是的我们可以通过从输出概率中抽样来⽣成新⽂本。根据 我们的训练数据,我们可以⽣成各种各样的东⻄。在语⾔模型中,我们的输⼊通常是⼀系列单词(编码 成one-hot),我们的输出是预测单词的序列。在训练⽹络时,我们设置 ,因为我们希望 时 刻的输出是下⼀个时刻的输⼊。
机器翻译
机器翻译类似于语⾔模型,因为我们的输⼊是源语⾔中的⼀系列单词(例如德语)。我们希望输出⽬标 语⾔的⼀系列单词(例如英语)。关键的区别是只有输⼊完整之后才会进⾏输出,因为我们翻译的句⼦ 的第⼀个单词可能需要从完整的输⼊序列中获取信息。
机器翻译的rnn
语⾳识别 给定来⾃声波的声学信号作为输⼊序列,我们可以预测⼀系列语⾳⽚段及其概率。 ⽣成图像描述 rnn作为模型的⼀部分与卷积神经⽹络⼀起⽣成未标记图像的描述。
这个组合模型⾮常令⼈惊讶的,结 果很不错。 组合模型甚⾄可以把⽣成的单词与图像中找到的特征对应起来。
lstm⽹络现在⾮常流⾏,我们这⾥简单的讨论⼀下。 lstm与rnn基本架构师相同的,只不过它们使 ⽤不同的函数来计算隐藏状态。lstm中的记忆单元称为 ,可以把它们视为⿊框,将前⼀个状态 和当前输⼊ 作为输⼊。这些单元在内部决定要保留什么。 然后它们组合了先前的状态,当前的 记忆和输⼊。事实证明,这些单元在捕获⻓期依赖⽅⾯⾮常有效。
精密点胶机用点胶阀的优劣分析
在工业视觉检测设备中如何选择工业相机产品
聊聊振荡电路、功放电路等结构和工作原理
人工智能技术加速了社会数字化转型和智慧城市建设
华为胡厚崑谈5G等新兴数字技术
循环神经⽹络是什么?可以做什么
辽宁通信业圆满完成2020年5G网络建设任务
EPLAN正式发布EPLAN的云端业务策略和全新的2.8版本软件解决方案
芯科打造全新CMOS工艺的隔离式栅极驱动器
保险丝的构造如何?各有什么功效?又有什么要求?
华为折叠手机最新消息
荣耀畅玩7X下午正式发布:外观、配置、售价提前看,死磕小米vivo等国产手机
AI生活助理“玩秘”获2000万人民币A轮融资
虹科案例 | 虹科EtherCAT运动控制器与IO在固晶机上的应用
MORROR ART悬浮歌词透明蓝牙音箱上架小米有品众筹 可显示动态悬浮歌词
特斯拉更新固件释放充电功率限制
干簧管液位计工作原理是什么
带保护环的四侧引脚扁平封装原理及特点
电路板焊接视频教程
泳池清洁机器人避障离不开超声波测距传感器