深度学习的57个名词解释及相关论文资料
一、激活函数（activation function）
为了让神经网络能够学习复杂的决策边界（decision boundary），我们在其一些层应用一个非线性激活函数。常用的函数有sigmoid、tanh、relu（rectified linear unit 线性修正单元）和以及这些函数的变体。
二、adadelta
adadelta是基于梯度下降的学习算法，可以随时间调整每个参数的学习率，它比超参数（hyperparameter）更敏感而且可能会降低学习率。adadelta 类似于 rmsprop，而且可被用来替代 vanilla sgd。
论文：adadelta：一种自适应学习率方法
三、adagrad
adagrad是一种自适应学习率算法，能够随时间跟踪平方梯度并自动适应每个参数的学习率。它可被用来替代vanillasgd (#sgd)，稀疏数据上更是特别有用，可以将更高的学习率分配给更新不频繁的参数。
论文：用于在线学习和随机优化的自适应次梯度方法
四、adam
adam是类似于 rmsprop 的自适应学习率算法，它通过使用梯度的第一和第二时刻的运行平均值（running average）直接估计，并具有偏差校正功能。
论文：adam：一种随机优化方法
五、仿射层（affine layer）
这是神经网络中的一个全连接层。仿射（affine）的意思是前面一层中的每一个神经元都连接到当前层中的每一个神经元。在许多方面，这是神经网络的「标准」层。仿射层通常被加在卷积神经网络或循环神经网络做出最终预测前顶层。仿射层的一般形式为 y = f(wx + b)，其中 x 是层输入，w 是参数，b 是一个偏差矢量，f 是一个非线性激活函数。
六、注意机制（attention mechanism）
注意机制由人类视觉注意所启发，是一种关注图像中特定部分的能力。注意机制可被整合到语言处理和图像识别的架构中，以帮助网络学习在做出预测时应该「关注」什么。
七、alexnet
alexnet是一种卷积神经网络架构的名字，这种架构曾在 2012 年 ilsvrc 挑战赛中以巨大优势获胜，它使导致人们重新关注对用于图像识别的卷积神经网络（cnn）。它由 5 个卷积层组成。其中一些后面跟随着最大池化（max-pooling）层和带有最终 1000 条路径的 softmax (1000-way softmax)的 3个全连接层。alexnet 被引入到了使用深度卷积神经网络的 imagenet 分类中。
八、自编码器（autoencoder）
自编码器是一种神经网络模型，它的目标是预测输入自身，这通常通过网络中某个地方的「瓶颈（bottleneck）」实现。通过引入瓶颈，使得网络学习输入更低维度的表征，从而将输入压缩成一个好的表征。自编码器和 pca 等降维技术相关，但因为它们的非线性本质，它们可以学习更为复杂的映射。目前已有一些范围涵盖较广的自编码器存在，包括降噪自编码器（denoising autoencoders）、变自编码器（variationalautoencoders）和序列自编码器（sequence autoencoders）。
降噪自编码器论文：
stacked denoising autoencoders: learning useful representationsin a deep network with a local denoising criterion
变自编码器论文：
auto-encoding variational bayes
序列自编码器论文：
semi-supervised sequence learning
九、平均池化（average-pooling）
平均池化是一种在卷积神经网络中用于图像识别的池化（pooling）技术。它的原理是，在特征的局部区域上滑动窗口（如像素），然后再取窗口中所有值的平均值。它将输入表征压缩成一种更低维度的表征。
十、反向传播（backpropagation）
反向传播是一种在神经网络中用来有效地计算梯度的算法，或称为前馈计算图（feedforwardcomputational graph）。它可以归结成从网络输出开始应用分化的链式法则，然后向后传播梯度。
论文：
learning representations by back-propagating errors
十一、通过时间的反向传播bptt：backpropagationthrough time
通过时间的反向传播是应用于循环神经网络（rnn）的反向传播算法，可被看作是应用于 rnn 的标准反向传播算法，其中的每一个时间步骤（time step）都代表一个计算层，而且它的参数是跨计算层共享的。
rnn在所有的时间步骤中都共享了同样的参数，一个时间步骤的错误必然能「通过时间」反向到之前所有的时间步骤，该算法因此得名。处理长序列（数百个输入）时，为降低计算成本常常使用一种删节版的 bptt。删节的 bptt 会在固定数量的步骤之后停止反向传播错误。
论文：
backpropagation through time: what it does and how to do it
十二、分批标准化（bn：batch normalization）
分批标准化是一种按小批量的方式标准化层输入的技术。它能加速训练过程，允许使用更高的学习率，还可用作规范器（regularizer）。分批标准化在卷积和前馈神经网络中应用较多，但尚未应用到循环神经网络上。
论文：分批标准化：通过减少内部协变量位移（covariate shift）加速深度网络训练（batch normalization: accelerating deep network training by reducinginternal covariate shift）
论文：使用分批标准化的循环神经网络（batch normalized recurrent neuralnetworks）
十三、双向循环神经网络（bidirectional rnn）
双向循环神经网络是一类包含两个方向不同的 rnn 的神经网络。其中的前向 rnn 从起点向终点读取输入序列，而反向 rnn 则从终点向起点读取。这两个 rnn 互相彼此堆叠，它们的状态通常通过附加两个矢量的方式进行组合。双向 rnn 常被用在自然语言问题中，因为在自然语言中我们需要同时考虑话语的前后上下文以做出预测。
论文：双向循环神经网络（bidirectional recurrent neural networks）
十四、caffe
caffe是由伯克利大学视觉和学习中心开发的一种深度学习框架。在视觉任务和卷积神经网络模型中，caffe应用较多。
十五、分类交叉熵损失（categorical cross-entropy loss）
分类交叉熵损失也被称为负对数似然（negative log likelihood）。这是一种用于解决分类问题的流行的损失函数，可用于测量两种概率分布（通常是真实标签和预测标签）之间的相似性。它可用 l = -sum(y * log(y_prediction)) 表示，其中 y 是真实标签的概率分布（通常是一个one-hot vector），y_prediction 是预测标签的概率分布，通常来自一个 softmax。
十六、信道（channel）
深度学习模型的输入数据可以有多个信道。图像就是个典型的例子，它有红、绿和蓝三个颜色信道。一个图像可以被表示成一个三维的张量（tensor），其中的维度对应于信道、高度和宽度。自然语言数据也可以有多个信道。
十七、卷积神经网络（cnn/convnet：convolutionalneural network）
cnn使用卷积连接从输入的局部区域提取特征。大部分 cnn 都包含了卷积层、池化层和仿射层的组合。cnn 凭借其在视觉识别任务的卓越性能而获得普及，它已经在该领域保持了好几年的领先地位。
十八、深度信念网络（dbn：deep belief network）
dbn是一类以无监督的方式学习数据的分层表征的概率图形模型。dbn 由多个隐藏层组成，这些隐藏层每一对连续层之间的神经元相互连接。dbn 通过堆叠多个 rbn（限制波尔兹曼机）并一个接一个地训练而创建。
论文：深度信念网络的一种快速学习算法
（a fast learning algorithm for deep belief nets）
十九、deep dream
这是谷歌发明的试图用来提炼深度卷积神经网络获取知识的技术。这种技术可以生成新的图像或转换已有的图片从而给它们一种幻梦般的感觉。
二十、dropout
dropout是用于神经网络防止过拟合的正则化技术。它通过在每次训练迭代中，随机设置神经元中的一小部分为0 来阻止神经元共适应（co-adapting）。dropout可以通过多种方式进行解读，例如，从不同网络的指数数字中随机取样。dropout 层通过它们在卷积神经网络中的应用而得到普及，也被应用到了其它层上，包括输入嵌入或循环网络。
论文：dropout: 一种防止神经网络过拟合的简单方法
dropout: a simple way to prevent neural networks fromoverfitting
论文：循环神经网络正则化
recurrent neural network regularization
二十一、嵌入（embedding）
一个嵌入映射到一个输入表征，例如一个词或一句话映射到一个矢量。一种流行的嵌入是词语嵌入（word embedding，国内常用的说法是：词向量），如 word2vec 或 glove。也可以嵌入句子、段落或图像。例如，把图像和他们的文本描述映射到一个共同的嵌入空间，并最小化它们之间的距离，就可以将标签和图像进行匹配。嵌入也可作为监督任务的一部分，例如情感分析（sentiment analysis）。一般地，一个网络的输入层通过预先训练的嵌入进行初始化，然后根据当前任务进行微调（fine-tuned）。
二十二、梯度爆炸问题（exploding gradient problem）
梯度爆炸问题是梯度消失问题（vanishing gradient problem）的对立面。在深度神经网络中，梯度可能会在反向传播过程中爆炸，导致数字溢出。解决梯度爆炸的一个常见技术是梯度裁剪（gradient clipping）。
论文：训练循环神经网络的困难之处
on the difficulty of training recurrent neural networks
二十三、微调（fine-tuning）
fine-tuning使用来自另一个任务（例如一个无监督训练网络）的参数初始化网络，再基于当前任务更新这些参数。例如，自然语言处理架构通常使用 word2vec 这样的预训练的词向量（word embeddings），然后这些词向量会在训练过程中基于特定的任务（如情感分析）进行更新。
二十四、梯度裁剪（gradient clipping）
梯度裁剪是一种在深度较高的网络（通常是循环神经网络）中用于防止梯度爆炸（exploding gradient）的技术。执行梯度裁剪的方法有很多，常见的一种是，当参数矢量的 l2 范数（l2 norm）超过一个特定阈值时，对参数矢量的梯度进行标准化，这个特定阈值根据以下函数确定：新梯度=梯度*阈值/l2范数（梯度）{new_gradients = gradients * threshold / l2_norm(gradients)}。
论文：训练循环神经网络的困难之处
on the difficulty of training recurrent neural networks
二十五、glove
glove是一种为话语获取矢量表征（嵌入）的无监督学习算法。glove 的使用目的和 word2vec 一样，但 glove 具有不同的矢量表征，因为它是在共现（co-occurrence）统计数据上训练的。
论文：glove：用于词汇表征（wordrepresentation）的全局矢量（global vector）
glove: global vectors for word representation
二十六、googlelenet
googlelenet是一种卷积神经网络架构，曾赢得2014 年 ilsvrc 挑战赛。这种网络使用 inception 模块（inception module）以减少参数和提高网络中计算资源的利用率。
论文：使用卷积获得更深
going deeper with convolutions
二十七、gru
gru（gated recurrent unit：门控循环单元）是一种 lstm 单元的简化版本，拥有更少的参数。和lstm cell一样，它使用门控机制，通过防止梯度消失问题（vanishing gradient problem）让循环神经网络可以有效学习长程依赖（long-range dependency）。gru 包含一个复位和更新门，它们可以根据当前时间步骤的新值决定旧记忆中哪些部分需要保留或更新。
论文：为统计机器翻译使用 rnn 编码器-解码器学习短语表征
learning phrase representations using rnn encoder-decoder forstatistical machine translation
二十八、highway layer
highway layer 是使用门控机制控制通过层的信息流的一种神经网络层。堆叠多个 highwaylayer 层可让训练非常深的网络成为可能。highway layer 的基本公式是 t * h(x) + (1 - t) * x。其中， t 是学习过的门控函数，取值在 0 到 1 之间；h(x) 是一个任意的输入变换；x 是输入。
论文：highway networks
二十九、icml
即国际机器学习大会（international conference for machine learning），一个顶级的机器学习会议。
三十、ilsvrc
即 imagenet 大型视觉识别挑战赛（imagenetlarge scale visual recognition challenge），该比赛用于评估大规模对象检测和图像分类的算法。它是计算机视觉领域最受欢迎的学术挑战赛。过去几年中，深度学习让错误率出现了显著下降，从 30% 降到了不到 5%，在许多分类任务中击败了人类。
三十一、inception模块（inception module）
inception模块被用在卷积神经网络中，通过堆叠 1×1 卷积的降维（dimensionality reduction）实现高效计算。
论文：使用卷积获得更深（going deeper with convolutions）
三十二、keras
kears是一个基于 python 的深度学习库，包括许多用于深度神经网络的高层次构建模块。它可以运行在 tensorflow 或 theano 上。
三十三、lstm
长短期记忆（long short-term memory）网络通过使用内存门控机制防止循环神经网络（rnn）中的梯度消失问题（vanishing gradient problem）。使用 lstm 单元计算rnn 中的隐藏状态，可以帮助该网络有效地传播梯度和学习长程依赖（long-range dependency）。
论文：长短期记忆
long short-term memory
三十四、最大池化（max-pooling）
池化（pooling）操作通常被用在卷积神经网络中。一个最大池化层从一块特征中选取最大值。与卷积层一样，池化层也是通过窗口（块）大小和步幅尺寸进行参数化。例如，在一个 10×10 特征矩阵上以 2 的步幅滑动一个 2×2 的窗口，然后选取每个窗口的 4个值中的最大值，得到一个 5×5 特征矩阵。池化层通过只保留最突出的信息来减少表征的维度；在这个图像输入的例子中，它们为转译提供了基本的不变性（即使图像偏移了几个像素，仍可选出同样的最大值）。池化层通常被安插在连续卷积层之间。
三十五、mnist
mnist数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。目前最先进的模型通常能在该测试集中达到 99.5% 或更高的准确度。
三十六、动量（momentum）
动量是梯度下降算法（gradient descent algorithm）的扩展，可以加速和阻抑参数更新。在实际应用中，在梯度下降更新中包含一个动量项，可在深度网络中得到更好的收敛速度（convergence rate）。
论文：通过反向传播（back-propagating error）错误学习表征
三十七、多层感知器（mlp：multilayerperceptron）
多层感知器是一种带有多个全连接层的前馈神经网络，这些全连接层使用非线性激活函数（activationfunction）处理非线性可分的数据。mlp 是多层神经网络或有两层以上的深度神经网络的最基本形式。
三十八、负对数似然（nll：negative loglikelihood）
参见分类交叉熵损失（categorical cross-entropy loss）。
三十九、神经网络机器翻译（nmt：neural machinetranslation）
nmt系统使用神经网络实现语言（如英语和法语）之间的翻译。nmt 系统可以使用双语语料库进行端到端的训练，这有别于需要手工打造特征和开发的传统机器翻译系统。nmt 系统通常使用编码器和解码器循环神经网络实现，它可以分别编码源句和生成目标句。
论文：使用神经网络的序列到序列学习（sequence to sequence learning withneural networks）
论文：为统计机器翻译使用 rnn 编码器-解码器学习短语表征（learning phrase representations using rnn encoder-decoder forstatistical machine translation）
四十、神经图灵机（ntm：neural turing machine）
ntm是可以从案例中推导简单算法的神经网络架构。例如，ntm 可以通过案例的输入和输出学习排序算法。ntm 通常学习记忆和注意机制的某些形式以处理程序执行过程中的状态。
论文：神经图灵机（neural turing machines）
四十一、非线性（nonlinearity）
参见激活函数（activation function）。
四十二、噪音对比估计（nce：noise-contrastiveestimation）
噪音对比估计是通常用于训练带有大输出词汇的分类器的采样损失（sampling loss）。在大量可能的类上计算 softmax 是异常昂贵的。使用 nce，可以将问题降低成二元分类问题，这可以通过训练分类器区别对待取样和「真实」分布以及人工生成的噪声分布来实现。
论文：噪音对比估计：一种用于非标准化统计模型的新估计原理
（noise-contrastive estimation: a new estimation principlefor unnormalized statistical models ）
论文：使用噪音对比估计有效地学习词向量（learning word embeddings efficientlywith noise-contrastive estimation）
四十三、池化
参见最大池化（max-pooling）或平均池化（average-pooling）。
四十四、受限玻尔兹曼机（rbn：restrictedboltzmann machine）
rbn可被看作随机人工神经网络的概率图形模型。rbn 以无监督的形式学习数据的表征。rbn 由可见层、隐藏层和这些层中的二元神经元的连接构成。rbn 可以使用对比散度（contrastive divergence）进行有效的训练，这是梯度下降的一种近似。
论文：受限玻尔兹曼机简介（an introduction to restricted boltzmannmachines）
四十五、循环神经网络（rnn：recurrent neuralnetwork）
rnn模型通过隐藏状态（或称记忆）连续相互作用。它可以使用最多 n 个输入，并产生最多 n 个输出。例如，输入是一个句子，输出是每个单词的词性标注（part-of-speechtag）（n 到 n），或是这个句子的情感分类（n 到 1）；再如，输入是单个图像，输出是描述该图像所对应一系列词语（1 到 n）。在每一个时间步骤中，rnn会基于当前输入和之前的隐藏状态，计算新的隐藏状态「记忆」。其中，「循环（recurrent）」一词是指，在每一步中都使用了同样的参数，该网络根据不同的输入执行同样的计算。
四十六、递归神经网络（recursive neural network）
递归神经网络是循环神经网络的树状结构的一种泛化（generalization）。每一次递归都使用相同的权重。就像 rnn 一样，递归神经网络可以使用向后传播（backpropagation）进行端到端的训练。尽管可以学习树结构以将其用作优化问题的一部分，但递归神经网络通常被用在已有预定义结构的问题中，如自然语言处理的解析树中。
论文：使用递归神经网络解析自然场景和自然语言（parsing natural scenes and naturallanguage with recursive neural networks ）
四十七、relu
线性修正单元（rectified linear unit）常在深度神经网络中被用作激活函数。它们的定义是 f(x) = max(0, x) 。较于tanh 等函数，relu往往很稀疏（它们的活化可以很容易设置为 0），而且它们受到梯度消失问题的影响也更小。relu 主要被用在卷积神经网络中用作激活函数。relu 存在几种变体，如leaky relus、parametric relu (prelu) 或更为流畅的 softplus近似。
论文：深入研究修正器（rectifiers）：在 imagenet 分类上超越人类水平的性能（delving deep into rectifiers: surpassing human-level performance onimagenet classification）
论文：修正非线性改进神经网络声学模型（rectifier nonlinearities improve neuralnetwork acoustic models ）
论文：线性修正单元改进受限玻尔兹曼机（rectified linear units improverestricted boltzmann machines ）
四十八、残差网络（resnet）
深度残差网络（deep residual network）赢得了2015 年的 ilsvrc 挑战赛。这些网络的工作方式是，引入跨层堆栈的快捷连接，让优化器可以学习更「容易」的残差映射（residual mapping）而非更为复杂的原映射（original mapping）。这些快捷连接与 highway layer 类似，但它们与数据无关且不会引入额外的参数或训练复杂度。resnet在 imagenet 测试集中实现了 3.57% 的错误率。
论文：用于图像识别的深度残差网络（deep residual learning for imagerecognition）
四十九、rmsprop
rmsprop是一种基于梯度的优化算法。它与 adagrad 类似，但引入了一个额外的衰减项抵消 adagrad 下降的学习率。
五十、序列到序列（seq2seq）
序列到序列（sequence-to-sequence）模型读取一个序列（如一个句子）作为输入，然后产生另一个序列作为输出。它与标准的 rnn 不同。在标准的 rnn 中，输入序列会在网络开始产生任何输出之前被完整地读取。通常，seq2seq 通过两个分别作为编码器和解码器的 rnn 实现。神经网络机器翻译是典型的 seq2seq 模型。
论文：使用神经网络的序列到序列学习（sequence to sequence learning withneural networks）
五十一、随机梯度下降（sgd：stochastic gradientdescent）
随机梯度下降是用于训练阶段学习网络参数的基于梯度的优化算法。梯度通常使用反向传播算法计算。使用微小批量版本的 sgd，其中的参数更新基于批案例而非单个案例进行执行，这能增加计算效率。vanilla sgd 存在许多扩展，包括动量（momentum）、adagrad、rmsprop、adadelta或 adam。
论文：用于在线学习和随机优化的自适应次梯度方法（adaptive subgradient methods foronline learning and stochastic optimization）
五十二、softmax
softmax函数通常用于将原始分数（raw score）的矢量转换成用于分类的神经网络的输出层上的类概率（class probability）。它通过对归一化常数（normalizationconstant）进行指数化和相除运算而对分数进行规范化。如果我们正在处理大量的类，例如机器翻译中的大量词汇，计算归一化常数是很昂贵的。有许多种可以让计算更高效的替代选择，如分层 softmax（hierarchical softmax），或使用基于取样的损失函数，如 nce。
五十三、tensorflow
tensorflow是一个开源 c ++ / python 软件库，用于使用数据流图的数值计算，尤其是深度神经网络。它由谷歌创建。在设计方面，它最类似于 theano，但比 caffe 或keras 更低级。
五十四、theano
theano是一个让你可以定义、优化和评估数学表达式的 python 库。它包含许多用于深度神经网络的构造模块。theano 是类似于 tensorflow 的低级别库。更高级别的库包括keras 和 caffe。
五十五、梯度消失问题（vanishing gradient problem）
梯度消失问题出现在使用梯度很小（在 0 到 1 的范围内）的激活函数的非常深的神经网络中，通常是循环神经网络。因为这些小梯度会在反向传播中相乘，它们往往在这些层中传播时「消失」，从而让网络无法学习长程依赖。解决这一问题的常用方法是，使用 relu 这样的不受小梯度影响的激活函数，或使用明确针对消失梯度问题的架构，如lstm。这个问题的反面被称为梯度爆炸问题（exploding gradient problem）。
论文：训练循环神经网络的困难之处（on the difficulty of training recurrentneural networks）
五十六、vgg
vgg是在 2014 年 imagenet 定位和分类比赛中分别获得第一和第二名的卷积神经网络模型。这个 vgg 模型包含 16-19 个权重层，并使用了大小为 3×3 和 1×1 的小型卷积过滤器。
论文：用于大规模图像识别的非常深度的卷积网络（very deep convolutional networksfor large-scale image recognition）
五十七、word2vec
word2vec是一种试图通过预测文档中话语的上下文来学习词向量（word embedding）的算法和工具 (https://code.google.com/p/word2vec/)。最终得到的词矢量（word vector）有一些有趣的性质，例如vector('queen') ~=vector('king') - vector('man') + vector('woman') （女王~=国王-男人+女人）。两个不同的目标函数可以用来学习这些嵌入：skip-gram 目标函数尝试预测一个词的上下文，cbow 目标函数则尝试从上下文预测这个词。
论文：向量空间中词汇表征的有效评估（efficient estimation of wordrepresentations in vector space）
论文：分布式词汇和短语表征以及他们的组合性（distributed representations of wordsand phrases and their compositionality）
论文：解释 word2vec 参数学习（word2vecparameter learning explained）
高压断路器和隔离开关的区别 开关操作机构的分类有哪些
基于纳流体的渗透能量转换技术
魅族21，超越时代的旗舰之作？
紫光展锐5G直播活动等你来
构建车联网产业集群该怎样去做
深度学习的57个名词解释及相关论文资料
浅谈超声波镜头清洗(ULC)技术
手机无线充电器方案设计
人工智能如何支持5G业务创新
Note7爆炸之后三星将为自己正名：推可折叠手机
苹果公司为挽回用户可能今年要推出廉价版iphonex
移动医疗工具对医院信息安全影响几何？
红米发布首款WiFi6路由器_价格有惊喜
网络变压器等效电路及网络变压器中间抽头作用详解
firefly百度人脸识别开发套件介绍
人形机器人为何这么火爆
ChatGPT是怎么看EUV光刻的呢？
十月积分抽奖活动
比亚迪发布2021年1月产销快报
边缘网关的作用 高性能积木式边缘网关USR-M300介绍
为了让神经网络能够学习复杂的决策边界（decision boundary），我们在其一些层应用一个非线性激活函数。常用的函数有sigmoid、tanh、relu（rectified linear unit 线性修正单元）和以及这些函数的变体。
二、adadelta
adadelta是基于梯度下降的学习算法，可以随时间调整每个参数的学习率，它比超参数（hyperparameter）更敏感而且可能会降低学习率。adadelta 类似于 rmsprop，而且可被用来替代 vanilla sgd。
论文：adadelta：一种自适应学习率方法
三、adagrad
adagrad是一种自适应学习率算法，能够随时间跟踪平方梯度并自动适应每个参数的学习率。它可被用来替代vanillasgd (#sgd)，稀疏数据上更是特别有用，可以将更高的学习率分配给更新不频繁的参数。
论文：用于在线学习和随机优化的自适应次梯度方法
四、adam
adam是类似于 rmsprop 的自适应学习率算法，它通过使用梯度的第一和第二时刻的运行平均值（running average）直接估计，并具有偏差校正功能。
论文：adam：一种随机优化方法
五、仿射层（affine layer）
这是神经网络中的一个全连接层。仿射（affine）的意思是前面一层中的每一个神经元都连接到当前层中的每一个神经元。在许多方面，这是神经网络的「标准」层。仿射层通常被加在卷积神经网络或循环神经网络做出最终预测前顶层。仿射层的一般形式为 y = f(wx + b)，其中 x 是层输入，w 是参数，b 是一个偏差矢量，f 是一个非线性激活函数。
六、注意机制（attention mechanism）
注意机制由人类视觉注意所启发，是一种关注图像中特定部分的能力。注意机制可被整合到语言处理和图像识别的架构中，以帮助网络学习在做出预测时应该「关注」什么。
七、alexnet
alexnet是一种卷积神经网络架构的名字，这种架构曾在 2012 年 ilsvrc 挑战赛中以巨大优势获胜，它使导致人们重新关注对用于图像识别的卷积神经网络（cnn）。它由 5 个卷积层组成。其中一些后面跟随着最大池化（max-pooling）层和带有最终 1000 条路径的 softmax (1000-way softmax)的 3个全连接层。alexnet 被引入到了使用深度卷积神经网络的 imagenet 分类中。
八、自编码器（autoencoder）
自编码器是一种神经网络模型，它的目标是预测输入自身，这通常通过网络中某个地方的「瓶颈（bottleneck）」实现。通过引入瓶颈，使得网络学习输入更低维度的表征，从而将输入压缩成一个好的表征。自编码器和 pca 等降维技术相关，但因为它们的非线性本质，它们可以学习更为复杂的映射。目前已有一些范围涵盖较广的自编码器存在，包括降噪自编码器（denoising autoencoders）、变自编码器（variationalautoencoders）和序列自编码器（sequence autoencoders）。
降噪自编码器论文：
stacked denoising autoencoders: learning useful representationsin a deep network with a local denoising criterion
变自编码器论文：
auto-encoding variational bayes
序列自编码器论文：
semi-supervised sequence learning
九、平均池化（average-pooling）
平均池化是一种在卷积神经网络中用于图像识别的池化（pooling）技术。它的原理是，在特征的局部区域上滑动窗口（如像素），然后再取窗口中所有值的平均值。它将输入表征压缩成一种更低维度的表征。
十、反向传播（backpropagation）
反向传播是一种在神经网络中用来有效地计算梯度的算法，或称为前馈计算图（feedforwardcomputational graph）。它可以归结成从网络输出开始应用分化的链式法则，然后向后传播梯度。
论文：
learning representations by back-propagating errors
十一、通过时间的反向传播bptt：backpropagationthrough time
通过时间的反向传播是应用于循环神经网络（rnn）的反向传播算法，可被看作是应用于 rnn 的标准反向传播算法，其中的每一个时间步骤（time step）都代表一个计算层，而且它的参数是跨计算层共享的。
rnn在所有的时间步骤中都共享了同样的参数，一个时间步骤的错误必然能「通过时间」反向到之前所有的时间步骤，该算法因此得名。处理长序列（数百个输入）时，为降低计算成本常常使用一种删节版的 bptt。删节的 bptt 会在固定数量的步骤之后停止反向传播错误。
论文：
backpropagation through time: what it does and how to do it
十二、分批标准化（bn：batch normalization）
分批标准化是一种按小批量的方式标准化层输入的技术。它能加速训练过程，允许使用更高的学习率，还可用作规范器（regularizer）。分批标准化在卷积和前馈神经网络中应用较多，但尚未应用到循环神经网络上。
论文：分批标准化：通过减少内部协变量位移（covariate shift）加速深度网络训练（batch normalization: accelerating deep network training by reducinginternal covariate shift）
论文：使用分批标准化的循环神经网络（batch normalized recurrent neuralnetworks）
十三、双向循环神经网络（bidirectional rnn）
双向循环神经网络是一类包含两个方向不同的 rnn 的神经网络。其中的前向 rnn 从起点向终点读取输入序列，而反向 rnn 则从终点向起点读取。这两个 rnn 互相彼此堆叠，它们的状态通常通过附加两个矢量的方式进行组合。双向 rnn 常被用在自然语言问题中，因为在自然语言中我们需要同时考虑话语的前后上下文以做出预测。
论文：双向循环神经网络（bidirectional recurrent neural networks）
十四、caffe
caffe是由伯克利大学视觉和学习中心开发的一种深度学习框架。在视觉任务和卷积神经网络模型中，caffe应用较多。
十五、分类交叉熵损失（categorical cross-entropy loss）
分类交叉熵损失也被称为负对数似然（negative log likelihood）。这是一种用于解决分类问题的流行的损失函数，可用于测量两种概率分布（通常是真实标签和预测标签）之间的相似性。它可用 l = -sum(y * log(y_prediction)) 表示，其中 y 是真实标签的概率分布（通常是一个one-hot vector），y_prediction 是预测标签的概率分布，通常来自一个 softmax。
十六、信道（channel）
深度学习模型的输入数据可以有多个信道。图像就是个典型的例子，它有红、绿和蓝三个颜色信道。一个图像可以被表示成一个三维的张量（tensor），其中的维度对应于信道、高度和宽度。自然语言数据也可以有多个信道。
十七、卷积神经网络（cnn/convnet：convolutionalneural network）
cnn使用卷积连接从输入的局部区域提取特征。大部分 cnn 都包含了卷积层、池化层和仿射层的组合。cnn 凭借其在视觉识别任务的卓越性能而获得普及，它已经在该领域保持了好几年的领先地位。
十八、深度信念网络（dbn：deep belief network）
dbn是一类以无监督的方式学习数据的分层表征的概率图形模型。dbn 由多个隐藏层组成，这些隐藏层每一对连续层之间的神经元相互连接。dbn 通过堆叠多个 rbn（限制波尔兹曼机）并一个接一个地训练而创建。
论文：深度信念网络的一种快速学习算法
（a fast learning algorithm for deep belief nets）
十九、deep dream
这是谷歌发明的试图用来提炼深度卷积神经网络获取知识的技术。这种技术可以生成新的图像或转换已有的图片从而给它们一种幻梦般的感觉。
二十、dropout
dropout是用于神经网络防止过拟合的正则化技术。它通过在每次训练迭代中，随机设置神经元中的一小部分为0 来阻止神经元共适应（co-adapting）。dropout可以通过多种方式进行解读，例如，从不同网络的指数数字中随机取样。dropout 层通过它们在卷积神经网络中的应用而得到普及，也被应用到了其它层上，包括输入嵌入或循环网络。
论文：dropout: 一种防止神经网络过拟合的简单方法
dropout: a simple way to prevent neural networks fromoverfitting
论文：循环神经网络正则化
recurrent neural network regularization
二十一、嵌入（embedding）
一个嵌入映射到一个输入表征，例如一个词或一句话映射到一个矢量。一种流行的嵌入是词语嵌入（word embedding，国内常用的说法是：词向量），如 word2vec 或 glove。也可以嵌入句子、段落或图像。例如，把图像和他们的文本描述映射到一个共同的嵌入空间，并最小化它们之间的距离，就可以将标签和图像进行匹配。嵌入也可作为监督任务的一部分，例如情感分析（sentiment analysis）。一般地，一个网络的输入层通过预先训练的嵌入进行初始化，然后根据当前任务进行微调（fine-tuned）。
二十二、梯度爆炸问题（exploding gradient problem）
梯度爆炸问题是梯度消失问题（vanishing gradient problem）的对立面。在深度神经网络中，梯度可能会在反向传播过程中爆炸，导致数字溢出。解决梯度爆炸的一个常见技术是梯度裁剪（gradient clipping）。
论文：训练循环神经网络的困难之处
on the difficulty of training recurrent neural networks
二十三、微调（fine-tuning）
fine-tuning使用来自另一个任务（例如一个无监督训练网络）的参数初始化网络，再基于当前任务更新这些参数。例如，自然语言处理架构通常使用 word2vec 这样的预训练的词向量（word embeddings），然后这些词向量会在训练过程中基于特定的任务（如情感分析）进行更新。
二十四、梯度裁剪（gradient clipping）
梯度裁剪是一种在深度较高的网络（通常是循环神经网络）中用于防止梯度爆炸（exploding gradient）的技术。执行梯度裁剪的方法有很多，常见的一种是，当参数矢量的 l2 范数（l2 norm）超过一个特定阈值时，对参数矢量的梯度进行标准化，这个特定阈值根据以下函数确定：新梯度=梯度*阈值/l2范数（梯度）{new_gradients = gradients * threshold / l2_norm(gradients)}。
论文：训练循环神经网络的困难之处
on the difficulty of training recurrent neural networks
二十五、glove
glove是一种为话语获取矢量表征（嵌入）的无监督学习算法。glove 的使用目的和 word2vec 一样，但 glove 具有不同的矢量表征，因为它是在共现（co-occurrence）统计数据上训练的。
论文：glove：用于词汇表征（wordrepresentation）的全局矢量（global vector）
glove: global vectors for word representation
二十六、googlelenet
googlelenet是一种卷积神经网络架构，曾赢得2014 年 ilsvrc 挑战赛。这种网络使用 inception 模块（inception module）以减少参数和提高网络中计算资源的利用率。
论文：使用卷积获得更深
going deeper with convolutions
二十七、gru
gru（gated recurrent unit：门控循环单元）是一种 lstm 单元的简化版本，拥有更少的参数。和lstm cell一样，它使用门控机制，通过防止梯度消失问题（vanishing gradient problem）让循环神经网络可以有效学习长程依赖（long-range dependency）。gru 包含一个复位和更新门，它们可以根据当前时间步骤的新值决定旧记忆中哪些部分需要保留或更新。
论文：为统计机器翻译使用 rnn 编码器-解码器学习短语表征
learning phrase representations using rnn encoder-decoder forstatistical machine translation
二十八、highway layer
highway layer 是使用门控机制控制通过层的信息流的一种神经网络层。堆叠多个 highwaylayer 层可让训练非常深的网络成为可能。highway layer 的基本公式是 t * h(x) + (1 - t) * x。其中， t 是学习过的门控函数，取值在 0 到 1 之间；h(x) 是一个任意的输入变换；x 是输入。
论文：highway networks
二十九、icml
即国际机器学习大会（international conference for machine learning），一个顶级的机器学习会议。
三十、ilsvrc
即 imagenet 大型视觉识别挑战赛（imagenetlarge scale visual recognition challenge），该比赛用于评估大规模对象检测和图像分类的算法。它是计算机视觉领域最受欢迎的学术挑战赛。过去几年中，深度学习让错误率出现了显著下降，从 30% 降到了不到 5%，在许多分类任务中击败了人类。
三十一、inception模块（inception module）
inception模块被用在卷积神经网络中，通过堆叠 1×1 卷积的降维（dimensionality reduction）实现高效计算。
论文：使用卷积获得更深（going deeper with convolutions）
三十二、keras
kears是一个基于 python 的深度学习库，包括许多用于深度神经网络的高层次构建模块。它可以运行在 tensorflow 或 theano 上。
三十三、lstm
长短期记忆（long short-term memory）网络通过使用内存门控机制防止循环神经网络（rnn）中的梯度消失问题（vanishing gradient problem）。使用 lstm 单元计算rnn 中的隐藏状态，可以帮助该网络有效地传播梯度和学习长程依赖（long-range dependency）。
论文：长短期记忆
long short-term memory
三十四、最大池化（max-pooling）
池化（pooling）操作通常被用在卷积神经网络中。一个最大池化层从一块特征中选取最大值。与卷积层一样，池化层也是通过窗口（块）大小和步幅尺寸进行参数化。例如，在一个 10×10 特征矩阵上以 2 的步幅滑动一个 2×2 的窗口，然后选取每个窗口的 4个值中的最大值，得到一个 5×5 特征矩阵。池化层通过只保留最突出的信息来减少表征的维度；在这个图像输入的例子中，它们为转译提供了基本的不变性（即使图像偏移了几个像素，仍可选出同样的最大值）。池化层通常被安插在连续卷积层之间。
三十五、mnist
mnist数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。目前最先进的模型通常能在该测试集中达到 99.5% 或更高的准确度。
三十六、动量（momentum）
动量是梯度下降算法（gradient descent algorithm）的扩展，可以加速和阻抑参数更新。在实际应用中，在梯度下降更新中包含一个动量项，可在深度网络中得到更好的收敛速度（convergence rate）。
论文：通过反向传播（back-propagating error）错误学习表征
三十七、多层感知器（mlp：multilayerperceptron）
多层感知器是一种带有多个全连接层的前馈神经网络，这些全连接层使用非线性激活函数（activationfunction）处理非线性可分的数据。mlp 是多层神经网络或有两层以上的深度神经网络的最基本形式。
三十八、负对数似然（nll：negative loglikelihood）
参见分类交叉熵损失（categorical cross-entropy loss）。
三十九、神经网络机器翻译（nmt：neural machinetranslation）
nmt系统使用神经网络实现语言（如英语和法语）之间的翻译。nmt 系统可以使用双语语料库进行端到端的训练，这有别于需要手工打造特征和开发的传统机器翻译系统。nmt 系统通常使用编码器和解码器循环神经网络实现，它可以分别编码源句和生成目标句。
论文：使用神经网络的序列到序列学习（sequence to sequence learning withneural networks）
论文：为统计机器翻译使用 rnn 编码器-解码器学习短语表征（learning phrase representations using rnn encoder-decoder forstatistical machine translation）
四十、神经图灵机（ntm：neural turing machine）
ntm是可以从案例中推导简单算法的神经网络架构。例如，ntm 可以通过案例的输入和输出学习排序算法。ntm 通常学习记忆和注意机制的某些形式以处理程序执行过程中的状态。
论文：神经图灵机（neural turing machines）
四十一、非线性（nonlinearity）
参见激活函数（activation function）。
四十二、噪音对比估计（nce：noise-contrastiveestimation）
噪音对比估计是通常用于训练带有大输出词汇的分类器的采样损失（sampling loss）。在大量可能的类上计算 softmax 是异常昂贵的。使用 nce，可以将问题降低成二元分类问题，这可以通过训练分类器区别对待取样和「真实」分布以及人工生成的噪声分布来实现。
论文：噪音对比估计：一种用于非标准化统计模型的新估计原理
（noise-contrastive estimation: a new estimation principlefor unnormalized statistical models ）
论文：使用噪音对比估计有效地学习词向量（learning word embeddings efficientlywith noise-contrastive estimation）
四十三、池化
参见最大池化（max-pooling）或平均池化（average-pooling）。
四十四、受限玻尔兹曼机（rbn：restrictedboltzmann machine）
rbn可被看作随机人工神经网络的概率图形模型。rbn 以无监督的形式学习数据的表征。rbn 由可见层、隐藏层和这些层中的二元神经元的连接构成。rbn 可以使用对比散度（contrastive divergence）进行有效的训练，这是梯度下降的一种近似。
论文：受限玻尔兹曼机简介（an introduction to restricted boltzmannmachines）
四十五、循环神经网络（rnn：recurrent neuralnetwork）
rnn模型通过隐藏状态（或称记忆）连续相互作用。它可以使用最多 n 个输入，并产生最多 n 个输出。例如，输入是一个句子，输出是每个单词的词性标注（part-of-speechtag）（n 到 n），或是这个句子的情感分类（n 到 1）；再如，输入是单个图像，输出是描述该图像所对应一系列词语（1 到 n）。在每一个时间步骤中，rnn会基于当前输入和之前的隐藏状态，计算新的隐藏状态「记忆」。其中，「循环（recurrent）」一词是指，在每一步中都使用了同样的参数，该网络根据不同的输入执行同样的计算。
四十六、递归神经网络（recursive neural network）
递归神经网络是循环神经网络的树状结构的一种泛化（generalization）。每一次递归都使用相同的权重。就像 rnn 一样，递归神经网络可以使用向后传播（backpropagation）进行端到端的训练。尽管可以学习树结构以将其用作优化问题的一部分，但递归神经网络通常被用在已有预定义结构的问题中，如自然语言处理的解析树中。
论文：使用递归神经网络解析自然场景和自然语言（parsing natural scenes and naturallanguage with recursive neural networks ）
四十七、relu
线性修正单元（rectified linear unit）常在深度神经网络中被用作激活函数。它们的定义是 f(x) = max(0, x) 。较于tanh 等函数，relu往往很稀疏（它们的活化可以很容易设置为 0），而且它们受到梯度消失问题的影响也更小。relu 主要被用在卷积神经网络中用作激活函数。relu 存在几种变体，如leaky relus、parametric relu (prelu) 或更为流畅的 softplus近似。
论文：深入研究修正器（rectifiers）：在 imagenet 分类上超越人类水平的性能（delving deep into rectifiers: surpassing human-level performance onimagenet classification）
论文：修正非线性改进神经网络声学模型（rectifier nonlinearities improve neuralnetwork acoustic models ）
论文：线性修正单元改进受限玻尔兹曼机（rectified linear units improverestricted boltzmann machines ）
四十八、残差网络（resnet）
深度残差网络（deep residual network）赢得了2015 年的 ilsvrc 挑战赛。这些网络的工作方式是，引入跨层堆栈的快捷连接，让优化器可以学习更「容易」的残差映射（residual mapping）而非更为复杂的原映射（original mapping）。这些快捷连接与 highway layer 类似，但它们与数据无关且不会引入额外的参数或训练复杂度。resnet在 imagenet 测试集中实现了 3.57% 的错误率。
论文：用于图像识别的深度残差网络（deep residual learning for imagerecognition）
四十九、rmsprop
rmsprop是一种基于梯度的优化算法。它与 adagrad 类似，但引入了一个额外的衰减项抵消 adagrad 下降的学习率。
五十、序列到序列（seq2seq）
序列到序列（sequence-to-sequence）模型读取一个序列（如一个句子）作为输入，然后产生另一个序列作为输出。它与标准的 rnn 不同。在标准的 rnn 中，输入序列会在网络开始产生任何输出之前被完整地读取。通常，seq2seq 通过两个分别作为编码器和解码器的 rnn 实现。神经网络机器翻译是典型的 seq2seq 模型。
论文：使用神经网络的序列到序列学习（sequence to sequence learning withneural networks）
五十一、随机梯度下降（sgd：stochastic gradientdescent）
随机梯度下降是用于训练阶段学习网络参数的基于梯度的优化算法。梯度通常使用反向传播算法计算。使用微小批量版本的 sgd，其中的参数更新基于批案例而非单个案例进行执行，这能增加计算效率。vanilla sgd 存在许多扩展，包括动量（momentum）、adagrad、rmsprop、adadelta或 adam。
论文：用于在线学习和随机优化的自适应次梯度方法（adaptive subgradient methods foronline learning and stochastic optimization）
五十二、softmax
softmax函数通常用于将原始分数（raw score）的矢量转换成用于分类的神经网络的输出层上的类概率（class probability）。它通过对归一化常数（normalizationconstant）进行指数化和相除运算而对分数进行规范化。如果我们正在处理大量的类，例如机器翻译中的大量词汇，计算归一化常数是很昂贵的。有许多种可以让计算更高效的替代选择，如分层 softmax（hierarchical softmax），或使用基于取样的损失函数，如 nce。
五十三、tensorflow
tensorflow是一个开源 c ++ / python 软件库，用于使用数据流图的数值计算，尤其是深度神经网络。它由谷歌创建。在设计方面，它最类似于 theano，但比 caffe 或keras 更低级。
五十四、theano
theano是一个让你可以定义、优化和评估数学表达式的 python 库。它包含许多用于深度神经网络的构造模块。theano 是类似于 tensorflow 的低级别库。更高级别的库包括keras 和 caffe。
五十五、梯度消失问题（vanishing gradient problem）
梯度消失问题出现在使用梯度很小（在 0 到 1 的范围内）的激活函数的非常深的神经网络中，通常是循环神经网络。因为这些小梯度会在反向传播中相乘，它们往往在这些层中传播时「消失」，从而让网络无法学习长程依赖。解决这一问题的常用方法是，使用 relu 这样的不受小梯度影响的激活函数，或使用明确针对消失梯度问题的架构，如lstm。这个问题的反面被称为梯度爆炸问题（exploding gradient problem）。
论文：训练循环神经网络的困难之处（on the difficulty of training recurrentneural networks）
五十六、vgg
vgg是在 2014 年 imagenet 定位和分类比赛中分别获得第一和第二名的卷积神经网络模型。这个 vgg 模型包含 16-19 个权重层，并使用了大小为 3×3 和 1×1 的小型卷积过滤器。
论文：用于大规模图像识别的非常深度的卷积网络（very deep convolutional networksfor large-scale image recognition）
五十七、word2vec
word2vec是一种试图通过预测文档中话语的上下文来学习词向量（word embedding）的算法和工具 (https://code.google.com/p/word2vec/)。最终得到的词矢量（word vector）有一些有趣的性质，例如vector('queen') ~=vector('king') - vector('man') + vector('woman') （女王~=国王-男人+女人）。两个不同的目标函数可以用来学习这些嵌入：skip-gram 目标函数尝试预测一个词的上下文，cbow 目标函数则尝试从上下文预测这个词。
论文：向量空间中词汇表征的有效评估（efficient estimation of wordrepresentations in vector space）
论文：分布式词汇和短语表征以及他们的组合性（distributed representations of wordsand phrases and their compositionality）
论文：解释 word2vec 参数学习（word2vecparameter learning explained）
高压断路器和隔离开关的区别 开关操作机构的分类有哪些
基于纳流体的渗透能量转换技术
魅族21，超越时代的旗舰之作？
紫光展锐5G直播活动等你来
构建车联网产业集群该怎样去做
深度学习的57个名词解释及相关论文资料
浅谈超声波镜头清洗(ULC)技术
手机无线充电器方案设计
人工智能如何支持5G业务创新
Note7爆炸之后三星将为自己正名：推可折叠手机
苹果公司为挽回用户可能今年要推出廉价版iphonex
移动医疗工具对医院信息安全影响几何？
红米发布首款WiFi6路由器_价格有惊喜
网络变压器等效电路及网络变压器中间抽头作用详解
firefly百度人脸识别开发套件介绍
人形机器人为何这么火爆
ChatGPT是怎么看EUV光刻的呢？
十月积分抽奖活动
比亚迪发布2021年1月产销快报
边缘网关的作用 高性能积木式边缘网关USR-M300介绍