PyTorch教程-11.6. 自注意力和位置编码
在深度学习中，我们经常使用 cnn 或 rnn 对序列进行编码。现在考虑到注意力机制，想象一下将一系列标记输入注意力机制，这样在每个步骤中，每个标记都有自己的查询、键和值。在这里，当在下一层计算令牌表示的值时，令牌可以（通过其查询向量）参与每个其他令牌（基于它们的键向量进行匹配）。使用完整的查询键兼容性分数集，我们可以通过在其他标记上构建适当的加权和来为每个标记计算表示。因为每个标记都关注另一个标记（不同于解码器步骤关注编码器步骤的情况），这种架构通常被描述为自注意力模型 （lin等。, 2017 年， vaswani等人。, 2017 )，以及其他地方描述的内部注意力模型 ( cheng et al. , 2016 , parikh et al. , 2016 , paulus et al. , 2017 )。在本节中，我们将讨论使用自注意力的序列编码，包括使用序列顺序的附加信息。
import mathimport torchfrom torch import nnfrom d2l import torch as d2l
import mathfrom mxnet import autograd, np, npxfrom mxnet.gluon import nnfrom d2l import mxnet as d2lnpx.set_np()
import jaxfrom flax import linen as nnfrom jax import numpy as jnpfrom d2l import jax as d2l
no gpu/tpu found, falling back to cpu. (set tf_cpp_min_log_level=0 and rerun for more info.)
import numpy as npimport tensorflow as tffrom d2l import tensorflow as d2l
11.6.1。自注意力
给定一系列输入标记 x1,…,xn任何地方 xi∈rd(1≤i≤n), 它的self-attention输出一个相同长度的序列 y1,…,yn， 在哪里
(11.6.1)yi=f(xi,(x1,x1),…,(xn,xn))∈rd
根据 (11.1.1)中attention pooling的定义。使用多头注意力，以下代码片段计算具有形状（批量大小、时间步数或标记中的序列长度， d). 输出张量具有相同的形状。
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_heads, 0.5)batch_size, num_queries, valid_lens = 2, 4, torch.tensor([3, 2])x = torch.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention(x, x, x, valid_lens), (batch_size, num_queries, num_hiddens))
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_heads, 0.5)attention.initialize()batch_size, num_queries, valid_lens = 2, 4, np.array([3, 2])x = np.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention(x, x, x, valid_lens), (batch_size, num_queries, num_hiddens))
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_heads, 0.5)batch_size, num_queries, valid_lens = 2, 4, jnp.array([3, 2])x = jnp.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention.init_with_output(d2l.get_key(), x, x, x, valid_lens, training=false)[0][0], (batch_size, num_queries, num_hiddens))
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_hiddens, num_hiddens, num_hiddens, num_heads, 0.5)batch_size, num_queries, valid_lens = 2, 4, tf.constant([3, 2])x = tf.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention(x, x, x, valid_lens, training=false), (batch_size, num_queries, num_hiddens))
11.6.2。比较 cnn、rnn 和自注意力
让我们比较一下映射一系列的架构n标记到另一个等长序列，其中每个输入或输出标记由一个d维向量。具体来说，我们将考虑 cnn、rnn 和自注意力。我们将比较它们的计算复杂度、顺序操作和最大路径长度。请注意，顺序操作会阻止并行计算，而序列位置的任意组合之间的较短路径可以更容易地学习序列内的远程依赖关系 （hochreiter等人，2001 年）。
图 11.6.1比较 cnn（省略填充标记）、rnn 和自注意力架构。
考虑一个卷积层，其内核大小为k. 我们将在后面的章节中提供有关使用 cnn 进行序列处理的更多详细信息。现在，我们只需要知道，因为序列长度是n，输入和输出通道的数量都是 d, 卷积层的计算复杂度为 o(knd2). 如图11.6.1 所示，cnn 是分层的，因此有o(1) 顺序操作和最大路径长度是 o(n/k). 例如，x1和 x5位于图 11.6.1中内核大小为 3 的双层 cnn 的接受域内。
在更新 rnn 的隐藏状态时，乘以 d×d权重矩阵和d维隐藏状态的计算复杂度为o(d2). 由于序列长度为n，循环层的计算复杂度为o(nd2). 根据 图 11.6.1，有o(n) 不能并行化的顺序操作，最大路径长度也是o(n).
在自注意力中，查询、键和值都是 n×d矩阵。考虑(11.3.6)中的缩放点积注意力，其中n×d矩阵乘以d×n矩阵，然后是输出 n×n矩阵乘以n×d矩阵。因此，self-attention 有一个o(n2d) 计算复杂度。正如我们在图 11.6.1中看到的 ，每个标记都通过自注意力直接连接到任何其他标记。因此，计算可以与o(1)顺序操作和最大路径长度也是o(1).
总而言之，cnn 和 self-attention 都享有并行计算，并且 self-attention 具有最短的最大路径长度。然而，关于序列长度的二次计算复杂度使得自注意力对于非常长的序列来说非常慢。
11.6.3。位置编码
与循环一个接一个地处理序列标记的 rnn 不同，self-attention 摒弃顺序操作以支持并行计算。但是请注意，self-attention 本身并不能保持序列的顺序。如果模型知道输入序列到达的顺序真的很重要，我们该怎么办？
保留有关标记顺序的信息的主要方法是将其表示为与每个标记相关联的附加输入的模型。这些输入称为位置编码。它们可以被学习或先验固定。我们现在描述一种基于正弦和余弦函数的固定位置编码的简单方案（vaswani等人，2017 年）。
假设输入表示 x∈rn×d包含 d-维度嵌入n序列的标记。位置编码输出x+p使用位置嵌入矩阵 p∈rn×d形状相同，其元素在ith行和 (2j)th或者(2j+1)th专栏是
(11.6.2)pi,2j=sin(i100002j/d),pi,2j+1=cos(i100002j/d).
乍一看，这种三角函数设计看起来很奇怪。在解释这个设计之前，让我们先在下面的 positionalencoding类中实现它。
class positionalencoding(nn.module): #@save positional encoding. def __init__(self, num_hiddens, dropout, max_len=1000): super().__init__() self.dropout = nn.dropout(dropout) # create a long enough p self.p = torch.zeros((1, max_len, num_hiddens)) x = torch.arange(max_len, dtype=torch.float32).reshape( -1, 1) / torch.pow(10000, torch.arange( 0, num_hiddens, 2, dtype=torch.float32) / num_hiddens) self.p[:, :, 0::2] = torch.sin(x) self.p[:, :, 1::2] = torch.cos(x) def forward(self, x): x = x + self.p[:, :x.shape[1], :].to(x.device) return self.dropout(x)
class positionalencoding(nn.block): #@save positional encoding. def __init__(self, num_hiddens, dropout, max_len=1000): super().__init__() self.dropout = nn.dropout(dropout) # create a long enough p self.p = np.zeros((1, max_len, num_hiddens)) x = np.arange(max_len).reshape(-1, 1) / np.power( 10000, np.arange(0, num_hiddens, 2) / num_hiddens) self.p[:, :, 0::2] = np.sin(x) self.p[:, :, 1::2] = np.cos(x) def forward(self, x): x = x + self.p[:, :x.shape[1], :].as_in_ctx(x.ctx) return self.dropout(x)
class positionalencoding(nn.module): #@save positional encoding. num_hiddens: int dropout: float max_len: int = 1000 def setup(self): # create a long enough p self.p = jnp.zeros((1, self.max_len, self.num_hiddens)) x = jnp.arange(self.max_len, dtype=jnp.float32).reshape( -1, 1) / jnp.power(10000, jnp.arange( 0, self.num_hiddens, 2, dtype=jnp.float32) / self.num_hiddens) self.p = self.p.at[:, :, 0::2].set(jnp.sin(x)) self.p = self.p.at[:, :, 1::2].set(jnp.cos(x)) @nn.compact def __call__(self, x, training=false): # flax sow api is used to capture intermediate variables self.sow('intermediates', 'p', self.p) x = x + self.p[:, :x.shape[1], :] return nn.dropout(self.dropout)(x, deterministic=not training)
class positionalencoding(tf.keras.layers.layer): #@save positional encoding. def __init__(self, num_hiddens, dropout, max_len=1000): super().__init__() self.dropout = tf.keras.layers.dropout(dropout) # create a long enough p self.p = np.zeros((1, max_len, num_hiddens)) x = np.arange(max_len, dtype=np.float32).reshape( -1,1)/np.power(10000, np.arange( 0, num_hiddens, 2, dtype=np.float32) / num_hiddens) self.p[:, :, 0::2] = np.sin(x) self.p[:, :, 1::2] = np.cos(x) def call(self, x, **kwargs): x = x + self.p[:, :x.shape[1], :] return self.dropout(x, **kwargs)
在位置嵌入矩阵中p，行对应于序列中的位置，列代表不同的位置编码维度。在下面的示例中，我们可以看到6th和7th位置嵌入矩阵的列具有比 8th和9th列。之间的偏移量6th和 7th（同样的8th和 9th) 列是由于正弦和余弦函数的交替。
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)x = pos_encoding(torch.zeros((1, num_steps, encoding_dim)))p = pos_encoding.p[:, :x.shape[1], :]d2l.plot(torch.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in torch.arange(6, 10)])
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)pos_encoding.initialize()x = pos_encoding(np.zeros((1, num_steps, encoding_dim)))p = pos_encoding.p[:, :x.shape[1], :]d2l.plot(np.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in np.arange(6, 10)])
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)params = pos_encoding.init(d2l.get_key(), jnp.zeros((1, num_steps, encoding_dim)))x, inter_vars = pos_encoding.apply(params, jnp.zeros((1, num_steps, encoding_dim)), mutable='intermediates')p = inter_vars['intermediates']['p'][0] # retrieve intermediate value pp = p[:, :x.shape[1], :]d2l.plot(jnp.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in jnp.arange(6, 10)])
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)x = pos_encoding(tf.zeros((1, num_steps, encoding_dim)), training=false)p = pos_encoding.p[:, :x.shape[1], :]d2l.plot(np.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in np.arange(6, 10)])
11.6.3.1。绝对位置信息
为了了解沿编码维度单调降低的频率与绝对位置信息的关系，让我们打印出的二进制表示0,1,…,7. 正如我们所看到的，最低位、第二低位和第三低位分别在每个数字、每两个数字和每四个数字上交替出现。
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
在二进制表示中，较高位的频率比较低位低。类似地，如下面的热图所示，位置编码通过使用三角函数降低编码维度上的频率。由于输出是浮点数，因此这种连续表示比二进制表示更节省空间。
p = p[0, :, :].unsqueeze(0).unsqueeze(0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
p = np.expand_dims(np.expand_dims(p[0, :, :], 0), 0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
p = jnp.expand_dims(jnp.expand_dims(p[0, :, :], axis=0), axis=0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
p = tf.expand_dims(tf.expand_dims(p[0, :, :], axis=0), axis=0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
11.6.3.2。相对位置信息
除了捕获绝对位置信息外，上述位置编码还允许模型轻松学习相对位置的注意。这是因为对于任何固定位置偏移δ, 位置的位置编码i+δ可以用位置的线性投影表示i.
这个投影可以用数学来解释。表示 ωj=1/100002j/d, 任何一对 (pi,2j,pi,2j+1)在 (11.6.2)中可以线性投影到 (pi+δ,2j,pi+δ,2j+1)对于任何固定偏移 δ:
(11.6.3)[cos(δωj)sin(δωj)−sin(δωj)cos(δωj)][pi,2jpi,2j+1]=[cos(δωj)sin(iωj)+sin(δωj)cos(iωj)−sin(δωj)sin(iωj)+cos(δωj)cos(iωj)]=[sin((i+δ)ωj)cos((i+δ)ωj)]=[pi+δ,2jpi+δ,2j+1],
在哪里2×2投影矩阵不依赖于任何位置索引i.
11.6.4。概括
在自我关注中，查询、键和值都来自同一个地方。cnn 和 self-attention 都享有并行计算，并且 self-attention 具有最短的最大路径长度。然而，关于序列长度的二次计算复杂度使得自注意力对于非常长的序列来说非常慢。要使用序列顺序信息，我们可以通过向输入表示添加位置编码来注入绝对或相对位置信息。
11.6.5。练习
假设我们设计了一个深度架构来表示一个序列，通过使用位置编码堆叠自注意力层。可能是什么问题？
你能设计一个可学习的位置编码方法吗？
我们能否根据在自注意力中比较的查询和键之间的不同偏移来分配不同的学习嵌入？提示：你可以参考相对位置嵌入 （huang et al. , 2018 , shaw et al. , 2018）。
石墨烯擂台赛,石墨烯润滑油打破国外垄断
什么是音频变压器，如何制作音频变压器？
无人机变身“牧牛犬”?AI在未来牧场的应用呈现新可能
竟然可以通过这种模式来解决智能制造ITOT融合的难题
面向Zigbee的全集成射频功能的射频前端单芯片AT2401C
PyTorch教程-11.6. 自注意力和位置编码
第三方软件测试机构如何选择？
VIPer26用于12W电源的电压转换器
华为不造车，只会聚焦ICT技术
激光测距仪在建筑装潢设计室修装修上的应用
3D打印机DIY设计：硬件+软件的Arduino开源平台
一加首款OLED智能电视将要发布
未来科技发展的趋势和方向是怎么样的
农田小气候观测站在农作物栽培中的作用
区块链技术可以改善中小企业贷款的困难
i.MX RT1052芯片的核心板，性能和代码详细资料概述
eps电源功能介绍_eps电源输出电压是多少
在Ubuntu上搭建OpenVINO C++程序开发环境
电池技术提升，特斯拉面临新一轮冲击
9种最佳树莓派可用的Pi编程资源介绍
import mathimport torchfrom torch import nnfrom d2l import torch as d2l
import mathfrom mxnet import autograd, np, npxfrom mxnet.gluon import nnfrom d2l import mxnet as d2lnpx.set_np()
import jaxfrom flax import linen as nnfrom jax import numpy as jnpfrom d2l import jax as d2l
no gpu/tpu found, falling back to cpu. (set tf_cpp_min_log_level=0 and rerun for more info.)
import numpy as npimport tensorflow as tffrom d2l import tensorflow as d2l
11.6.1。自注意力
给定一系列输入标记 x1,…,xn任何地方 xi∈rd(1≤i≤n), 它的self-attention输出一个相同长度的序列 y1,…,yn， 在哪里
(11.6.1)yi=f(xi,(x1,x1),…,(xn,xn))∈rd
根据 (11.1.1)中attention pooling的定义。使用多头注意力，以下代码片段计算具有形状（批量大小、时间步数或标记中的序列长度， d). 输出张量具有相同的形状。
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_heads, 0.5)batch_size, num_queries, valid_lens = 2, 4, torch.tensor([3, 2])x = torch.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention(x, x, x, valid_lens), (batch_size, num_queries, num_hiddens))
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_heads, 0.5)attention.initialize()batch_size, num_queries, valid_lens = 2, 4, np.array([3, 2])x = np.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention(x, x, x, valid_lens), (batch_size, num_queries, num_hiddens))
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_heads, 0.5)batch_size, num_queries, valid_lens = 2, 4, jnp.array([3, 2])x = jnp.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention.init_with_output(d2l.get_key(), x, x, x, valid_lens, training=false)[0][0], (batch_size, num_queries, num_hiddens))
num_hiddens, num_heads = 100, 5attention = d2l.multiheadattention(num_hiddens, num_hiddens, num_hiddens, num_hiddens, num_heads, 0.5)batch_size, num_queries, valid_lens = 2, 4, tf.constant([3, 2])x = tf.ones((batch_size, num_queries, num_hiddens))d2l.check_shape(attention(x, x, x, valid_lens, training=false), (batch_size, num_queries, num_hiddens))
11.6.2。比较 cnn、rnn 和自注意力
让我们比较一下映射一系列的架构n标记到另一个等长序列，其中每个输入或输出标记由一个d维向量。具体来说，我们将考虑 cnn、rnn 和自注意力。我们将比较它们的计算复杂度、顺序操作和最大路径长度。请注意，顺序操作会阻止并行计算，而序列位置的任意组合之间的较短路径可以更容易地学习序列内的远程依赖关系 （hochreiter等人，2001 年）。
图 11.6.1比较 cnn（省略填充标记）、rnn 和自注意力架构。
考虑一个卷积层，其内核大小为k. 我们将在后面的章节中提供有关使用 cnn 进行序列处理的更多详细信息。现在，我们只需要知道，因为序列长度是n，输入和输出通道的数量都是 d, 卷积层的计算复杂度为 o(knd2). 如图11.6.1 所示，cnn 是分层的，因此有o(1) 顺序操作和最大路径长度是 o(n/k). 例如，x1和 x5位于图 11.6.1中内核大小为 3 的双层 cnn 的接受域内。
在更新 rnn 的隐藏状态时，乘以 d×d权重矩阵和d维隐藏状态的计算复杂度为o(d2). 由于序列长度为n，循环层的计算复杂度为o(nd2). 根据 图 11.6.1，有o(n) 不能并行化的顺序操作，最大路径长度也是o(n).
在自注意力中，查询、键和值都是 n×d矩阵。考虑(11.3.6)中的缩放点积注意力，其中n×d矩阵乘以d×n矩阵，然后是输出 n×n矩阵乘以n×d矩阵。因此，self-attention 有一个o(n2d) 计算复杂度。正如我们在图 11.6.1中看到的 ，每个标记都通过自注意力直接连接到任何其他标记。因此，计算可以与o(1)顺序操作和最大路径长度也是o(1).
总而言之，cnn 和 self-attention 都享有并行计算，并且 self-attention 具有最短的最大路径长度。然而，关于序列长度的二次计算复杂度使得自注意力对于非常长的序列来说非常慢。
11.6.3。位置编码
与循环一个接一个地处理序列标记的 rnn 不同，self-attention 摒弃顺序操作以支持并行计算。但是请注意，self-attention 本身并不能保持序列的顺序。如果模型知道输入序列到达的顺序真的很重要，我们该怎么办？
保留有关标记顺序的信息的主要方法是将其表示为与每个标记相关联的附加输入的模型。这些输入称为位置编码。它们可以被学习或先验固定。我们现在描述一种基于正弦和余弦函数的固定位置编码的简单方案（vaswani等人，2017 年）。
假设输入表示 x∈rn×d包含 d-维度嵌入n序列的标记。位置编码输出x+p使用位置嵌入矩阵 p∈rn×d形状相同，其元素在ith行和 (2j)th或者(2j+1)th专栏是
(11.6.2)pi,2j=sin(i100002j/d),pi,2j+1=cos(i100002j/d).
乍一看，这种三角函数设计看起来很奇怪。在解释这个设计之前，让我们先在下面的 positionalencoding类中实现它。
class positionalencoding(nn.module): #@save positional encoding. def __init__(self, num_hiddens, dropout, max_len=1000): super().__init__() self.dropout = nn.dropout(dropout) # create a long enough p self.p = torch.zeros((1, max_len, num_hiddens)) x = torch.arange(max_len, dtype=torch.float32).reshape( -1, 1) / torch.pow(10000, torch.arange( 0, num_hiddens, 2, dtype=torch.float32) / num_hiddens) self.p[:, :, 0::2] = torch.sin(x) self.p[:, :, 1::2] = torch.cos(x) def forward(self, x): x = x + self.p[:, :x.shape[1], :].to(x.device) return self.dropout(x)
class positionalencoding(nn.block): #@save positional encoding. def __init__(self, num_hiddens, dropout, max_len=1000): super().__init__() self.dropout = nn.dropout(dropout) # create a long enough p self.p = np.zeros((1, max_len, num_hiddens)) x = np.arange(max_len).reshape(-1, 1) / np.power( 10000, np.arange(0, num_hiddens, 2) / num_hiddens) self.p[:, :, 0::2] = np.sin(x) self.p[:, :, 1::2] = np.cos(x) def forward(self, x): x = x + self.p[:, :x.shape[1], :].as_in_ctx(x.ctx) return self.dropout(x)
class positionalencoding(nn.module): #@save positional encoding. num_hiddens: int dropout: float max_len: int = 1000 def setup(self): # create a long enough p self.p = jnp.zeros((1, self.max_len, self.num_hiddens)) x = jnp.arange(self.max_len, dtype=jnp.float32).reshape( -1, 1) / jnp.power(10000, jnp.arange( 0, self.num_hiddens, 2, dtype=jnp.float32) / self.num_hiddens) self.p = self.p.at[:, :, 0::2].set(jnp.sin(x)) self.p = self.p.at[:, :, 1::2].set(jnp.cos(x)) @nn.compact def __call__(self, x, training=false): # flax sow api is used to capture intermediate variables self.sow('intermediates', 'p', self.p) x = x + self.p[:, :x.shape[1], :] return nn.dropout(self.dropout)(x, deterministic=not training)
class positionalencoding(tf.keras.layers.layer): #@save positional encoding. def __init__(self, num_hiddens, dropout, max_len=1000): super().__init__() self.dropout = tf.keras.layers.dropout(dropout) # create a long enough p self.p = np.zeros((1, max_len, num_hiddens)) x = np.arange(max_len, dtype=np.float32).reshape( -1,1)/np.power(10000, np.arange( 0, num_hiddens, 2, dtype=np.float32) / num_hiddens) self.p[:, :, 0::2] = np.sin(x) self.p[:, :, 1::2] = np.cos(x) def call(self, x, **kwargs): x = x + self.p[:, :x.shape[1], :] return self.dropout(x, **kwargs)
在位置嵌入矩阵中p，行对应于序列中的位置，列代表不同的位置编码维度。在下面的示例中，我们可以看到6th和7th位置嵌入矩阵的列具有比 8th和9th列。之间的偏移量6th和 7th（同样的8th和 9th) 列是由于正弦和余弦函数的交替。
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)x = pos_encoding(torch.zeros((1, num_steps, encoding_dim)))p = pos_encoding.p[:, :x.shape[1], :]d2l.plot(torch.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in torch.arange(6, 10)])
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)pos_encoding.initialize()x = pos_encoding(np.zeros((1, num_steps, encoding_dim)))p = pos_encoding.p[:, :x.shape[1], :]d2l.plot(np.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in np.arange(6, 10)])
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)params = pos_encoding.init(d2l.get_key(), jnp.zeros((1, num_steps, encoding_dim)))x, inter_vars = pos_encoding.apply(params, jnp.zeros((1, num_steps, encoding_dim)), mutable='intermediates')p = inter_vars['intermediates']['p'][0] # retrieve intermediate value pp = p[:, :x.shape[1], :]d2l.plot(jnp.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in jnp.arange(6, 10)])
encoding_dim, num_steps = 32, 60pos_encoding = positionalencoding(encoding_dim, 0)x = pos_encoding(tf.zeros((1, num_steps, encoding_dim)), training=false)p = pos_encoding.p[:, :x.shape[1], :]d2l.plot(np.arange(num_steps), p[0, :, 6:10].t, xlabel='row (position)', figsize=(6, 2.5), legend=[col %d % d for d in np.arange(6, 10)])
11.6.3.1。绝对位置信息
为了了解沿编码维度单调降低的频率与绝对位置信息的关系，让我们打印出的二进制表示0,1,…,7. 正如我们所看到的，最低位、第二低位和第三低位分别在每个数字、每两个数字和每四个数字上交替出现。
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
for i in range(8): print(f'{i} in binary is {i:>03b}')
0 in binary is 0001 in binary is 0012 in binary is 0103 in binary is 0114 in binary is 1005 in binary is 1016 in binary is 1107 in binary is 111
在二进制表示中，较高位的频率比较低位低。类似地，如下面的热图所示，位置编码通过使用三角函数降低编码维度上的频率。由于输出是浮点数，因此这种连续表示比二进制表示更节省空间。
p = p[0, :, :].unsqueeze(0).unsqueeze(0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
p = np.expand_dims(np.expand_dims(p[0, :, :], 0), 0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
p = jnp.expand_dims(jnp.expand_dims(p[0, :, :], axis=0), axis=0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
p = tf.expand_dims(tf.expand_dims(p[0, :, :], axis=0), axis=0)d2l.show_heatmaps(p, xlabel='column (encoding dimension)', ylabel='row (position)', figsize=(3.5, 4), cmap='blues')
11.6.3.2。相对位置信息
除了捕获绝对位置信息外，上述位置编码还允许模型轻松学习相对位置的注意。这是因为对于任何固定位置偏移δ, 位置的位置编码i+δ可以用位置的线性投影表示i.
这个投影可以用数学来解释。表示 ωj=1/100002j/d, 任何一对 (pi,2j,pi,2j+1)在 (11.6.2)中可以线性投影到 (pi+δ,2j,pi+δ,2j+1)对于任何固定偏移 δ:
(11.6.3)[cos(δωj)sin(δωj)−sin(δωj)cos(δωj)][pi,2jpi,2j+1]=[cos(δωj)sin(iωj)+sin(δωj)cos(iωj)−sin(δωj)sin(iωj)+cos(δωj)cos(iωj)]=[sin((i+δ)ωj)cos((i+δ)ωj)]=[pi+δ,2jpi+δ,2j+1],
在哪里2×2投影矩阵不依赖于任何位置索引i.
11.6.4。概括
在自我关注中，查询、键和值都来自同一个地方。cnn 和 self-attention 都享有并行计算，并且 self-attention 具有最短的最大路径长度。然而，关于序列长度的二次计算复杂度使得自注意力对于非常长的序列来说非常慢。要使用序列顺序信息，我们可以通过向输入表示添加位置编码来注入绝对或相对位置信息。
11.6.5。练习
假设我们设计了一个深度架构来表示一个序列，通过使用位置编码堆叠自注意力层。可能是什么问题？
你能设计一个可学习的位置编码方法吗？
我们能否根据在自注意力中比较的查询和键之间的不同偏移来分配不同的学习嵌入？提示：你可以参考相对位置嵌入 （huang et al. , 2018 , shaw et al. , 2018）。
石墨烯擂台赛,石墨烯润滑油打破国外垄断
什么是音频变压器，如何制作音频变压器？
无人机变身“牧牛犬”?AI在未来牧场的应用呈现新可能
竟然可以通过这种模式来解决智能制造ITOT融合的难题
面向Zigbee的全集成射频功能的射频前端单芯片AT2401C
PyTorch教程-11.6. 自注意力和位置编码
第三方软件测试机构如何选择？
VIPer26用于12W电源的电压转换器
华为不造车，只会聚焦ICT技术
激光测距仪在建筑装潢设计室修装修上的应用
3D打印机DIY设计：硬件+软件的Arduino开源平台
一加首款OLED智能电视将要发布
未来科技发展的趋势和方向是怎么样的
农田小气候观测站在农作物栽培中的作用
区块链技术可以改善中小企业贷款的困难
i.MX RT1052芯片的核心板，性能和代码详细资料概述
eps电源功能介绍_eps电源输出电压是多少
在Ubuntu上搭建OpenVINO C++程序开发环境
电池技术提升，特斯拉面临新一轮冲击
9种最佳树莓派可用的Pi编程资源介绍