介绍两个few-shot NER中的challenge
01
introduction-现有什么问题、怎么解决
此部分着重介绍了两个few-shot ner中的challenge：limited information challenge和knowledge mismatch challenge。前者主要是指样本数少，后者是指不同的数据集中同一个实体可能被分成了不同的类别标签。（比如“america”在wikipedia被分为geographic , 在 ontonotes中被分为gpe, 在wnut17被分为location ）
本文最重要的思想基于这样一个假设：不论是否是未知的实体类别，都可以用一个概念集中的若干概念来描述（all entity types can be described using the same set of concepts）。这样可以解决knowledge mismatch challenge，而且在给了几个少样本后，可以根据这几个少样本构建新实体类别到概念集的映射，这样可以直接用映射后的若干概念识别实体，进而解决limited information challenge。下图是实体类别到概念集的映射举例。
02
sdnet: self-describing networks for fs-ner
2.1 sdnet核心部分: mention describing、entity generation
这部分将主要介绍sdnet怎么进行命名实体识别的，主要包括：mention describing（从给的sentence构建该实体的concept description）和entity generation（根据给的实体类型逐个生成句子中的实体词）。
以下图为例，输入一个sentence（以[md]作为起始符），sdnet将输出novel series这样的concept description。输入一个以[eg]作为起始符、实体类别名+相关的concept description以及待识别的sentence作为内容的文本，sdnet将输出harry potter is creative work.这样的回答。这两个过程分别对应mention describing和entity generation。
2.2 模型工作流程
a、预训练阶段
左上角的维基百科上有大量的句子，句子中的人物、地点、公司等都有相应的维基百科给的标签和描述。预训练阶段根据2.1部分介绍的模板，进行[md]和[eg]两个任务的seq2seq任务的训练。
b、微调与解码阶段
这部分对应于few-shot ner的少样本阶段。给了一些带标注的少量样本句子，我们知道了这些句子中那些单词是实体部分，把这些实体部分添加到以[md]开头的模板并输入到sdnet中，模型会生成这些实体部分描述，并将生成的描述加入到新类别的概念描述集中，并在预测阶段输入添加了新类别的[eg]开头的模板，根据生成的结果判断待预测的句子中哪些单词部分是该类别的实体。
以上图中为例，给的少样本中iran是gpe类别的实体，sdnet先用[md]开头的模板生成了iran是country的描述，将country加入到属于gpe这个新类别的概念描述集合中，在预测阶段用[eg]开头的模板输入gpe这个类别名、其包含的概念描述以及待识别的句子，生成属于gpe的实体词，完成实体识别。
c、filtering strategy
在众多下游任务中，sdnet可能会遇到难以生成新实体类别描述的情况（或者或生成不准确的描述），因此sdnet在训练阶段可以对于那些不去确定的instance生成other的描述词。如果给少量样本生成的描述词中有0.5以上的other，将在最后的decode阶段直接使用新实体类别名（如gpe）。（实验部分可以看到这个策略带来了一定的提升）
具体实现过程将不再赘述，可以看原文的第4部分，有对预训练和fintune阶段的详细介绍。
03
实验部分
这种借助先验知识的方式，在6个数据集上都取得了很好的效果，尤其是对一些之前的识别效果一直很差的（比如i2b2），这说明这种通用的实体概念集合在各种类别间是通用的。
04
评价
优点：
为少样本ner引用外部知识提供了新思路，且提供了可直接使用的，通用的预训练模型，可以为后来的研究工作提供参考。
可能的缺陷：
在很多新领域下（尤其涉及到domain transfer）的，可能会出现很多无法描述成概念集合的实体类别，出现大量的other，这时只能用实体类别名了，在完全不重叠的领域之间可能效果会不佳。
另外，预训练阶段使用的维基百科，大量的是事件人物地点等这些广泛且常用的，面对实际应用中的非常见实体类别时，可能做不到很好的描述。
在大量的语料中进行训练，可能出现了“泄露”，当然这只是一个猜测。
钠离子电池时代仍遥遥无期？
什么将会是智能家居的中心
弹簧管式压力表的简单介绍
10个项目在“创业顺德”开源芯片生态建设系列活动遴选中突出重围
普莱信推出完整Clip Bond工艺封装设备产品线
介绍两个few-shot NER中的challenge
中国物联网市场潜力巨大 阿里云如何掘金？
在PC上试验MAX6956和MAX6957 SPI和I²C GPIO和LED显示驱动器
浅谈电机堵转及其测试方法
PCB专业术语汇总大全
SIA 赞扬并任命 Deirdre Hanford 为 NSTC 运营商 Natcast 的首席执行官
iPhone新品拆解：探究苹果年度旗舰的内部做工
Saving Energy: Little Things M
斐讯手环w1评测 运动爱好者对它爱不释手
射频封装技术：层压基板和无源器件集成
金砖四国LTE主导能力渐强
什么是推拉力测试机？推拉力测试机的工作原理
安全代币将如何协调市场上的不同标准
上海翌擎科技，汽车数字化解决方案的领军者
典型的RS485通讯电路图
introduction-现有什么问题、怎么解决
此部分着重介绍了两个few-shot ner中的challenge：limited information challenge和knowledge mismatch challenge。前者主要是指样本数少，后者是指不同的数据集中同一个实体可能被分成了不同的类别标签。（比如“america”在wikipedia被分为geographic , 在 ontonotes中被分为gpe, 在wnut17被分为location ）
本文最重要的思想基于这样一个假设：不论是否是未知的实体类别，都可以用一个概念集中的若干概念来描述（all entity types can be described using the same set of concepts）。这样可以解决knowledge mismatch challenge，而且在给了几个少样本后，可以根据这几个少样本构建新实体类别到概念集的映射，这样可以直接用映射后的若干概念识别实体，进而解决limited information challenge。下图是实体类别到概念集的映射举例。
02
sdnet: self-describing networks for fs-ner
2.1 sdnet核心部分: mention describing、entity generation
这部分将主要介绍sdnet怎么进行命名实体识别的，主要包括：mention describing（从给的sentence构建该实体的concept description）和entity generation（根据给的实体类型逐个生成句子中的实体词）。
以下图为例，输入一个sentence（以[md]作为起始符），sdnet将输出novel series这样的concept description。输入一个以[eg]作为起始符、实体类别名+相关的concept description以及待识别的sentence作为内容的文本，sdnet将输出harry potter is creative work.这样的回答。这两个过程分别对应mention describing和entity generation。
2.2 模型工作流程
a、预训练阶段
左上角的维基百科上有大量的句子，句子中的人物、地点、公司等都有相应的维基百科给的标签和描述。预训练阶段根据2.1部分介绍的模板，进行[md]和[eg]两个任务的seq2seq任务的训练。
b、微调与解码阶段
这部分对应于few-shot ner的少样本阶段。给了一些带标注的少量样本句子，我们知道了这些句子中那些单词是实体部分，把这些实体部分添加到以[md]开头的模板并输入到sdnet中，模型会生成这些实体部分描述，并将生成的描述加入到新类别的概念描述集中，并在预测阶段输入添加了新类别的[eg]开头的模板，根据生成的结果判断待预测的句子中哪些单词部分是该类别的实体。
以上图中为例，给的少样本中iran是gpe类别的实体，sdnet先用[md]开头的模板生成了iran是country的描述，将country加入到属于gpe这个新类别的概念描述集合中，在预测阶段用[eg]开头的模板输入gpe这个类别名、其包含的概念描述以及待识别的句子，生成属于gpe的实体词，完成实体识别。
c、filtering strategy
在众多下游任务中，sdnet可能会遇到难以生成新实体类别描述的情况（或者或生成不准确的描述），因此sdnet在训练阶段可以对于那些不去确定的instance生成other的描述词。如果给少量样本生成的描述词中有0.5以上的other，将在最后的decode阶段直接使用新实体类别名（如gpe）。（实验部分可以看到这个策略带来了一定的提升）
具体实现过程将不再赘述，可以看原文的第4部分，有对预训练和fintune阶段的详细介绍。
03
实验部分
这种借助先验知识的方式，在6个数据集上都取得了很好的效果，尤其是对一些之前的识别效果一直很差的（比如i2b2），这说明这种通用的实体概念集合在各种类别间是通用的。
04
评价
优点：
为少样本ner引用外部知识提供了新思路，且提供了可直接使用的，通用的预训练模型，可以为后来的研究工作提供参考。
可能的缺陷：
在很多新领域下（尤其涉及到domain transfer）的，可能会出现很多无法描述成概念集合的实体类别，出现大量的other，这时只能用实体类别名了，在完全不重叠的领域之间可能效果会不佳。
另外，预训练阶段使用的维基百科，大量的是事件人物地点等这些广泛且常用的，面对实际应用中的非常见实体类别时，可能做不到很好的描述。
在大量的语料中进行训练，可能出现了“泄露”，当然这只是一个猜测。
钠离子电池时代仍遥遥无期？
什么将会是智能家居的中心
弹簧管式压力表的简单介绍
10个项目在“创业顺德”开源芯片生态建设系列活动遴选中突出重围
普莱信推出完整Clip Bond工艺封装设备产品线
介绍两个few-shot NER中的challenge
中国物联网市场潜力巨大 阿里云如何掘金？
在PC上试验MAX6956和MAX6957 SPI和I²C GPIO和LED显示驱动器
浅谈电机堵转及其测试方法
PCB专业术语汇总大全
SIA 赞扬并任命 Deirdre Hanford 为 NSTC 运营商 Natcast 的首席执行官
iPhone新品拆解：探究苹果年度旗舰的内部做工
Saving Energy: Little Things M
斐讯手环w1评测 运动爱好者对它爱不释手
射频封装技术：层压基板和无源器件集成
金砖四国LTE主导能力渐强
什么是推拉力测试机？推拉力测试机的工作原理
安全代币将如何协调市场上的不同标准
上海翌擎科技，汽车数字化解决方案的领军者
典型的RS485通讯电路图