NLP＜SOS＞、＜EOS＞、＜UNK＞、＜PAD＞等标识符的含义

1.<SOS>、<BOS>、<GO>：代表一个序列的开始。

2.<EOS>：代表一个序列的结束，作为判断终止的标签。

3.<MASK>：用于遮盖句子中的一些单词。

4.<UNK>：未知字符，代表词典中没有的词。

5.<SEP>: 用于分隔两个输入句子，例如输入句子 A 和 B，要在句子 A，B 后面增加 <SEP> 标志。

6.<CLS> ：放在句子的首位，表示句子的开始，就是classification的意思，通常会在bert等模型出现。

7.<PAD>：补全字符，例如要将句子处理为特定的长度，我们就要在句子前后补<PAD>。

这篇好文章是转载于：学新通技术网