NLP

记录自己学习到的NLP知识。

注意事项：

内容中有数学公式，因为github不支持LaTex，这里推荐一个在Chrome中的解决方案，安装插件GitHub with MathJax即可在Chrome中正常查看数学公式（该插件对公式换行符号\\解析为单个\，导致公式换行有问题，虽然可以通过\\\\来换行，但会影响原本正常的解析器的布局，暂时先不管了，你们自己判断换行位置吧，[捂脸哭笑]）。

1. 认识数据集

• 中文数据集：THUCNews
• 英文数据集：IMDB

2. 评估

• 模型评估

3. N元语法

• N元语法

4. 分词

• 分词

5. 特征抽取

• 特征抽取
• 熵

6. 模型

• 朴素贝叶斯

• 感知机

• SVM

• word2vec

• FastText

• TextCNN

• RNN

• LSTM

• Attention

• HAN (Hierarchical Attention Networks)

• Transformer

• Universal Transformers

• Transformer-XL

• ELMo

• GPT

• BERT

• BERT-wwm

• XLNet

7. 基础

• Huffman编码
• 负采样算法
• 拉格朗日乘子法

8. 代码实现

• TextCNN
• TextRNN
• HAN

附录

• 不错仓库列表
• markdown语法
• nlp专业词汇中英文列表