《自然语言处理入门》思维导图
Query2Label: A Simple Transformer Way to Multi-Label Classification
来自清华-博世机器学习研究中心,将Transformer解码器用于多标签分类,将label embedding作为query,计算与feature map的cross-attention。在MS-COCO、PASCAL VOC、NUS-WIDE和Visual Genome上进行了实验,取得了SOTA结果。
Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents
来自清华刘知远老师组,release了针对法律长文件的预训练语言模型。
Label-Specific Dual Graph Neural Network for Multi-Label Text Classification
ACL2021,来自中国科学院大学。提出LDGN,融入类别信息,基于label occurrence和dynamic reconstruction使用GCN建模。
SimCSE: Simple Contrastive Learning of Sentence Embeddings
来自陈丹琦(https://github.com/danqi)组的文章,利用Dropout作为数据增强,进行对比学习得到句子向量表示,在无监督和有监督的语义表示上刷新SOTA。
Do Transformers Really Perform Bad for Graph Representation?
Graphormer:KDD Cup2021 OGB-LSC赛道的冠军方案
CSAPP Chap7: 链接
CSAPP Chap6: 存储器层次结构
CSAPP Chap5: 优化程序性能
Entity Enhanced BERT Pre-training for Chinese NER
张岳老师的文章,关注如何更充分利用实体信息以增强预训练语言模型在中文NER上的表现(EMNLP 2020)。