深度学习各子领域略览及术语列表

诸神缄默不语-个人CSDN博文目录

最近更新时间：2023.1.5
最早更新时间：2023.1.5

1. 有监督supervised / 无监督unsupervised
2. 分类
   1. 多分类multi-class
   2. 多标签multi-label
   3. 极限多标签文本分类XMTC（NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类）
   4. 虚假新闻检测（NLP课题入门 day 4 虚假新闻检测）
3. 回归
4. generative / discrimination
5. 支持向量机SVM
6. 隐马尔科夫模型HMM（隐马尔科夫模型HMM）
7. 条件随机场CRF（条件随机场CRF（持续更新ing…））
8. 朴素贝叶斯分类器NBC（朴素贝叶斯Naive Bayesian分类器 (NBC) ）
9. MLP
10. 卷积神经网络CNN
11. 循环神经网络RNN（都可以双向Bi-）
    1. LSTM
    2. GRU
12. 置信度传播belief propagation
13. n-gram
14. token
15. 池化
16. 表示学习
17. 误差传播
18. 耦合 / 解耦
19. 剪枝
20. 优化optimization
    1. 凸优化convex optimization
    2. 梯度下降
    3. 反向传播back propagation (BP)
    4. weight decay
    5. momentum
    6. SGD
    7. Adam
    8. EM（变分推断（variational inference）/variational EM）
21. attention（你给我解释解释，什么TMD叫TMD attention（持续更新ing…））
22. transformers（Transformer/Bert）
23. TF-IDF模型
24. 词袋模型BoW
25. word2vec
26. 预训练语言模型pretrained language model
    1. Bert
    2. SciBert
    3. RPT
    4. NEZHA
    5. ERNIE-百度
    6. ERNIE-清华
    7. DistilledBert
    8. Bart
    9. CPT
    10. Pegasus
    11. 预训练语言模型概述（持续更新ing…）
    12. [CLS]
    13. [SEP]
27. 微调finetune
28. prompt / 提示学习prompt learning
29. 小样本学习（N-way就表示每类能看到几个训练集样本）
30. 零样本学习
31. 分词tokenization
    1. BPE
32. 远程监督
33. 序列标注
    1. 命名实体识别NER
    2. 关系抽取relation extraction
34. 事件检测/事件抽取
    1. 博文
       1. NLP基础知识 | 常见任务类型 | 事件检测
35. 信息检索information retrieval (IR)
    1. 召回-重排rerank
    2. 文本匹配
       1. 句子相似度
       2. 算法：BM25
    3. NLP基础知识 | 常见任务类型 | 信息检索
    4. 向量检索/向量相似性计算方法（持续更新ing…）
36. 图神经网络graph neural networks (GNN)
    1. transductive learning / inductive learning
    2. 节点分类
    3. 链路预测（图学习中的链路预测任务（持续更新ing…））
    4. 图分类
    5. 子图学习
    6. node2vec
    7. GCN
    8. GraphSAGE
    9. GAT
    10. GIN
    11. APPNP
    12. C&S
    13. 异质图神经网络HGNN（异质图神经网络（持续更新ing…））
        1. metapath
        2. meta-graph
        3. metapath-based neighborhood
        4. meta-path neighbor graph / metapath-based graph
        5. network schema
        6. metapath及其相关概念（持续更新ing…）
        7. metapath2vec
        8. HAN
        9. GTN
        10. MAGNN
        11. HGT
        12. RGCN
        13. GATNE
        14. G2G
        15. DEAL
    14. subgraph neural networks（reading list：NLP课题入门 | day 20）
37. 关系学习relational learning（relational learning关系学习）
38. 度量学习metric learning
39. 对比学习contrastive learning
40. 数据增强data augmentation
41. 数据抽样sampling
42. 对抗攻击
43. 对抗防御
44. 黑盒模型 / 白盒模型
45. 可解释性
46. rationale
47. 鲁棒性robustness
48. GAN
49. 多任务学习multi-task learning：就是在训练多种任务时共用一部分模型参数
50. 关键词提取（常用的Python3关键词提取方法）
51. 主题分类
52. 文本生成natural language generation (NLG)
    1. 文本摘要text summarization
       1. 抽取式摘要extractive summarization / 生成式摘要abstractive summarization
       2. 文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing…）
    2. 机器翻译machine translation
    3. paraphrase generation：生成输入文本的同义文本（相当于转述）
    4. PPT生成
    5. 问答QA
    6. 创新度novelty
    7. encoder-decoder架构
    8. seq2seq任务
53. 自然语言理解NLU
    1. 蕴含识别entailment
    2. 槽填充slot filling（reading list：NLP基础知识 | 常见任务类型 | 槽填充 NLP课题入门 | day 15 | 槽填充）
    3. 意图识别（reading list：NLP课题入门 | day 14 | 意图分类
54. 知识图谱knowledge graph
    1. 实体对齐
55. 本体对齐ontology alignment
56. 推荐系统
    1. 协同过滤
57. 阅读理解Machine Reading Comprehension (MRC)
58. 归一化 / 正则化
    1. 最大最小规范化min-max scalar
    2. Z Score正则化
    3. batch normalization
    4. layer normalization
    5. dropout
    6. 深度学习中的trick | 先BN后dropout：同时使用有争议
59. 强化学习reinforcement learning
60. 模型量化quantization
61. 上下文学习in-context learning：看起来意思就是用相关样本来预测目标样本。你是transductive learning！！！
    1. 博文
       1. 上下文学习（in-context learning），检索和OOD外推 - 知乎
    2. 综述
       1. A Survey for In-context Learning
62. graph un-learning：理念是从模型中去掉已学习的部分训练集（想要保护隐私，所以要删除指定用户数据，这种scenario）
63. out-of-distribution (OOD)
64. 元学习meta-learning
65. 因果推理
66. 讽刺检测sarcasm detection（reading list：NLP课题入门 | day 9 | 讽刺检测）
67. NLP其他
    1. 跨语言cross-language