👉 此repo主要是为了整理机器学习面试相关知识点的有用链接 （注：目前不打算将一些基础算法的内容加入这个repo里，比如LR、SVM算法在《统计学习方法》里已经得到了很好的解释，面试时可能考到的手推公式在书里已经写的很好了，所以推荐直接看书即可。）
- 正则化与数据先验分布的关系
- L1在0点处不可导怎么办？可采用坐标轴下降、最小角回归法
- L1为什么比L2的解更稀疏
- 经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证
- 参数初始化为什么不能全零
- 深度学习参数初始化 Lecunn、Xavier、He初始化
- dropout
- Batch Normalization
- dropout和BN在训练&预测时有什么不同
- Layer Normalization
- Transformer为什么用LN不用BN（LN和BN两者分别关注什么）
- ResNet
- 梯度下降法、牛顿法和拟牛顿法
- 深度学习优化算法SGD、Momentum、Adagrad等
- 最大似然估计 和 最大后验估计
- 最小二乘法 和 最大似然估计的对比联系
- 最大似然估计 和 EM
- 浅谈最优化问题的KKT条件
- 先验概率 & 后验概率
- MLE最大似然估计 & MAP最大后验估计
- 判别模型 vs 生成模型
- 参数模型 vs 非参数模型
- 参数估计 最大似然估计与贝叶斯估计
- 交叉熵
- 交叉熵 等价 KL散度 等价 MLE最大似然估计
- 向量间距离度量方式
- 余弦距离和欧氏距离的转换
- 线性回归、逻辑回归、SVM
- LR优缺点
- SVM、logistic regression、linear regression对比
- KNN vs K-Means
- LR和最大熵模型的关系, LR的并行化
- 为什么LR要用对数似然，而不是平方损失？
- 似然函数
- 树模型
- 逻辑回归与决策树在分类上的区别
- 回归树、提升树、GBDT
- GBDT、XGBOOST、LightGBM讲解(强烈推荐看一下)
- XGBOOST具体例子一步步推导，包括缺失值怎么处理（很细值得看） (-> 这个链接包含前面文章内容，更全的总结
- 随机森林 GBDT XGBOOST LightGBM 比较
- 树分裂：信息增益、信息增益率、基尼系数
- 其他
- word2vec 文章1文章2 文章3
- LSTM
- LSTM为什么用tanh
- fasttext
- Transformer、self-attention
- Transformer图解
- encode-decode attention和transformer self-attention对比
- Transformer中的positional encoding
- Bert 零基础入门，prerequisites很全
- XLNet
- nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
- NLP/AI面试全记录
- LR & FTRL
- FM算法:讲的蛮细的
- FM算法结合推荐系统的讲解
- DSSM模型
- DSSM模型的损失函数（顺带讲了point-wise, list-wise, pair-wise损失函数）
- 在线最优化求解 Online Optimization
- 统计学习方法 (注意这个pdf是第一版，其中的勘误可在这里查看)（代码实现及ppt）
- 西瓜书的公式推导细节解析
- deeplearning.ai深度学习课程的中文笔记
- 机器学习训练秘籍 (Andrew NG)
- 推荐系统实战