1. 主成分分析PCA数据降维的瑞士军刀第一次接触PCA时我被它神奇的降维能力震撼到了。想象你手里有一份包含100个特征的数据集每个特征都像是一个观察角度但太多角度反而让人眼花缭乱。PCA就像个聪明的投影师能帮你找到最重要的几个观察视角。PCA的核心思想其实很直观寻找数据方差最大的方向。我常跟学生打比方这就像给一群散乱的点找最显眼的摆放角度。数学上它通过特征值分解来实现from sklearn.decomposition import PCA pca PCA(n_components2) # 降到2维 X_pca pca.fit_transform(X)实际项目中我发现这些经验特别有用当特征间相关性0.8时PCA效果会很明显保留85%以上的方差通常能保持足够信息在图像处理中用PCA压缩人脸数据能降到1/10大小而不失关键特征有个容易踩的坑忘记标准化数据。我有次直接用像素值做PCA结果亮度差异完全主导了成分这就是为什么一定要先做from sklearn.preprocessing import StandardScaler X_scaled StandardScaler().fit_transform(X)2. 奇异值分解SVD矩阵中的万能钥匙SVD让我着迷的地方在于它的普适性。无论是推荐系统还是图像压缩这个算法总能给人惊喜。它的数学表达很美A UΣVᵀ其中Σ对角线上的奇异值就像数据的能量刻度。我在文本分类项目中验证过保留前10%的奇异值就能保持90%的准确率。实际应用时要注意稀疏矩阵用TruncatedSVD更高效与PCA的关系PCA其实是SVD的特例在推荐系统中SVD能发现用户和商品的潜在特征from sklearn.decomposition import TruncatedSVD svd TruncatedSVD(n_components5) X_svd svd.fit_transform(X)3. K均值聚类简单却强大的分组艺术K均值是我最常用来做客户分群的算法。它的优势在于直观易懂找K个中心点让所有点到所属中心距离之和最小。但确定K值是个技术活我常用肘部法则from sklearn.cluster import KMeans inertia [] for k in range(1,10): kmeans KMeans(n_clustersk).fit(X) inertia.append(kmeans.inertia_) # 选择拐点对应的k值实战经验对量纲敏感一定要先标准化初始中心点选择影响结果可以用k-means在大数据场景下用MiniBatchKMeans更高效4. 均值漂移聚类让数据自己决定分组这个算法的精妙之处在于不需要预设簇数量。它像是个数据探险家沿着密度上升的方向寻找峰值。我在处理卫星图像时用它自动发现城市聚集区效果出奇的好。核心参数是带宽(bandwidth)相当于观察范围from sklearn.cluster import MeanShift bandwidth estimate_bandwidth(X, quantile0.2) ms MeanShift(bandwidthbandwidth).fit(X)5. EM算法处理缺失数据的利器EM算法让我想起猜谜游戏先猜参数(E步)再根据结果调整猜测(M步)如此反复。在用户行为分析中我用它处理缺失数据from sklearn.mixture import GaussianMixture gmm GaussianMixture(n_components3).fit(X) labels gmm.predict(X)关键点对初始值敏感可能需要多次运行每个迭代保证似然函数增加在文本挖掘中用于主题模型6. 自组织映射(SOM)数据可视化神器SOM神经网络能生成数据的二维地图。我曾用它分析电商用户行为不同区域自然浮现出不同用户群体。虽然现在深度学习更火但SOM的直观性无可替代。7. 朴素贝叶斯文本分类的常青树别看它朴素在垃圾邮件过滤上依然能打。核心假设是特征条件独立虽然现实中很少成立但效果却出奇地好from sklearn.naive_bayes import MultinomialNB clf MultinomialNB().fit(X_train, y_train)8. 逻辑回归分类问题的基准线逻辑回归是我建立baseline的首选。通过sigmoid函数将线性回归转化为概率from sklearn.linear_model import LogisticRegression lr LogisticRegression().fit(X_train, y_train)调参重点正则化参数C防止过拟合类别不平衡时用class_weight支持L1/L2正则化9. 支持向量机(SVM)小样本的王者SVM的核技巧让我印象深刻。通过把数据映射到高维空间原本线性不可分的问题变得可分。在基因序列分析中RBF核常常表现优异from sklearn.svm import SVC svm SVC(kernelrbf, gammaauto).fit(X_train, y_train)10. 决策树可解释性与性能的平衡决策树最吸引我的是它的可解释性。从根节点到叶节点的路径就是决策规则这对业务方特别友好。现代优化如XGBoost更将其发挥到极致from xgboost import XGBClassifier xgb XGBClassifier(max_depth3).fit(X_train, y_train)实践中发现预剪枝比后剪枝效率更高特征重要性可用于特征选择对类别特征需要特别编码这些算法就像工具箱里的不同工具各有适用场景。掌握它们的核心思想和适用条件比死记公式重要得多。我常跟团队说没有最好的算法只有最合适的算法。在实际项目中往往需要组合使用多种算法才能达到最佳效果。