1. 项目概述为什么无监督学习不是“放任自流”而是数据世界的探矿者你手头有一堆没贴标签的客户行为日志几万张未分类的工业零件图像或者连续采集了三个月的传感器时序数据——没有“这是故障”“那是正常”的标注连“好/坏”“高/低”“A/B/C类”这种最基础的提示都没有。这时候有人告诉你“用无监督学习试试。”你心里可能立刻浮现出两个疑问第一没标签怎么学第二学出来的东西到底靠不靠谱这正是我过去八年在制造业AI落地、金融风控建模和医疗影像预处理中反复被问到的问题。今天这篇内容不讲教科书定义也不堆砌数学公式而是像带徒弟一样把14种真正能在产线、实验室和业务系统里跑起来的无监督算法掰开揉碎讲清楚它们各自在什么土壤里长势最好为什么选它而不是隔壁那个参数调错一格会掉进什么坑以及——最关键的是当你在Jupyter里敲下fit()那一行时模型内部到底在干一件什么样的“体力活”。核心关键词“无监督学习”“聚类”“异常检测”“降维”“生成模型”不是术语展览而是四把不同形状的钥匙一把开客户分群的门一把拧开设备早期故障的螺丝一把把100维的基因表达数据压成一张可画图的纸一把让AI自己“编造”出符合真实分布的新样本。这篇文章适合三类人刚学完K-Means但不知道该用肘部法则还是轮廓系数的新人正在为某次模型上线后效果断崖下跌而熬夜查日志的工程师还有那些被老板一句“你看看能不能从数据里挖点新东西”拍到肩膀上的技术负责人。我们不追求“最全”只聚焦实操中真正高频、稳定、有明确归因路径的14种方法——它们不是论文里的幻灯片而是我亲手在37个真实项目里反复验证过的工具箱。2. 算法选型逻辑为什么不是“哪个热门选哪个”而是“哪块石头挡路就用哪把锤子”2.1 问题本质决定算法骨架先问“你要解决什么”再翻算法手册很多人一上来就查“无监督学习算法排名”结果在DBSCAN和HDBSCAN之间纠结三天却忘了回看原始需求。在我经手的案例里90%的选型错误源于对问题本质的误判。举个具体例子去年帮一家电池厂做电芯老化分析产线每天产出5000颗电芯每颗测200个电压-时间点。工程师最初的需求是“把相似的老化曲线聚成几类”听起来是标准聚类问题。但当我们把曲线拉出来一看发现85%的曲线形态高度一致只有不到2%的曲线在第120个采样点突然出现微小平台——这是典型的局部异常模式而非全局形态差异。如果硬上K-Means强行分成5类那2%的异常点会被稀释进某个大类里彻底消失。最后我们改用Isolation Forest 时间序列动态时间规整DTW距离异常检出率从37%飙升到92%。这个案例揭示了一个铁律无监督任务必须先完成一次“问题解构”。我习惯用三把尺子来量空间尺度你的数据是点如用户画像向量、线如心电图、面如卫星遥感图还是体如CT三维重建K-Means对点数据友好但对时序线数据必须先做特征工程如提取斜率、曲率、峰值数否则距离计算完全失真。噪声容忍度产线传感器数据常带毛刺金融交易日志有大量脏记录。DBSCAN能自动识别噪声点而K-Means会强迫每个点归属某类把噪声也当宝贝供起来。可解释性刚需给医院部署的肺结节筛查模型医生必须知道“为什么这个结节被标为高危”。此时用t-SNE降维后人工圈定区域比用VAE生成隐空间再聚类临床接受度高出3倍——因为前者能回溯到原始CT切片位置后者只能输出一个抽象坐标。提示别被“14种算法”的数字吓住。实际项目中80%的场景由5种算法覆盖K-Means全局聚类、DBSCAN密度聚类、PCA线性降维、t-SNE非线性可视化、Isolation Forest异常检测。剩下9种是应对特定地形的特种工具比如处理文本用LDA处理图结构用Node2Vec处理多模态数据用CLIP-style对比学习——它们不是替代品而是补丁。2.2 算法能力光谱同一目标不同算法给出的答案为何天差地别以“客户分群”为例同样是把10万用户分成5组不同算法输出的群体价值截然不同K-Means强制球形簇组内方差最小。适合收入、年龄、消费频次这类近似正态分布的指标。但若用户数据里混着大量零消费的沉默用户占60%K-Means会把他们全塞进一个“低价值簇”而忽略其中可能存在的“高潜力休眠用户”如刚毕业的学生当前零消费但学历高、APP活跃度高。Gaussian Mixture Model (GMM)允许椭球形簇能拟合重叠分布。用EM算法迭代输出每个用户属于各簇的概率。在上面的例子中GMM能把“零消费但活跃度高”的用户识别为“高潜力休眠”概率0.72、“纯流失”概率0.28给运营团队留出精准唤醒空间。HDBSCAN不预设簇数量基于密度连接。当用户数据存在明显密度谷如消费金额在500元和5000元之间断层它会自动拆出“中产务实派”和“高净值享受派”两个簇中间的断层区域标记为噪声——这反而暴露了产品定价的盲区。这种差异的本质在于算法对“相似性”的定义不同。K-Means用欧氏距离GMM用概率密度HDBSCAN用可达距离。就像用直尺、卷尺、激光测距仪量同一堵墙结果都“对”但适用场景完全不同。我在某电商大促前夜曾用三种算法跑同一份用户数据K-Means给出的“高价值用户包”转化率12%GMM的概率加权包转化率18%而HDBSCAN识别出的“密度边缘用户”介于高/中价值之间的模糊地带通过定向发券转化率冲到23%——因为他们是最容易被临门一脚打动的人群。2.3 工程落地成本为什么有些算法写三行代码就能跑有些要搭整个管道学术论文里一个算法可能只占一页但工程化时它的“体重”可能翻十倍。以**Autoencoder自编码器**为例理论描述三层神经网络输入输出中间层为瓶颈训练目标是重构误差最小。实际落地你需要处理缺失值不能直接丢弃否则时序断裂、标准化不同量纲指标如点击次数vs停留时长需分别缩放、序列填充用户行为长度不一需统一pad或截断、GPU显存管理10万用户×200特征batch_size设大了直接OOM、重构损失选择MSE对异常值敏感Huber Loss更鲁棒、瓶颈层维度确定用PCA解释方差比例反推而非拍脑袋定32维……相比之下PCA虽然古老但工程极简from sklearn.decomposition import PCA; pca PCA(n_components0.95); X_reduced pca.fit_transform(X)。0.95代表保留95%原始方差一行参数搞定维度选择。我在某车载语音系统里用PCA把128维MFCC特征压到20维推理延迟从47ms降到12ms准确率仅降0.3个百分点——这种“性价比”是深度模型短期内难以超越的。所以我的选型清单里永远有两列理论威力值解决复杂问题的能力和工程衰减系数从论文到API的损耗率。当项目周期紧、数据质量一般、团队缺乏深度学习经验时我会毫不犹豫把PCA、DBSCAN、Isolation Forest放在前三顺位。不是它们不够酷而是它们把“可靠”刻进了基因里。3. 14种核心算法详解从原理内核到实操陷阱的完整链路3.1 K-Means最朴素的聚类但90%的人没用对距离函数K-Means的三步循环初始化中心→分配点→更新中心人人会背但真正卡住项目的永远是第一步如何定义“距离”。教科书默认欧氏距离但在真实场景中它常是灾难源头。比如处理用户地理位置数据北京朝阳区和上海浦东新区的经纬度差值巨大但用欧氏距离算两个同在朝阳区的用户可能因为一栋楼的GPS漂移±50米距离反而大于跨省用户。这时必须切换到Haversine距离球面大圆距离。代码只需两行from sklearn.metrics.pairwise import haversine_distances # 注意经纬度需转为弧度且sklearn返回单位为弧度需乘地球半径6371km dist_matrix haversine_distances(X_radians) * 6371另一个致命误区是k值选择。肘部法则看SSE下降拐点在客户分群中我见过太多次“肘部”出现在k2到k3之间但业务上必须分5类对应5种运营策略。这时轮廓系数Silhouette Score更实用它衡量每个点与自身簇的紧密度 vs 与其他簇的分离度取值[-1,1]越接近1越好。但要注意当簇大小差异极大时如95%用户在A簇5%在B簇轮廓系数会被A簇主导掩盖B簇的内部质量。我的补救方案是分层评估——先用轮廓系数选k再对每个簇单独计算Davies-Bouldin指数簇内散度/簇间距离确保小簇也有合理结构。实操心得K-Means对异常值极度敏感。某次处理物流时效数据一个录入错误的“1000小时送达”样本直接把整个“超快配送”簇中心拉偏。解决方案不是删数据而是用RobustScaler替代StandardScaler——它用中位数和四分位距缩放对离群值免疫。代码from sklearn.preprocessing import RobustScaler; scaler RobustScaler(); X_scaled scaler.fit_transform(X)。3.2 DBSCAN密度聚类的王者但min_samples和eps的设定是玄学DBSCAN的两个参数eps邻域半径和min_samples核心点最小邻居数常被说成“调参靠感觉”。其实有迹可循。关键洞察在于eps不是距离阈值而是“局部密度”的探测器。我的标准流程分三步计算k-距离图对每个点找它第k近的邻居k设为min_samples通常取len(X.columns)1如5维数据取6。所有点的第k近邻距离排序后画图拐点处的距离即为eps候选值。Scikit-learn没内置此功能但用NearestNeighbors三行搞定from sklearn.neighbors import NearestNeighbors nn NearestNeighbors(n_neighbors6).fit(X) distances, indices nn.kneighbors(X) distances_sorted np.sort(distances[:, -1], axis0) plt.plot(distances_sorted) # 拐点即epsmin_samples定生死它决定“多稀疏才算噪声”。在用户行为数据中若min_samples5意味着至少5个用户行为模式高度相似才构成簇。但若数据噪声大如爬虫流量混入min_samples太小会让噪声点抱团成伪簇。我的经验是min_samples≥ 数据维度 × 2高维数据如100维文本向量必须设≥200否则DBSCAN退化为“找最近邻”。距离度量必校准DBSCAN默认欧氏距离但对混合类型数据数值类别无效。例如用户数据含“城市等级一线/新一线/二线”和“月均消费数值”需用Gower距离。我用gower库from gower import gower_matrix; dist_matrix gower_matrix(X)再传入DBSCAN的metricprecomputed。注意DBSCAN不保证所有点都有标签。labels_数组中-1代表噪声点——这不是失败而是算法在说“这堆数据太杂我拒绝强行归类”。某次在工厂设备振动分析中-1点集中出现在凌晨2-4点人工核查发现是维护人员巡检时的误触这反而帮客户发现了运维流程漏洞。3.3 主成分分析PCA降维界的“老黄牛”但别让它替你做特征工程PCA的数学本质是找数据方差最大的正交方向但工程师常犯两个错错把PCA当万能清洗器PCA能去噪但前提是噪声在低方差方向。若噪声与信号同方向如传感器随机漂移叠加在趋势线上PCA会把信号也滤掉。某次处理风电功率预测数据直接PCA降维后模型R²从0.82暴跌到0.41。根源是风速传感器漂移与功率趋势强相关。解决方案先用小波变换分解趋势/周期/噪声分量再对趋势分量PCA。忽略重建误差的业务含义保留95%方差看似安全但若丢失的5%恰好是故障前兆的微弱谐波后果严重。我的做法是按业务目标反推。比如轴承故障诊断关注2kHz以上频段就用FFT转换后对高频段单独做PCA确保其方差保留率≥99%。代码层面有个隐藏坑sklearn.PCA的components_是主成分向量但原始特征重要性不能直接看绝对值。因为主成分是线性组合单个特征权重受量纲影响。正确做法是计算每个原始特征对前n个主成分的贡献总和pca PCA(n_components10) X_pca pca.fit_transform(X) # 计算各特征贡献度 contributions np.abs(pca.components_).sum(axis0) # 对每个特征求其在10个主成分中的权重绝对值和 feature_importance pd.Series(contributions, indexX.columns).sort_values(ascendingFalse)这比单纯看pca.explained_variance_ratio_更能指导特征采集——比如发现“电机电流谐波畸变率”贡献度最高就推动产线加装高精度电流传感器。3.4 t-SNE可视化神器但别用它做聚类依据t-SNE能把100维数据压到2D并保持局部相似性效果惊艳。但它的致命缺陷是全局结构失真。两个簇在t-SNE图上看着很远实际高维空间中可能只隔一个标准差。我坚持一条铁律t-SNE只用于探索性分析绝不用于下游任务。某次在医疗影像项目中团队用t-SNE降维后K-Means聚类发现“恶性肿瘤”样本聚成一团兴奋地以为找到新亚型。但当用原始高维特征训练SVM时该“亚型”的预测准确率仅58%。复盘发现t-SNE为突出局部差异压缩了簇间距离制造了虚假分离。正确用法是“三明治流程”用PCA粗降维如100维→10维保留大部分全局结构在PCA结果上跑t-SNE10维→2维此时计算量小失真可控在t-SNE图上圈定区域后回到PCA空间提取对应样本再用这些样本训练正式模型。参数调优上perplexity困惑度常被神化。其实它约等于“每个点考虑的邻居数”。我的经验值数据量1000perplexity5~101000~10000取30~5010000取50~100。超过100反而让图变得模糊——就像用广角镜头拍人群边缘人脸全变形。3.5 Isolation Forest异常检测的“快刀手”但它的“孤立”逻辑常被误解Isolation ForestiForest不学正常模式而是学“怎么快速孤立异常点”。核心思想异常点是少数、不同、易隔离的所以用随机超平面切割时它们会被更少的切割次数就分出来。但很多人误以为“分数越低越异常”其实decision_function输出的是异常程度得分正值为异常负值为正常。更关键的是iForest对训练数据分布极其敏感。某次在银行反欺诈中用历史正常交易训练iForest上线后对新型羊毛党模拟正常用户行为检出率仅22%。原因在于iForest的随机树切割依赖训练数据的范围。新型羊毛党虽行为异常但其特征值如单日交易笔数仍在历史正常范围内导致切割树无法有效区分。解决方案是动态基线不固定训练集而是用滑动窗口如最近30天交易实时训练iForest并设置双阈值——score 0.5高置信异常立即拦截0.2 score ≤ 0.5可疑进入人工审核队列score ≤ 0.2正常。这样既避免漏报又控制误报率。代码实现时注意n_estimators树数量不宜过多50~100足够max_samples设为auto自动取min(256, n_samples)防止小数据集过拟合。3.6 高斯混合模型GMM概率聚类的“精算师”但协方差矩阵选型是灵魂GMM比K-Means多一层概率思维每个点属于各簇的概率之和为1。但它的威力取决于协方差矩阵的约束方式covariance_typefull每个簇有自己的全协方差矩阵最灵活但参数最多易过拟合tied所有簇共享同一协方差矩阵适合簇形状相似的场景diag协方差矩阵为对角阵假设特征间独立计算快适合高维稀疏数据spherical协方差为标量等价于K-Means的球形假设。我在某推荐系统中处理用户兴趣向量50维初始用fullAIC赤池信息量准则评分很高但线上AB测试CTR下降。查原因发现full过度拟合了训练集中的噪声关联如“看科幻片”和“买咖啡”在样本中偶然共现导致推荐泛化差。换成diag后AIC略升但CTR提升11%——因为模型被迫忽略虚假特征关联专注单特征强度。GMM的另一个优势是天然支持增量学习。sklearn.mixture.BayesianGaussianMixture可用partial_fit适合流式数据。某物联网平台用它实时聚类设备状态每分钟接收10万条心跳数据无需全量重训内存占用稳定在200MB内。3.7 层次聚类Agglomerative Clustering可解释性最强的聚类但距离度量是命门层次聚类不预设簇数输出树状图dendrogram业务人员能直观看到“哪些客户在什么相似度下合并”。但它的距离度量常被忽视。默认linkageward要求欧氏距离且对异常值零容忍。某次处理销售区域数据一个偏远县的GDP和人口数据录入错误GDP写成1000亿实际100亿ward聚类直接把该县和所有一线城市捆成一簇——因为ward最小化簇内平方和错误数据把平方和拉得极高算法“妥协”把它和高值城市配对。解决方案换linkageaverage或complete并用曼哈顿距离。曼哈顿距离对量纲变化不敏感average链接基于簇间平均距离抗噪性强。代码from sklearn.cluster import AgglomerativeClustering from sklearn.metrics.pairwise import manhattan_distances dist_matrix manhattan_distances(X) clustering AgglomerativeClustering( n_clusters5, metricprecomputed, linkageaverage ).fit(dist_matrix)树状图解读技巧横轴是合并顺序纵轴是距离。若某次合并距离远高于前几次如前10次距离5第11次跳到50说明这两簇本不该合并——这就是业务上“强行归类”的警示信号。3.8 自编码器Autoencoder深度降维的“黑盒”但瓶颈层设计决定成败Autoencoder的结构简单编码器压缩→瓶颈层→解码器还原。但工程难点在瓶颈层维度不是越小越好某次处理卫星图像256×256×3瓶颈设32维重构图像全是色块。后来发现瓶颈维度应与数据的信息熵匹配。用PCA先估算若PCA保留95%方差需128维则Autoencoder瓶颈至少128维。激活函数选择ReLU在瓶颈层易产生“死神经元”输出恒为0导致信息丢失。改用LeakyReLUalpha0.1或ELU保留下限梯度。损失函数陷阱MSE损失让模型专注像素级还原忽略语义。处理医学图像时改用感知损失Perceptual Loss用预训练VGG网络提取特征计算特征图的MSE。代码需自定义lossdef perceptual_loss(y_true, y_pred): vgg VGG16(include_topFalse, weightsimagenet) # 取block3_conv3层特征 feature_extractor Model(inputsvgg.input, outputsvgg.get_layer(block3_conv3).output) true_features feature_extractor(y_true) pred_features feature_extractor(y_pred) return tf.keras.losses.mse(true_features, pred_features)这能让重构图像在器官结构上更准确哪怕像素略有偏差。3.9 隐狄利克雷分布LDA文本主题的“考古学家”但超参α和β的物理意义必须吃透LDA将文档视为主题混合主题视为词混合。但alpha文档-主题分布的先验和beta主题-词分布的先验常被当成调参数字。alpha小如0.1鼓励文档只含少数主题适合新闻分类一篇报道通常聚焦1-2件事alpha大如1.0文档主题分布更均匀适合百科全书条目涵盖多方面知识。beta同理beta小0.01让主题更专一如“量子”主题只含“叠加”“纠缠”“坍缩”beta大0.1让主题更泛“量子”主题混入“物理”“实验”“理论”。我的实操技巧用Coherence Score一致性得分代替困惑度。困惑度衡量预测能力但一致性得分如UMass计算主题内高频词的共现概率更贴近人类对“主题是否合理”的判断。gensim库一键计算from gensim.models import CoherenceModel coherence_model CoherenceModel(modellda_model, textstokenized_docs, dictionarydictionary, coherenceu_mass) coherence_score coherence_model.get_coherence()某次分析客服对话beta0.01时“退款”主题含“快递”“破损”“拒收”beta0.1时混入“好评”“感谢”“下次还来”——后者显然违背业务逻辑一致性得分也低0.15。3.10 局部离群因子LOF密度异常检测的“显微镜”但邻居数k的选择有讲究LOF通过比较点与其邻居的局部密度识别密度显著低于邻居的点。但n_neighbors邻居数设定不当效果天壤之别。n_neighbors太小如5只看最近邻易受噪声干扰把正常波动当异常n_neighbors太大如100邻居包含异质点局部密度被稀释异常点淹没。我的黄金法则是n_neighbors≈ 数据集大小的平方根。如10万样本取316同时设置contamination0.1预估异常比例让LOF自动调整阈值。更关键的是LOF对距离度量极度敏感。处理地理数据时用欧氏距离算经纬度结果荒谬。必须用Haversine距离且sklearn不支持需自定义from sklearn.neighbors import LocalOutlierFactor from sklearn.metrics.pairwise import pairwise_distances # 先计算haversine距离矩阵 dist_matrix haversine_distances(X_radians) * 6371 # 用precomputed距离矩阵 lof LocalOutlierFactor( n_neighbors20, metricprecomputed, contamination0.05 ) outlier_labels lof.fit_predict(dist_matrix) # -1为异常某次物流路径优化中LOF用Haversine距离揪出3个“幽灵网点”——GPS坐标在太平洋中央是数据录入错误。3.11 UMAPt-SNE的强力竞品但它的“连接性”哲学改变游戏规则UMAPUniform Manifold Approximation and Projection近年大热它不像t-SNE只保局部而是同时优化局部和全局结构。核心是构建高维空间的k近邻图再在低维空间重建该图的拓扑连接。参数n_neighbors控制局部性值小如5强调局部细节适合找子簇值大如50增强全局结构适合看大类分布。min_dist低维空间最小距离控制簇间分离度0.1让簇紧凑0.5让簇分散便于观察。我的UMAP实战口诀先用PCA初筛UMAP对高维噪声敏感100维数据直接UMAP结果常是乱麻。先PCA到10-20维再UMAP到2D效果稳如磐石。距离度量必匹配处理基因表达数据高维稀疏用余弦距离处理图像特征用欧氏距离。umap.UMAP(metriccosine)。别迷信2D可视化UMAP的2D图是投影真正的结构在更高维。某次用UMAP降维到5维后用HDBSCAN聚类效果比2D图上肉眼圈选好3倍——因为5维空间保留了更多判别信息。3.12 谱聚类Spectral Clustering图结构数据的“翻译官”但相似度矩阵构造是艺术谱聚类把数据看作图节点是样本边权是相似度。它的威力全在相似度矩阵W的构造。常用高斯核W_ij exp(-||x_i - x_j||² / σ²)。但σ带宽选错全盘皆输。σ太大所有点相似度趋近1图变成全连接σ太小图稀疏断裂。我的解法是用k近邻图替代全连接——只保留每个点的k个最近邻边权为高斯核其余为0。sklearn原生支持from sklearn.cluster import SpectralClustering clustering SpectralClustering( n_clusters5, affinitynearest_neighbors, # 关键 n_neighbors10, assign_labelsdiscretize ).fit(X)这避免了σ调参且k近邻图天然抗噪。某次处理社交网络关系用k近邻谱聚类社区发现准确率比全连接高27%因为全连接把弱关系如偶然点赞当成了强连接。3.13 变分自编码器VAE生成式无监督的“造物主”但KL散度权重需动态调节VAE在Autoencoder基础上加了概率约束编码器输出均值μ和方差σ²再用重参数化采样zμε·σ。损失函数含两部分重构损失 KL散度拉近q(z|x)和p(z)。但KL散度权重常设为1导致训练早期KL项主导模型放弃重构只学标准正态分布。我的解决方案KL权重β从0开始随epoch线性增加到1β-VAE。代码class BetaVAE(tf.keras.Model): def train_step(self, data): with tf.GradientTape() as tape: z_mean, z_log_var, z self.encoder(data) reconstruction self.decoder(z) # 重构损失 recon_loss tf.keras.losses.mse(data, reconstruction) # KL散度加权重beta kl_loss -0.5 * tf.reduce_mean(1 z_log_var - tf.square(z_mean) - tf.exp(z_log_var)) total_loss recon_loss self.beta * kl_loss gradients tape.gradient(total_loss, self.trainable_variables) self.optimizer.apply_gradients(zip(gradients, self.trainable_variables)) return {recon_loss: recon_loss, kl_loss: kl_loss}self.beta在训练循环中动态更新。某次生成工业缺陷图像β从0线性增至1生成图像从模糊色块变为清晰裂纹纹理FIDFréchet Inception Distance分数降低40%。3.14 密度峰值聚类DPC小样本聚类的“狙击手”但截断距离dc需领域知识DPC算法假设簇中心是密度高且距离其他高密度点远的点。它需要计算每个点的局部密度ρ和距离δ再画ρ-δ图找“右上角”点。但dc截断距离决定ρ的计算范围选错则全盘失效。dc不是超参而是需根据数据分布确定的物理量。我的做法计算所有点对距离取前2%大的距离作为dc候选对每个候选dc计算ρ的分布直方图选使ρ分布最平滑方差最小的dc。代码精简版def find_optimal_dc(distances, percentile2): # distances是距离矩阵上三角 dc_candidates np.percentile(distances, [98, 99, 99.5, 99.9]) best_dc dc_candidates[0] min_variance float(inf) for dc in dc_candidates: rho np.sum(distances dc, axis1) # 每个点的局部密度 variance np.var(rho) if variance min_variance: min_variance variance best_dc dc return best_dc某次处理航天器遥测数据仅200个样本DPC比K-Means更准识别出3个故障模式因为它的ρ-δ图能直观显示“哪些点是真正的簇中心”。4. 实战避坑指南14个算法在真实战场上的血泪教训4.1 数据预处理90%的失败始于没搞懂“标准化”和“归一化”的生死线新手常混淆StandardScalerZ-score标准化和MinMaxScaler归一化到[0,1]。它们的适用场景有本质区别StandardScaler假设数据近似正态分布用均值和标准差缩放。适合K-Means、PCA、GMM等依赖距离/方差的算法。但若数据含大量离群值如用户消费金额95%1000元5%10万元均值和标准差被拉偏缩放后正常点挤在-0.5~0.5异常点飞到10以上K-Means直接崩溃。MinMaxScaler用最小最大值缩放对离群值敏感但能保证所有值在[0,1]。适合神经网络如Autoencoder因为sigmoid/tanh激活函数在[0,1]外梯度极小。我的铁律先用RobustScaler中位数四分位距做初筛。它对离群值免疫缩放后看数据分布
