Sklearn 数据预处理sklearn.preprocessing模块提供了数据标准化、归一化、编码、离散化等全部预处理功能。 标准化与归一化Scaling1.StandardScaler— Z-Score 标准化 ⭐将特征转换为均值为 0、标准差为 1 的分布。最常用的标准化方法适合大多数算法SVM、逻辑回归、神经网络等。fromsklearn.preprocessingimportStandardScaler scalerStandardScaler()X_scaledscaler.fit_transform(X)# 关键属性print(scaler.mean_)# 每个特征的均值print(scaler.var_)# 每个特征的方差print(scaler.scale_)# 每个特征的标准差print(scaler.n_features_in_)# 特征数# 重要方法X_newscaler.transform(X_test)# 用已学的参数转换新数据X_origscaler.inverse_transform(X_new)# 逆变换恢复原始数据参数说明:with_meanTrue— 是否中心化稀疏矩阵需设为 Falsewith_stdTrue— 是否缩放到单位方差copyTrue— 是否复制数据2.MinMaxScaler— 最小-最大缩放将特征缩放到给定的范围默认 [0, 1]。fromsklearn.preprocessingimportMinMaxScaler scalerMinMaxScaler(feature_range(0,1))X_scaledscaler.fit_transform(X)# feature_range(-1, 1) 缩放到 [-1, 1]# feature_range(0, 255) 缩放到像素值范围# 核心属性print(scaler.min_)# 每个特征的最小值调整后print(scaler.scale_)# 缩放因子print(scaler.data_min_)# 原始数据的最小值print(scaler.data_max_)# 原始数据的最大值print(scaler.data_range_)# 原始数据的范围# 逆变换X_origscaler.inverse_transform(X_scaled)适用场景: 神经网络、图像处理、需要保持在特定范围内的数据。3.MaxAbsScaler— 最大绝对值缩放缩放到 [-1, 1] 区间保留零值适合稀疏数据。fromsklearn.preprocessingimportMaxAbsScaler scalerMaxAbsScaler()X_scaledscaler.fit_transform(X)print(scaler.max_abs_)# 每个特征的最大绝对值print(scaler.scale_)# 缩放因子 ( 1 / max_abs_)4.RobustScaler— 鲁棒缩放使用中位数和四分位距IQR进行缩放对异常值不敏感。fromsklearn.preprocessingimportRobustScaler scalerRobustScaler(with_centeringTrue,# 是否减去中位数with_scalingTrue,# 是否除以 IQRquantile_range(25.0,75.0),# IQR 范围unit_varianceFalse# 是否使方差为 1)X_scaledscaler.fit_transform(X)print(scaler.center_)# 每个特征的中位数print(scaler.scale_)# 每个特征的 IQR5.Normalizer— 样本归一化将每个样本归一化为单位范数按行操作非按列。fromsklearn.preprocessingimportNormalizer normalizerNormalizer(norml2)# l1, l2, maxX_normalizednormalizer.fit_transform(X)参数norm:l2— L2 范数欧几里得距离默认l1— L1 范数曼哈顿距离max— 最大值范数适用场景: 文本分类、TF-IDF 后常用 L2 归一化。6.PowerTransformer— 幂变换使数据更接近高斯分布。fromsklearn.preprocessingimportPowerTransformer ptPowerTransformer(methodyeo-johnson)# 或 box-cox仅正数X_transformedpt.fit_transform(X)print(pt.lambdas_)# 每个特征的变换参数method适用范围说明yeo-johnson任意实数默认更通用box-cox严格正数经典的 Box-Cox 变换7.QuantileTransformer— 分位数变换将特征映射到均匀分布或正态分布。fromsklearn.preprocessingimportQuantileTransformer qtQuantileTransformer(n_quantiles1000,# 分位数数量output_distributionuniform,# uniform 或 normalrandom_state42)X_transformedqt.fit_transform(X)print(qt.references_)# 分位数参考值适用场景: 处理具有大量异常值的数据、创建更平滑的分布。8.scale()— 快速缩放函数无需创建实例的快捷函数。fromsklearn.preprocessingimportscale X_scaledscale(X,axis0,with_meanTrue,with_stdTrue)还有其他快捷函数:fromsklearn.preprocessingimportminmax_scale,maxabs_scale,robust_scale X_minmaxminmax_scale(X,feature_range(0,1))X_maxabsmaxabs_scale(X)X_robustrobust_scale(X)️ 标签编码Encoding1.LabelEncoder— 标签编码器将类别标签转换为 0 到 n_classes-1 的整数。fromsklearn.preprocessingimportLabelEncoder leLabelEncoder()y_encodedle.fit_transform([cat,dog,bird,cat,dog])# 输出: [0, 1, 2, 0, 1]# 核心属性与方法print(le.classes_)# [bird cat dog]按字母顺序排列y_origle.inverse_transform(y_encoded)# 还原为原始标签# 重要: 仅用于目标 y不用于特征 X2.OrdinalEncoder— 序数编码器将类别特征转换为整数适用于特征 X尤其是有序类别。fromsklearn.preprocessingimportOrdinalEncoder oeOrdinalEncoder(categoriesauto,# 自动推断类别顺序handle_unknownuse_encoded_value,# 处理未知类别unknown_value-1# 未知类别的填充值)X_encodedoe.fit_transform(X)print(oe.categories_)# 每个特征的类别列表3.OneHotEncoder— 独热编码器 ⭐fromsklearn.preprocessingimportOneHotEncoder oheOneHotEncoder(dropNone,# Nonefirst 或 if_binary避免多重共线性sparse_outputTrue,# 默认输出稀疏矩阵设为 False 输出稠密数组handle_unknownignore,# error 或 ignoremin_frequencyNone,# 低频类别合并的最小频率max_categoriesNone# 每个特征最多保留的类别数)X_oheohe.fit_transform(X)# 默认返回稀疏矩阵用 .toarray() 转换# 获取特征名称feature_namesohe.get_feature_names_out()# e.g. [color_red, color_blue, color_green, size_big, size_small]参数drop详解:None— 保留所有类别默认first— 丢弃每列第一个类别避免线性依赖if_binary— 仅对二分类特征丢弃一个array-like— 指定每列丢弃的类别4.LabelBinarizer— 标签二值化器fromsklearn.preprocessingimportLabelBinarizer lbLabelBinarizer()y_binlb.fit_transform([yes,no,yes,maybe])# 输出: 3 列的独热编码矩阵print(lb.classes_)# 类别y_origlb.inverse_transform(y_bin)# 还原5.MultiLabelBinarizer— 多标签二值化fromsklearn.preprocessingimportMultiLabelBinarizer mlbMultiLabelBinarizer()y_binmlb.fit_transform([[sci-fi,action],[comedy],[action,comedy,romance]])# 输出: (3, 4) 矩阵每列代表一个类别print(mlb.classes_)# [action, comedy, romance, sci-fi] 目标变量变换LabelEncoder见上方 离散化Discretization1.KBinsDiscretizer— K 等分/分位数离散化将连续特征分箱为离散值。fromsklearn.preprocessingimportKBinsDiscretizer discretizerKBinsDiscretizer(n_bins5,# 分箱数encodeonehot,# onehot, ordinal, onehot-densestrategyquantile,# uniform, quantile, kmeanssubsample200000# kmeans 策略时的子采样数)X_binneddiscretizer.fit_transform(X)# 获取分箱边界print(discretizer.bin_edges_)# 每个特征的边界数组列表print(discretizer.n_bins_)# 实际分箱数三种策略对比:strategy说明uniform等宽分箱quantile等频分箱每箱样本数相同kmeansK-Means 聚类分箱2.Binarizer— 二值化fromsklearn.preprocessingimportBinarizer binarizerBinarizer(threshold0.5,copyTrue)X_binbinarizer.fit_transform(X)# 大于 threshold → 1, 小于等于 → 0快捷函数:fromsklearn.preprocessingimportbinarize X_binbinarize(X,threshold0.5)➕ 多项式与自定义变换1.PolynomialFeatures— 多项式特征 ⭐生成多项式特征和交互项。fromsklearn.preprocessingimportPolynomialFeatures polyPolynomialFeatures(degree2,# 多项式最高次数interaction_onlyFalse,# True 时只生成交互项不含 x1²include_biasTrue,# 是否包含偏置列全 1orderC# C 或 F输出顺序)X_polypoly.fit_transform(X)# 获取生成的特征幂次print(poly.powers_)# 每列对应的各原始特征的指数# 特征名称print(poly.get_feature_names_out())# e.g., [1, x0, x1, x0^2, x0 x1, x1^2]示例:[a, b]→[1, a, b, a², ab, b²]2.SplineTransformer— 样条基函数生成 B-样条基特征。fromsklearn.preprocessingimportSplineTransformer splineSplineTransformer(n_knots5,# 节点数degree3,# 多项式阶数默认三次样条knotsuniform,# uniform 或 quantileextrapolationlinear,# error, constant, linear, continueinclude_biasTrue)X_splinespline.fit_transform(X)3.FunctionTransformer— 自定义函数变换fromsklearn.preprocessingimportFunctionTransformerimportnumpyasnp# 方式一: 传入函数transformerFunctionTransformer(funcnp.log1p,# 变换函数inverse_funcnp.expm1,# 逆变换函数validateFalse,# 是否验证输入accept_sparseFalse,check_inverseTrue,feature_names_outone-to-one# 或 callable)X_transformedtransformer.fit_transform(X)# 方式二: 链式到 Pipeline 中fromsklearn.preprocessingimportFunctionTransformer log_transformerFunctionTransformer(np.log1p,np.expm1,validateTrue)4.KernelCenterer— 核矩阵中心化fromsklearn.preprocessingimportKernelCenterer centererKernelCenterer()K_centeredcenterer.fit_transform(K) 缺失值处理SimpleImputer— 简单缺失值填充fromsklearn.imputeimportSimpleImputer imputerSimpleImputer(missing_valuesnp.nan,# 缺失值标识strategymean,# 填充策略fill_valueNone,# constant 策略时的填充值copyTrue,add_indicatorFalse# 是否添加缺失指示列)X_imputedimputer.fit_transform(X)# 属性print(imputer.statistics_)# 填充值均值/中位数等print(imputer.indicator_)# MissingIndicator 实例如果 add_indicatorTruestrategy可选值:值说明mean均值填充默认仅数值median中位数填充仅数值most_frequent众数填充数值或字符串constant常数填充需配合 fill_valueKNNImputer— KNN 缺失值填充fromsklearn.imputeimportKNNImputer imputerKNNImputer(n_neighbors5,# 邻居数weightsuniform,# uniform 或 distancemetricnan_euclidean,# 距离度量copyTrue,add_indicatorFalse)X_imputedimputer.fit_transform(X)IterativeImputer— 迭代式缺失值填充fromsklearn.imputeimportIterativeImputerfromsklearn.linear_modelimportBayesianRidge imputerIterativeImputer(estimatorBayesianRidge(),# 用于建模的回归器missing_valuesnp.nan,max_iter10,random_state42,n_nearest_featuresNone,initial_strategymean,imputation_orderascending,verbose0)X_imputedimputer.fit_transform(X)MissingIndicator— 缺失值标记fromsklearn.imputeimportMissingIndicator indicatorMissingIndicator(missing_valuesnp.nan,featuresmissing-only,# all 或 missing-onlysparseauto)maskindicator.fit_transform(X)# 返回布尔标记矩阵 高级变换ColumnTransformer— 列转换器 ⭐对 DataFrame 的不同列应用不同的预处理。fromsklearn.composeimportColumnTransformerfromsklearn.preprocessingimportStandardScaler,OneHotEncoder preprocessorColumnTransformer(transformers[(num,StandardScaler(),[age,income]),# 数值列标准化(cat,OneHotEncoder(),[gender,city]),# 类别列独热编码],remainderpassthrough,# drop, passthroughsparse_threshold0.3,n_jobs-1,force_int_remainder_colsTrue)X_transformedpreprocessor.fit_transform(X)使用make_column_transformer()快捷方式:fromsklearn.composeimportmake_column_transformer preprocessormake_column_transformer((StandardScaler(),[age,income]),(OneHotEncoder(),[gender,city]),remainderpassthrough)make_column_selector()— 列选择器fromsklearn.composeimportmake_column_selector# 按数据类型选择列num_selectormake_column_selector(dtype_includenp.number)cat_selectormake_column_selector(dtype_includeobject)# 配合 ColumnTransformerfromsklearn.composeimportmake_column_transformer preprocessormake_column_transformer((StandardScaler(),make_column_selector(dtype_includenp.number)),(OneHotEncoder(),make_column_selector(dtype_includeobject)),)TransformedTargetRegressor— 目标变量变换回归fromsklearn.composeimportTransformedTargetRegressorfromsklearn.preprocessingimportQuantileTransformer modelTransformedTargetRegressor(regressorLinearRegression(),transformerQuantileTransformer(output_distributionnormal),check_inverseTrue)model.fit(X,y)predictionsmodel.predict(X_test) 使用建议场景推荐方法SVM / 神经网络 / 逻辑回归StandardScaler有异常值RobustScaler需要限定范围如图像MinMaxScaler偏态分布PowerTransformer/QuantileTransformer文本 TF-IDFNormalizer(norml2)类别特征编码OneHotEncoder混合数据类型ColumnTransformer[[sklearn-总览|← 返回总览]]