简介:面向机器学习初学者,这一压缩包聚焦分类与回归两大监督学习任务,包含波士顿房价回归预测与酒店客户分类两个实战项目,帮助读者掌握从数据预处理、特征选择到模型训练、验证与优化的完整流程。包内共7个文件,以2个ipynb代码笔记本为核心,配套2个csv数据集、2个html结果预览以及1个docx项目说明,便于对照学习与复盘;整包仅2.23MB,轻量易下载。已有986人学习使用,适合正在学习机器学习基础、希望用真实数据集练手并理解线性回归、逻辑回归、决策树等算法的读者。通过实际案例可掌握数据清洗、标准化、交叉验证和模型调参等关键技能,并形成可复用的项目分析思路。

1. 分类&回归项目拿到手,先别急着解压跑代码

机器学习实战项目里多到泛滥的一类工程,就是这种名字里只写“分类&回归”的压缩包,后缀一个明显的 .zip ,里面塞着数据集、训练脚本、一个训练好的模型文件和几页 README。大多数人的第一反应是解压、装上依赖、执行 train.py ,然后盯着报错发呆。真正跑通过这类项目的人会告诉你:分类和回归项目的瓶颈从来不在算法代码,而在数据检查、模型选型、评估方式和环境一致性这四件事上。这篇文章就以这种最常见项目形态为主线,把从压缩包到可复现结果的完整路径拆开讲,顺带把 zip 包本身在机器学习工程里造成的坑一并处理掉。

2. 数据处理:分类与回归对输入输出的要求不一样

2.1 上手先看数据:目标变量和特征的基本检查

拿到项目后,第一步不是跑模型,而是先读数据。常见的数据文件格式无非是 csv 、 xlsx 、 txt ,少量图像和文本项目会单独建目录。无论格式如何,先把数据框加载进来,看一下 shape、dtype、缺失值比例,以及目标变量的取值分布。这一步用 pandas 就能完成:

import pandas as pd

# 读入训练数据,分隔符按实际文件调整
df = pd.read_csv("train.csv", sep=",")
print(df.shape)
print(df.dtypes)
print(df.isnull().mean().sort_values(ascending=False))

# 目标列假设叫 target
if "target" in df.columns:
    print(df["target"].value_counts(dropna=False))

这段代码做完三件最基础的事:确认数据量级是否在可处理范围内,看列类型是否需要统一,以及扫一眼缺失值占比。目标列的 value_counts 直接决定项目是分类还是回归——如果取值是离散的有限类别,比如 0/1 或一组字符串,那就是分类项目;如果是浮点数连续值,则是回归项目。很多压缩包里的 README 写得含糊,把 target 的分布打出来,项目性质立刻清楚了。

检查完基本结构,还要确认特征列里是否有泄漏风险。一个常见误用是直接把 id 列、时间戳列或目标值的某种变换结果当作特征喂进模型,这在学员项目里出现频率极高。判断标准很简单:预测时拿不到的信息就不能出现在训练特征里。发现这类列直接删掉,而不是留给模型自己处理。

2.2 分类项目的标签处理与类别均衡

分类项目的 target 处理分两种:二分类和多分类。二分类的标签常常是字符串,比如 yes/no 或 True/False ,建模前需要映射成 0/1。多分类则要考虑标签是否有序,有序标签用 LabelEncoder 即可,没有顺序含义的类别标签也可以直接编码,树模型不影响效果,线性模型则必须做 one-hot:

from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# 二分类字符串转 0/1
df["target"] = df["target"].map({"yes": 1, "no": 0})

# 多分类无序标签先 LabelEncoder,再做 one-hot
label_enc = LabelEncoder()
df["target_encoded"] = label_enc.fit_transform(df["target"])

类别均衡是分类项目里最容易被跳过的一步。如果某个类别占比超过 90%,准确率这个指标就完全失真了。处理方式有三种常见做法:一是对少数类做上采样,用 imblearn.over_sampling.SMOTE ;二是对多数类做下采样;三是在模型参数里加 class_weight,比如 scikit-learn 的 LogisticRegression(class_weight="balanced") 。SMOTE 的用法如下:

from imblearn.over_sampling import SMOTE

smote = SMOTE(random_state=42)
X_res, y_res = smote.fit_resample(X_train, y_train)

SMOTE 是在特征空间中用 K 近邻插值生成少数类新样本,不会像简单复制那样导致模型过拟合到重复样本。使用它时要注意:只能对训练集做,绝不能对测试集做,否则验证结果会严重虚高。

2.3 回归项目的目标分布与特征尺度

回归项目的 target 是连续值,第一件事是看分布的偏态。真实业务数据里房价、销售额、点击量这类目标几乎都呈现长尾分布,直接用原始数值训练,模型会对大数值样本过拟合。常见做法是对 target 做对数变换,训练完成后预测结果再 exp 还原:

import numpy as np

# 对长尾目标做对数变换
y_log = np.log1p(y_train)

# 训练预测完成后还原
y_pred = np.expm1(model.predict(X_test))

log1p 和 expm1 成对使用,是为了处理 target 存在 0 值的情况,因为 log(0) 是负无穷。对特征列来说,线性模型对尺度敏感,树模型不敏感。如果项目里选的是线性回归、岭回归或逻辑回归,特征缩放必须做;如果选随机森林回归或 xgboost,则不做也可以。用 StandardScaler 标准化特征的标准做法:

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

注意 fit 和 transform 要分对象调用:训练集上 fit_transform ,验证集和测试集上只用 transform ,直接用测试集重新拟合会引入数据泄漏,这是机器学习项目里最常见的低级错误。

检查项 分类项目 回归项目
目标取值 离散有限类别,需编码 连续数值,需看分布
过拟合风险 类别不均衡导致少数类失效 极端值主导损失函数
特征尺度 线性模型需标准化 线性模型需标准化,树模型不需要
泄漏来源 id、目标变换、未来信息 时间戳、目标历史统计量

3. 选型:分类器和回归模型怎么定

3.1 选模型前先回答四个问题

这部分内容需要明确选型逻辑。面对一个分类&回归项目,模型选型的顺序我一般是这样:

  • 先看数据规模。样本少于一万条,优先选线性模型或浅层树模型,深度学习模型在这个量级上很容易过拟合。
  • 再看特征维度。高维稀疏特征适合线性模型,稠密特征适合树模型。
  • 然后看可解释性要求。如果是业务风控或医疗场景,逻辑回归比随机森林更好解释。
  • 最后看训练时间和资源约束。xgboost 比随机森林调参空间大,但也更容易在调参上浪费时间。

这四个问题决定选型方向,而不是盲目把所有模型都跑一遍再选最优的那个。跑一遍对比是必要的,但要在候选集合理的前提下。

3.2 分类项目:逻辑回归、随机森林、xgboost

分类项目的入门三件套是逻辑回归、随机森林和 xgboost。逻辑回归是线性分类器,输出是概率,适合做基线——如果逻辑回归的 AUC 已经到 0.9 以上,通常说明数据线性可分,没有必要上复杂模型。随机森林则对特征交互的捕捉能力更强,不容易过拟合,但缺点是预测结果的置信度校准不如逻辑回归。XGBoost 在结构化数据分类上表现最好,但需要认真调参,否则容易在训练集上拿到接近满分的准确率,测试集上大打折扣。

一个常用的分类建模代码结构如下:

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from xgboost import XGBClassifier

models = [
    LogisticRegression(max_iter=1000, class_weight="balanced"),
    RandomForestClassifier(n_estimators=200, max_depth=8, random_state=42),
    XGBClassifier(n_estimators=200, max_depth=5, learning_rate=0.05, eval_metric="logloss")
]

for name, model in models:
    model.fit(X_train, y_train)
    print(name, "train score:", model.score(X_train, y_train))
    print(name, "test score:", model.score(X_test, y_test))

这里的三个参数值得说:逻辑回归的 max_iter 设到 1000 是为了避免特征量大时迭代不收敛;随机森林的 max_depth 限制在 8 是防止单棵树过深导致的过拟合;xgboost 的 learning_rate 设小后需要更多 n_estimators ,这两者是一对联动参数,只调一个效果不明显。

3.3 回归项目:线性回归、岭回归、随机森林回归、xgboost回归

回归项目的模型选型和分类几乎同构,只是损失函数和评估指标不同。线性回归是最简单的基线,岭回归在线性回归基础上加了 L2 正则,能处理特征共线性。随机森林回归适合特征和目标之间存在非线性关系的场景。xgboost 回归在结构化数据上通常表现最好,但对异常值敏感,训练前要先处理目标变量的极端值。

回归建模的标准代码:

from sklearn.linear_model import LinearRegression, Ridge
from sklearn.ensemble import RandomForestRegressor
from xgboost import XGBRegressor

models = [
    LinearRegression(),
    Ridge(alpha=1.0),
    RandomForestRegressor(n_estimators=200, max_depth=8, random_state=42),
    XGBRegressor(n_estimators=200, max_depth=5, learning_rate=0.05)
]

for name, model in models:
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    print(name, "R2:", r2_score(y_test, y_pred))
    print(name, "RMSE:", mean_squared_error(y_test, y_pred, squared=False))

Ridge(alpha=1.0) 的 alpha 控制正则强度,alpha 越大,模型权重越趋向于零,方差越小偏差越大。选择多少需要靠交叉验证,后面调参部分会讲。随机森林回归和 xgboost 回归的共同特点是几乎不需要特征标准化,但在特征维度较高时,xgboost 的 max_depth 建议从 3 开始往上试,而不是直接给一个很大的值——回归任务的噪声通常比分类大,过浅的树可能欠拟合,过深的树则把噪声也学进去了。

4. 训练与评估:分类指标和回归指标分开看

4.1 交叉验证:用数据折叠解决过拟合

单次划分训练集和测试集的结果不可靠,尤其是压缩包项目里的数据集往往不大,随机划分的运气成分很高。交叉验证把数据切成 k 份,轮流拿一份做验证,其余做训练,最后取平均分。scikit-learn 的 cross_val_score 直接封装了这个过程:

from sklearn.model_selection import cross_val_score, KFold

kf = KFold(n_splits=5, shuffle=True, random_state=42)
cv_scores = cross_val_score(RandomForestClassifier(n_estimators=200, max_depth=8), 
                            X_train, y_train, cv=kf, scoring="roc_auc")
print("CV mean:", cv_scores.mean())
print("CV std:", cv_scores.std())

这里的关键参数有两个: n_splits=5 是经验值,数据量小的时候可以用 10,数据量大的时候 5 就够; scoring="roc_auc" 是分类项目的标准选择,比 accuracy 能更真实地反映模型对正负类的区分能力。交叉验证的标准差如果超过 0.05,说明模型对数据划分敏感,这时不要急着调参,先检查数据是否有序、是否包含离群样本。

回归项目的交叉验证在 scoring 上一般用负的均方误差 neg_mean_squared_error ,因为 sklearn 的 scoring 约定是越大越好,所以负号是必须的:

from sklearn.model_selection import cross_val_score, KFold

kf = KFold(n_splits=5, shuffle=True, random_state=42)
cv_scores = cross_val_score(RandomForestRegressor(n_estimators=200, max_depth=8), 
                            X_train, y_train, cv=kf, scoring="neg_mean_squared_error")
print("CV RMSE:", (-cv_scores.mean()) ** 0.5)

4.2 分类评估:准确率之外必须看混淆矩阵和AUC

准确率在类别均衡时才有参考价值。在一个 95% 负类、5% 正类的数据集上,模型把全部样本预测为负类,准确率也有 95%,评分完全失真。必须看混淆矩阵和 AUC。

指标 计算方式 关注点
准确率 (TP+TN)/(TP+TN+FP+FN) 整体正确率,类别不平衡时失真
精确率 TP/(TP+FP) 预测为正类里真正为正类的比例
召回率 TP/(TP+FN) 真正的正类里被找出的比例
F1 2×精确率×召回率/(精确率+召回率) 精确率和召回率的调和平均
ROC-AUC 曲线下面积 不依赖阈值,衡量排序能力
from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score

y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]

print(classification_report(y_test, y_pred))
print("AUC:", roc_auc_score(y_test, y_prob))
print(confusion_matrix(y_test, y_pred))

要看懂这段代码的输出: classification_report 里每一类的 precision 和 recall 都要看,只看加权平均会掩盖少数类的失效。 predict_proba 拿到的是概率,AUC 基于概率计算,所以要先 predict_proba 再算 AUC,如果用 predict 的结果算 AUC,会把连续分布的排序信息丢成离散的 0/1,数值会偏低失真。

4.3 回归评估:MSE、MAE、R² 与残差图

回归评估的常用指标有三个:MAE、RMSE 和 R²。MAE 是绝对误差的均值,对异常值不敏感;RMSE 是均方误差开根号,对大误差更敏感,因为误差被平方了;R² 表示模型解释了目标变量方差的百分比,越接近 1 越好。

指标 公式 对异常值敏感度 常用场景
MAE mean(|y-y_pred|) 低 业务上关心平均偏差
RMSE sqrt(mean((y-y_pred)²)) 高 惩罚大误差
R² 1 - SS_res/SS_tot 高 模型解释力评估
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

y_pred = model.predict(X_test)
print("MAE:", mean_absolute_error(y_test, y_pred))
print("RMSE:", mean_squared_error(y_test, y_pred, squared=False))
print("R2:", r2_score(y_test, y_pred))

只看指标还不够,残差图能暴露模型系统性偏差。做法很简单:把 y_test - y_pred 画出来,横轴是真实值,纵轴是残差。残差如果呈现喇叭形状,说明数据存在异方差性,可以考虑对目标变量做对数变换;如果残差在某个区间内明显偏移,说明该区间内还有未捕捉的解释因素。

4.4 调参:用 RandomizedSearchCV 代替网格搜索

传统做法是 GridSearchCV 把所有参数组合穷举一遍,但参数组合多了之后计算量会爆炸。常见的做法是用 RandomizedSearchCV,在给定的参数空间里随机组合采样,每组合只跑一轮交叉验证,固定总迭代次数:

from sklearn.model_selection import RandomizedSearchCV
from xgboost import XGBClassifier

param_dist = {
    "n_estimators": [100, 200, 300],
    "max_depth": [3, 5, 7],
    "learning_rate": [0.01, 0.05, 0.1, 0.2],
    "subsample": [0.7, 0.8, 0.9, 1.0],
    "colsample_bytree": [0.7, 0.8, 0.9, 1.0]
}

xgb = XGBClassifier(eval_metric="logloss", random_state=42)
rs = RandomizedSearchCV(
    xgb, param_dist, n_iter=50, cv=5, 
    scoring="roc_auc", n_jobs=-1, random_state=42
)
rs.fit(X_train, y_train)
print("best params:", rs.best_params_)
print("best CV score:", rs.best_score_)

with open("best_params.txt", "w", encoding="utf-8") as f:
    f.write(str(rs.best_params_))

n_iter=50 表示从参数空间里随机组合 50 组做交叉验证,50 组结果的统计意义已经足够选出好参数,比穷举少几个数量级的计算量。 n_jobs=-1 让所有 CPU 核并行训练,能明显加速,但注意内存占用。调参结束后把最优参数写入文本文件,方便下次复现——这是项目压缩包里经常缺的一环,只给了模型文件,没有给参数,导致后来者无法重建同样的模型。

5. 部署验证:把训练好的模型落成一个可复用的服务

5.1 pipeline打包:把预处理和模型封装成一个对象

训练完模型后,常见做法是把预处理步骤和模型打包成一个 Pipeline 。这样在预测新样本时,标准化、编码、预测全自动完成,不会因为漏掉某一步而报错。打包代码:

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
import joblib

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("clf", RandomForestClassifier(n_estimators=200, max_depth=8, random_state=42))
])

pipeline.fit(X_train, y_train)

joblib.dump(pipeline, "model.pkl")

加载使用的时候,只需:

loaded_model = joblib.load("model.pkl")
y_pred = loaded_model.predict(X_new)
y_prob = loaded_model.predict_proba(X_new)[:, 1]

joblib.dump 保存的模型文件包含完整的对象结构,换机器加载时要求 sklearn 版本一致或兼容。这是个容易踩坑的细节: model.pkl 在 Python 3.10 下训练,到 Python 3.8 的环境去跑,大概率报 ValueError: unsupported pickle protocol ,所以压缩包里最好附带 requirements.txt 。

5.2 打分接口与依赖复现

模型文件有了,下一步是提供一个简单可用的打分入口。用 Flask 写一个最小接口:

from flask import Flask, request, jsonify
import joblib
import numpy as np

app = Flask(__name__)
model = joblib.load("model.pkl")

@app.route("/predict", methods=["POST"])
def predict():
    data = request.get_json()
    features = np.array(data["features"]).reshape(1, -1)
    prob = model.predict_proba(features)[:, 1][0]
    return jsonify({"probability": round(float(prob), 4)})

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=8000)

这个接口接收一个 JSON 数组作为特征输入,返回预测概率。 reshape(1, -1) 是把一维特征向量转成二维矩阵,因为 sklearn 的预测接口要求二维输入。依赖复现方面,用 pip freeze > requirements.txt 把当前环境的包版本固定下来,下次解压项目后在新的环境里 pip install -r requirements.txt 就能恢复一致的环境。

5.3 压缩包常见问题:路径、依赖、模型损坏

最后补三个实际处理 zip 项目时高频出现的问题。第一是路径问题:项目代码里写死了绝对路径,比如 /home/user/data/train.csv ,换一台机器直接报 FileNotFoundError。处理方式是统一改成相对路径,以项目根目录为准:

import os
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
data_path = os.path.join(BASE_DIR, "data", "train.csv")

第二是模型文件损坏。zip 传输过程中文件可能损坏,加载时出现 EOFError 或 UnpicklingError 。可以先检查 zip 完整性:

unzip -t project.zip

如果 zip 文件本身的校验都不过关,说明传输失败,重新获取压缩包就行,不必浪费时间调代码。

第三是模型文件与代码版本不匹配。比如压缩包里的模型是用旧版本 sklearn 训练的,新环境加载时会报警告或直接报错。应对办法:在代码里加一个模型加载的异常处理,提示重新训练,或者在压缩包里保留完整的训练脚本,让使用者可以一键重训。

最后补一个很实用的小习惯:训练完成后,把特征列名、模型版本、sklearn 版本、最终指标这四个信息额外写到一个 model_meta.json 文件里,和模型一起放进 zip。这个习惯成本极低,但在半年后重新打开这个压缩包时,能省下大量的回忆时间。

本文还有配套的精品资源,点击获取 menu-r.4af5f7ec.gif

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐