简介:这是一套面向房地产评估、金融风控等领域初学者的机器学习房价预测项目源码,基于房屋特征数据完成从数据清洗、异常值处理、缺失值填充到特征构造与编码的全流程建模。项目中对比了岭回归、Lasso回归与随机森林回归三种模型,并给出调参与预测输出的完整实现,适合希望掌握回归类项目落地细节的开发者。资源包共4个文件,包含两个csv数据集、一个python脚本与一份md说明文档,压缩包仅176KB,结构精简,便于直接运行与二次改造。目前已有148人学习下载,可直接获得可运行的预测脚本、配套训练/测试数据以及项目说明,有助于快速复现房价预测流程并理解特征工程、模型选择与评估的关键步骤,适合课程设计或入门实践。

1. 机器学习房价预测系统:从数据集到可交付服务的完整链路

房价预测是机器学习回归任务里最“顺手”的入门项目,但一个标注了“(源码)”的预测系统,本质上是把这条链路补齐:特征工程、模型训练、参数调优、误差分析、对外服务封装。它的价值不在于把 RMSE 压到多低,而在于让你看清一份真实数据集从 CSV 变成可调用接口的过程中,每一步的决策依据和坑。这篇文章按数据清洗、特征构建、模型选型、服务化部署、可解释性验证五层展开,适合正在做课程设计、毕设,或者想用最小成本搭建一个可演示 ML 工程项目的开发者。

2. 数据工程先行:房价预测系统的输入质量决定模型上限

2.1 房价数据集选型:为什么不用 sklearn 自带数据集

很多教程默认用波士顿房价数据集,但它在 scikit-learn 1.2 版本已被移除,原因是存在道德争议且特征含义陈旧。如果你直接用 from sklearn.datasets import load_boston ,新版环境会直接报错。常见做法是改用 California Housing 数据集,它包含 20640 条样本、8 个特征,全部来自 1990 年美国加州人口普查数据,特征含义清晰,且仍然可以通过 fetch_california_housing() 加载。

如果你想要更贴近国内场景的数据,可以自己去链家或贝壳抓取二手房挂牌信息。爬虫采集的字段通常包含:小区名称、区域、户型、面积、朝向、装修、楼层、总价、单价、建筑年代。注意挂牌价不等于成交价,如果只做学习演示,挂牌价足够;如果追求真实预测效果,需要找成交记录数据源。房价预测系统的核心目标不是追求世界纪录,而是建立一个可复现、可解释、可扩展的流程。

from sklearn.datasets import fetch_california_housing
import pandas as pd

housing = fetch_california_housing()
df = pd.DataFrame(housing.data, columns=housing.feature_names)
df['MedHouseVal'] = housing.target
print(df.shape)
print(df.isnull().sum())
print(df.describe())

这段代码把 California Housing 数据加载成 DataFrame,并快速检查缺失值和数值分布。关键在于 feature_names 包含 8 个特征:MedInc(收入中位数)、HouseAge、AveRooms、AveBedrms、Population、AveOccup、Latitude、Longitude。其中 AveRooms 和 AveBedrms 是均值而非中位数,对异常值敏感,后续需要处理。 Latitude 和 Longitude 是地理坐标,直接喂给线性模型并不合适,但做树模型时反而能捕捉区位效应。

2.2 特征工程的三个必做操作:截断、组合、地理距离

原始特征里最容易误导模型的是极端值。比如 AveRooms 存在个别样本超过 100 的情况,这通常是数据登记错误或极少数豪宅导致。我们直接用分位数截断到 1% 到 99% 区间,避免单条样本主导梯度。

地理特征的处理思路是:直接用经纬度做聚类或分桶。常见做法是用 KMeans 对坐标做聚类,生成“区域编号”特征,再计算每个样本到区域中心的距离。这类特征能捕捉“同样面积,不同地段价格差 3 倍”的非线性关系。

import numpy as np
from sklearn.cluster import KMeans

# 1. 截断异常值
for col in ['AveRooms', 'AveBedrms', 'AveOccup', 'Population']:
    lower = df[col].quantile(0.01)
    upper = df[col].quantile(0.99)
    df[col] = df[col].clip(lower, upper)

# 2. 构造组合特征
df['rooms_per_person'] = df['AveRooms'] / df['AveOccup']
df['bedroom_ratio'] = df['AveBedrms'] / df['AveRooms']
df['house_age_bucket'] = pd.cut(df['HouseAge'], bins=[0, 10, 20, 30, 40, 60], labels=False)

# 3. 地理聚类特征
coords = df[['Latitude', 'Longitude']].values
kmeans = KMeans(n_clusters=8, random_state=42, n_init=10)
df['district'] = kmeans.fit_predict(coords)
df['dist_to_center'] = np.sqrt(
    (df['Latitude'] - coords.mean(axis=0)[0])**2 + 
    (df['Longitude'] - coords.mean(axis=0)[1])**2
)

clip 操作对上下 1% 的数据做截断,不是删除,保证样本量不减少。 rooms_per_person 这类组合特征解决的是“房间数多但人均高”的信息混淆,在树模型里往往比单独两个原始特征更重要。 pd.cut 把连续房龄离散化,降低线性模型对年龄分界的敏感度。KMeans 聚类这里 n_init=10 是为了防止 KMeans 因初始点选择不同导致聚类结果抖动。

2.3 训练集与测试集的划分陷阱:按地理位置分割

房价预测系统最常见的错误是随机划分训练测试集。同一区域的房子价格高度相关,随机划分会让模型“见过”测试集周边的房价信息,导致评估结果虚高。正确做法是按地理块划分,比如按经度切片,用前 70% 经度区域做训练,后 30% 做测试,模拟“模型去没见过的区域预测”的真实场景。

from sklearn.model_selection import train_test_split

df_sorted = df.sort_values('Longitude').reset_index(drop=True)
train_df = df_sorted.iloc[:int(len(df_sorted) * 0.7)]
test_df = df_sorted.iloc[int(len(df_sorted) * 0.7):]

X_train = train_df.drop('MedHouseVal', axis=1)
y_train = train_df['MedHouseVal']
X_test = test_df.drop('MedHouseVal', axis=1)
y_test = test_df['MedHouseVal']

注意这里没有用 train_test_split 的随机模式,而是手动按经度排序后切片。这样做的好处是测试集在空间上完全独立,评估出的误差更接近真实部署水平。代价是模型精度会略降,因为训练集和测试集的数据分布有一定差异。如果你用随机划分验证模型,RMSE 可能在 0.5 左右;换成地理划分后,RMSE 会上升到 0.7 以上,这个差距才是真实泛化能力。

3. 模型训练与调参:线性回归、树模型与集成方法的选择逻辑

3.1 基线模型必须用线性回归,但不是裸的 LinearRegression

房价预测的基线模型选线性回归,原因有两个:一是可解释性强,每个特征的系数直接对应“每增加一个单位,房价变化多少美元”;二是快速验证特征工程质量。但直接用 LinearRegression 会遇到多重共线性问题—— AveRooms 和 rooms_per_person 高度相关,导致系数方差变大。

常见做法是用 Ridge 回归,通过 L2 正则化收缩系数。也可以用 Lasso,它自动做特征选择,把不重要的特征系数压缩为 0。实际项目中我一般先跑 Ridge,看系数大小和正负是否符合直觉,再用 Lasso 验证特征重要性排序。

from sklearn.linear_model import Ridge, Lasso
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

ridge = Ridge(alpha=1.0)
ridge.fit(X_train_scaled, y_train)

y_pred = ridge.predict(X_test_scaled)
print(f"Ridge RMSE: {mean_squared_error(y_test, y_pred, squared=False):.4f}")
print(f"Ridge R2: {r2_score(y_test, y_pred):.4f}")

StandardScaler 在这里不是可选项,Ridge 和 Lasso 对特征尺度敏感,不做标准化的话, MedInc 和 Population 的系数量级差异会很大。 alpha=1.0 是默认值,实际调参范围通常在 0.01 到 100 之间对数分布搜索。RMSE 低的模型不一定好,因为高房价样本的误差天然比低房价大,所以同时要看 R2 和误差分布。

3.2 树模型的优势与 XGBoost 的关键参数

线性模型对非线性关系捕捉能力有限,房价预测量价关系通常是“面积越大单价越低”的非线性曲线,加上地段、房龄、配套的交互效应,树模型天然占优。随机森林和 XGBoost 是主流选择。XGBoost 比随机森林好的地方在于它用梯度提升逐棵纠正前一棵树的残差,精度上限更高,但过拟合风险也更大。

import xgboost as xgb

xgb_model = xgb.XGBRegressor(
    n_estimators=300,
    max_depth=5,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    reg_alpha=0.1,
    reg_lambda=1.0,
    random_state=42
)

xgb_model.fit(X_train, y_train)

XGBoost 回归参数调整的核心在 5 个方向: n_estimators 控制树的数量,越大越容易过拟合,配合早停法使用; max_depth 默认 6,房价预测这种中等规模数据 4 到 6 足够,过深会导致模型记住训练集噪声; learning_rate 越小,每棵树贡献越小,需要的树越多,0.05 到 0.1 是合理区间; subsample 和 colsample_bytree 分别是行采样和列采样比例,0.8 是常见默认值,减小它们能降低过拟合; reg_alpha 和 reg_lambda 是 L1/L2 正则化参数,特征数量多或共线性强时调大 reg_alpha 。

注意这里没有对 XGBoost 做标准化,因为树模型是分段常数函数,对特征尺度不敏感。这也是树模型相对线性模型的一个优势:省去标准化步骤,特征工程时不用太纠结量纲。

3.3 参数调优的实操流程:网格搜索 + 早停

调参不能靠感觉。常见做法是先固定 learning_rate ,用早停确定合理树数量,再对 max_depth 和 subsample 做小范围网格搜索。早停的实现方式是 XGBoost 的 eval_set 参数。

from sklearn.model_selection import GridSearchCV

xgb_base = xgb.XGBRegressor(
    n_estimators=1000,
    learning_rate=0.03,
    early_stopping_rounds=50,
    random_state=42
)

param_grid = {
    'max_depth': [4, 5, 6],
    'subsample': [0.7, 0.8, 0.9],
    'colsample_bytree': [0.7, 0.8]
}

grid_search = GridSearchCV(
    xgb_base,
    param_grid,
    cv=5,
    scoring='neg_mean_squared_error',
    verbose=1,
    n_jobs=-1
)

grid_search.fit(
    X_train, y_train,
    eval_set=[(X_test, y_test)],
    verbose=False
)
print(f"Best params: {grid_search.best_params_}")
print(f"Best score: {-grid_search.best_score_:.4f}")

网格搜索的 cv=5 是 5 折交叉验证,每一折都会训练一次模型,所以参数组合数乘以 5 是实际训练次数。9 组参数乘以 5 折等于 45 次训练,单机几秒钟能跑完。 n_jobs=-1 让所有 CPU 核并行,但如果机器内存小于 8GB,建议改成 4,因为 XGBoost 的线程并行非常吃内存。

早停的坑在于: early_stopping_rounds=50 表示连续 50 轮验证集误差没有改善就停止。验证集用的是测试集,这在严格意义上属于数据泄漏——你提前看到了测试集的信息。更合理的做法是从训练集里再切出一部分做验证集,或者直接用交叉验证的结果决定树数量。

3.4 模型对比表:什么场景选什么模型

模型 RMSE(地理划分) 训练时间 可解释性 适用场景
Ridge 0.85 秒级 高(系数可解释) 基线、快速验证特征
Lasso 0.88 秒级 中(特征选择) 特征非常多时做筛选
随机森林 0.68 分钟级 低(特征重要性) 特征非线性强
XGBoost 0.62 分钟级 低(可加SHAP解释) 追求精度的最终模型
LightGBM 0.63 分钟级 低 数据量超过 10 万条

这个表的 RMSE 只是相对量级参考,不同数据集差异巨大。重点看两个结论:一是树模型比线性模型误差低 25% 左右,这说明特征与房价的关系确实是非线性的;二是 XGBoost 和 LightGBM 差距不大,小数据集上优先选 XGBoost,稳定性更好。LightGBM 的叶子生长策略在小数据集上更容易过拟合,除非样本量过 10 万,否则不建议换。

4. 系统封装:从 Jupyter Notebook 到可调用的预测服务

4.1 系统应该包含哪些模块

标题带“系统”二字,意味着交付物不只是 .ipynb 文件,而是一个可运行、可演示、可扩展的完整工程。一个标准的房价预测系统至少包含四个模块:

  • 数据层:数据加载与清洗脚本,支持 CSV 输入
  • 模型层:训练好的模型文件( .joblib 或 .pkl )和预处理管道
  • 服务层:HTTP API 接口,接收房源特征,返回预测价格
  • 展示层:简单的前端页面或命令行交互,方便演示

项目目录结构按下面的方式组织,这样做的好处是训练代码和部署代码分离,改模型不影响服务,改服务不动训练逻辑。

housing_price_system/
├── data/
│   ├── raw/                 # 原始数据
│   └── processed/           # 清洗后数据
├── models/
│   ├── preprocessor.joblib # 标准化/编码器
│   └── xgb_model.joblib    # 训练好的模型
├── src/
│   ├── data_preprocess.py  # 数据清洗逻辑
│   ├── train_model.py      # 模型训练脚本
│   ├── predict_api.py      # FastAPI 服务
│   └── utils.py            # 公共工具函数
├── tests/
│   └── test_api.py         # 接口测试
└── requirements.txt

4.2 用 joblib 持久化完整预处理管道

模型部署的常见错误是只保存模型,不保存预处理逻辑。线上预测时重新实现一遍特征工程,很容易产生训练和推理不一致。正确做法是把预处理管道和模型打包在一起,用 sklearn.pipeline.Pipeline 串联所有转换步骤。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.compose import ColumnTransformer
import joblib

# 定义数值特征列
numeric_features = ['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 
                    'Population', 'AveOccup', 'rooms_per_person', 
                    'bedroom_ratio', 'dist_to_center']

preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), numeric_features)
    ],
    remainder='passthrough'
)

# 构建完整管道
pipeline = Pipeline([
    ('preprocess', preprocessor),
    ('model', xgb_model)
])

# 在完整训练集上训练
pipeline.fit(X_train, y_train)

# 保存
joblib.dump(pipeline, 'models/housing_pipeline.joblib')

Pipeline 的核心价值是保证 transforms 和 estimator 的调用顺序一致。 ColumnTransformer 对数值列做标准化, remainder='passthrough' 让非数值列(比如 district )原样通过,避免手动筛选列的繁琐和出错。保存后,线上服务只需要加载这个文件,调用 pipeline.predict(data) ,不需要再写一遍标准化或特征组合逻辑。

4.3 FastAPI 发布预测接口:输入校验与错误处理

服务层选择 FastAPI,原因是轻量、自带参数校验、自动生成 Swagger 文档。相比 Flask,FastAPI 用 Pydantic 做请求体校验,能直接抛出可读的错误信息,省掉一堆手工 if 判断。

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
import joblib
import numpy as np

app = FastAPI(title="房价预测系统 API", version="1.0")
model = joblib.load('models/housing_pipeline.joblib')

class HouseFeatures(BaseModel):
    MedInc: float
    HouseAge: int
    AveRooms: float
    AveBedrms: float
    Population: int
    AveOccup: float
    Latitude: float
    Longitude: float

    class Config:
        schema_extra = {
            "example": {
                "MedInc": 8.3,
                "HouseAge": 28,
                "AveRooms": 5.6,
                "AveBedrms": 1.1,
                "Population": 1200,
                "AveOccup": 3.2,
                "Latitude": 34.2,
                "Longitude": -118.5,
            }
        }

@app.post("/predict")
async def predict(features: HouseFeatures):
    try:
        data = np.array([[
            features.MedInc, features.HouseAge, features.AveRooms,
            features.AveBedrms, features.Population, features.AveOccup,
            features.Latitude, features.Longitude
        ]])
        prediction = model.predict(data)[0]
        return {"predicted_price": round(float(prediction), 2)}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

@app.get("/health")
async def health():
    return {"status": "ok"}

接口设计里有三个关键点。第一, HouseFeatures 类定义了请求体结构,FastAPI 会自动校验字段类型和必填性,前端传错类型会返回 422 错误而非 500。第二,预测值返回单位是万美元,如果面向国内用户,需要在接口文档里显式说明,或者在前端乘以汇率。第三, /health 健康检查接口是部署必需,负载均衡器和容器编排工具靠它判断服务存活状态。

启动服务只需要一行命令: uvicorn src.predict_api:app --host 0.0.0.0 --port 8000 。然后用 curl 验证接口是否可用:

curl -X POST http://localhost:8000/predict \
  -H "Content-Type: application/json" \
  -d '{"MedInc":8.3,"HouseAge":28,"AveRooms":5.6,"AveBedrms":1.1,"Population":1200,"AveOccup":3.2,"Latitude":34.2,"Longitude":-118.5}'

注意这里源码里的 schema_extra 不是用户需求,而是我为了演示 Swagger 文档常用写法加上的,实际项目中是否有该字段需要以原始代码为准。

4.4 模型文件与源码的版本管理

房价预测系统源码里应该包含一个 requirements.txt ,锁定依赖包版本。常见坑是本地环境装的是 scikit-learn 1.1,部署环境是 1.3,pickle/joblib 文件在跨版本加载时可能报不兼容错误。解决办法是在 requirements.txt 里用 == 精确锁版本,而不是用 >= 。


fastapi==0.104.1
uvicorn==0.24.0
xgboost==2.0.2
scikit-learn==1.3.2
pandas==2.1.3
numpy==1.26.2
joblib==1.3.2
pydantic==2.5.2

另外模型文件不要用 git 管理, .joblib 文件通常几十 MB,每次训练都会覆盖,放进 git 会让仓库迅速膨胀。正确做法是用 dvc 或直接把模型文件放对象存储,源码仓库里只保存加载路径。

5. 模型可解释性与误差分析:让预测结果说服人

5.1 SHAP 值解释:哪个特征影响了预测价格

房价预测系统的最终使用者不会只看一个数字,他们会问“为什么这套房子值这个价”。SHAP(SHapley Additive exPlanations)是目前最通用的模型解释工具,通过计算每个特征对预测结果的边际贡献,让人理解模型的决策逻辑。

import shap

explainer = shap.TreeExplainer(xgb_model)
shap_values = explainer.shap_values(X_test)

shap.summary_plot(shap_values, X_test, feature_names=X_test.columns)
shap.force_plot(explainer.expected_value, shap_values[0], X_test.iloc[0])

summary_plot 输出的是全量样本的特征重要性散点图,每个点代表一个样本,横轴是 SHAP 值(正负表示推高/拉低价格),颜色表示特征值高低。从中能看到: MedInc 和 Latitude 是影响最大的两个特征,且 Latitude 的 SHAP 值呈分段跳跃——这正好对应不同区域的房价梯度。 force_plot 对单个样本做解释,展示基准值加上每个特征的贡献,最后得到预测值。如果你要写报告,这两张图比任何 RMSE 数据都有说服力。

注意 shap.TreeExplainer 只适用于树模型,线性模型要用 shap.LinearExplainer 。另外 SHAP 计算耗时与样本量和树数量正相关, summary_plot 在 10 万样本以上会明显卡顿,可以先对测试集抽样 1000 条再计算。

5.2 误差分布的可视化:看哪里预测偏差最大

模型评估不只是看 RMSE,还要看误差在哪个样本区间集中。常见做法是把预测值和真实值的散点图画出来,再按误差绝对值排序,找出误差最大的 TOP 10 样本,逐一检查它们有什么共同点。

import matplotlib.pyplot as plt

errors = y_test - y_pred
abs_errors = np.abs(errors)

plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, alpha=0.5)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2)
plt.xlabel('Actual Price (10k USD)')
plt.ylabel('Predicted Price (10k USD)')
plt.title('Prediction vs Actual')

# 找出误差最大的 10 个样本
top_error_indices = abs_errors.nlargest(10).index
print(X_test.loc[top_error_indices])

误差最大的样本通常集中在高房价区域。原因有两个:一是训练集中高房价样本本来就少,模型学习不充分;二是高房价往往对应特殊地段,比如学区、海景、特殊户型,这些信息不在特征里,模型只能靠地理位置特征猜测。看到这个结果,说明系统已经到达特征上限,下一步的方向是补充更多外部数据源,而不是继续调参。

5.3 给新手的一个交叉验证技巧

如果本地数据量不大,不要只做一次训练测试集划分就得出结论。我当时常用的是 K 折交叉验证配合 cross_val_score ,把误差的均值和标准差一起打印出来。均值反映模型精度,标准差反映模型稳定性,如果标准差大于均值的 20%,说明模型对数据划分方式过于敏感,需要检查特征是否包含异常值或数据是否分布不均。

from sklearn.model_selection import cross_val_score

scores = cross_val_score(
    xgb_model, X_train, y_train,
    cv=5,
    scoring='neg_mean_squared_error'
)
rmse_scores = np.sqrt(-scores)
print(f"CV RMSE: {rmse_scores.mean():.4f} ± {rmse_scores.std():.4f}")

这段代码会把训练数据分成 5 份,轮流用 4 份训练、1 份验证,最后输出 5 次 RMSE 的均值和标准差。它和网格搜索的区别是这里只评估模型性能,不涉及调参。如果 5 次 RMSE 的极差超过 0.2,建议回看数据清洗步骤,通常是有个别区域样本量过少导致折间分布不均衡。

本文还有配套的精品资源,点击获取 menu-r.4af5f7ec.gif

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐