简介:这是一套面向计算机相关专业学生与初学者的机器学习实战项目,以商品评论分析为主题,将网络爬虫与文本情感分析两条技术线完整串联。项目通过selenium爬取京东评论,并针对淘宝反爬机制采用已有链接抓取策略;情感分析同时实现情感词典与SnowNLP两种方案,其中SnowNLP在准确率与召回率上表现更优,最终借助tkinter构建图形界面,实现链接解析、评论表格展示、词云生成以及好评差评数量统计的完整流程。资源包共906个文件,以401个py源码、392个pyc编译文件、25个pyd扩展及17个exe可执行程序为主,另含csv数据集、txt说明、jpg截图与xml配置等,压缩包约18.79MB。已有392人学习下载。代码均经测试运行成功,适合作为课程设计、毕业设计或项目立项演示的参考模板,也可在此基础上修改扩展,用于学习爬虫与情感分析的工程化落地。

1. 商品评论分析系统:从爬到的脏数据到能上线的模型,中间隔着什么

电商运营每天面对几千条新评论,靠人工翻页看不过来,这是最朴素的痛点。基于机器学习的商品评论分析系统,核心就做三件事:把评论爬下来、把情感倾向判出来、把结果聚合成能看的报表。听起来像是一个标准的 NLP 入门项目,但真正动手做的人会发现,从原始评论到可用的分类模型,中间隔着一堆琐碎工程问题——中文分词边界、类别极度不均衡、短文本特征稀疏、模型上线后的推理延迟。这套系统适合两类人:一是想拿一个完整项目练手机器学习全流程的开发者,二是需要快速搭一套评论监控原型的团队。源代码和文档说明的价值不在于代码多复杂,而在于它把数据清洗、特征工程、模型训练、接口封装这条链路完整串了一遍,让你能看到每个环节的真实输入输出长什么样,而不是只跑一个 sklearn 的 demo。

2. 评论数据从哪来、怎么洗:爬取与预处理的工程细节

2.1 评论数据的采集边界与合规底线

做评论分析,第一步永远是数据。常见做法是用公开电商平台的商品页做采集,但这里有一条硬边界:只采公开可见的评论文本和评分,不碰用户昵称、头像、订单号等任何可关联到个人的字段。我一般会在采集脚本里直接过滤掉这些列,只保留 review_text 、 rating 、 timestamp 、 product_id 四个字段。采集频率也要控制,单商品页请求间隔不低于 2 秒,避免给对方服务器造成压力。如果你只是做本地实验,更稳妥的方式是用公开评论数据集,比如电商评论语料或酒店评论语料,这些数据已经脱敏,拿来直接跑通流程更省事。

采集下来的原始数据通常是 JSON 或 CSV,字段命名混乱、编码不统一。我见过最离谱的一份数据里,同一列既有 UTF-8 又有 GBK 编码的文本,直接读进来就是乱码。所以第一步不是急着分词,而是统一编码和字段名。

import pandas as pd

# 读取原始评论数据,强制指定编码,避免乱码
df = pd.read_csv("raw_reviews.csv", encoding="utf-8", on_bad_lines="skip")

# 统一字段名,只保留分析需要的列
df = df.rename(columns={
    "content": "review_text",
    "score": "rating",
    "create_time": "timestamp",
    "item_id": "product_id"
})

# 丢弃评论内容为空或评分缺失的行
df = df.dropna(subset=["review_text", "rating"])

# 评分统一转为整数,过滤掉异常值
df["rating"] = pd.to_numeric(df["rating"], errors="coerce")
df = df[df["rating"].between(1, 5)]

print(f"清洗后剩余 {len(df)} 条评论")
print(df["rating"].value_counts().sort_index())

这段代码做了四件事:指定编码读取、重命名字段、丢弃关键字段缺失的行、把评分转成数值并限定在 1 到 5 之间。参数上, on_bad_lines="skip" 是为了跳过格式错乱的行,宁可少几条数据也不要让整个读取过程崩掉。 errors="coerce" 会把无法转成数字的值变成 NaN,后续 dropna 或过滤时自然被剔除。跑完这一步,你至少能得到一份字段干净、评分可用的评论表。

2.2 中文评论清洗:去噪、分词与停用词处理

中文评论的脏法很有特色:一堆表情符号、重复标点、拼音缩写、颜文字,还有“好评”“差评”这种和情感无关但高频出现的词。清洗的目标不是把文本变得多干净,而是让分词器能正确切出有意义的词。我一般按这个顺序处理:先去 HTML 标签和 URL,再统一标点,然后分词,最后去停用词。

import re
import jieba

# 加载停用词表,每行一个词
with open("stopwords.txt", encoding="utf-8") as f:
    stopwords = set(line.strip() for line in f if line.strip())

def clean_text(text):
    # 去掉 HTML 标签
    text = re.sub(r"<[^>]+>", "", text)
    # 去掉 URL
    text = re.sub(r"http\S+", "", text)
    # 只保留中文、英文和数字,其余替换为空格
    text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9]", " ", text)
    # 合并连续空格
    text = re.sub(r"\s+", " ", text).strip()
    return text

def tokenize(text):
    words = jieba.lcut(text)
    # 过滤停用词和单字
    return [w for w in words if w not in stopwords and len(w) > 1]

df["clean_text"] = df["review_text"].apply(clean_text)
df["tokens"] = df["clean_text"].apply(tokenize)

# 看一下处理前后的对比
for i in range(3):
    print("原始:", df["review_text"].iloc[i][:60])
    print("分词:", df["tokens"].iloc[i][:15])
    print("---")

clean_text 里的正则 [^\u4e00-\u9fa5a-zA-Z0-9] 是关键,它把中文、英文、数字之外的所有字符都替换成空格,表情符号和特殊标点自然被清掉。 tokenize 里过滤单字是因为中文单字歧义太大,“的”“了”“好”单独出现对分类贡献很小,反而增加特征维度。停用词表建议用哈工大或百度的公开版本,再根据你的数据补充“物流”“客服”“宝贝”这类平台高频但情感中性词。这一步做完,每条评论就变成了一个词列表,可以直接喂给特征提取器。

注意:分词前不要做词干化或去复数,中文没有这套规则,强行套英文预处理流程只会引入噪声。

3. 特征工程与模型选型:为什么 TF-IDF 加线性模型仍然是评论分析的首选基线

3.1 从词袋到 TF-IDF:短文本特征怎么提才不稀疏

评论数据的特点是短,平均长度可能就二三十个字。这种短文本用词袋模型会非常稀疏,一万条评论可能产生几万个特征维度,但每条评论只覆盖其中几十个。TF-IDF 的好处是能压制高频无意义词的权重,同时保留有区分度的词。在 sklearn 里, TfidfVectorizer 可以直接接在分词结果后面,但要注意几个参数。

from sklearn.feature_extraction.text import TfidfVectorizer

# 把分词结果拼回字符串,TfidfVectorizer 需要字符串输入
df["token_str"] = df["tokens"].apply(lambda x: " ".join(x))

vectorizer = TfidfVectorizer(
    max_features=5000,      # 只保留权重最高的 5000 个词
    ngram_range=(1, 2),     # 同时考虑单字词和双字词组合
    min_df=3,               # 至少在 3 条评论中出现过的词才保留
    max_df=0.8,             # 在超过 80% 评论中出现的词丢弃
    sublinear_tf=True       # 用 1+log(tf) 替代原始词频,抑制高频词
)

X = vectorizer.fit_transform(df["token_str"])
print(f"特征矩阵形状: {X.shape}")

max_features=5000 是控制维度的硬上限,评论分析场景下 3000 到 8000 之间比较合适,太少会丢信息,太多会过拟合。 ngram_range=(1,2) 让模型能捕捉“不 好”“很 好”这种双词组合,对情感判断帮助明显。 min_df=3 过滤掉只出现一两次的罕见词,这些词往往是噪声。 max_df=0.8 去掉“商品”“收到”这类几乎每条都有的词。 sublinear_tf=True 是经验之谈,评论里同一个词重复多次并不代表情感强度线性增加,用对数压制更合理。

3.2 模型选型:逻辑回归、朴素贝叶斯还是 SVM

在 TF-IDF 特征上,线性模型的表現通常不差,而且训练快、可解释。我一般会同时跑三个基线:逻辑回归、多项式朴素贝叶斯、线性 SVM,看哪个在验证集上 F1 最高。逻辑回归的优势是输出概率,方便后续做阈值调整;朴素贝叶斯训练极快,适合数据量大的场景;线性 SVM 在边界清晰的数据上往往更稳。

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import MultinomialNB
from sklearn.svm import LinearSVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 把评分转为二分类标签:4-5 星为正面,1-2 星为负面,3 星丢弃
df_binary = df[df["rating"] != 3].copy()
df_binary["label"] = (df_binary["rating"] >= 4).astype(int)

X_train, X_test, y_train, y_test = train_test_split(
    X, df_binary["label"], test_size=0.2, random_state=42, stratify=df_binary["label"]
)

models = {
    "逻辑回归": LogisticRegression(max_iter=1000, C=1.0),
    "朴素贝叶斯": MultinomialNB(alpha=0.1),
    "线性SVM": LinearSVC(C=0.5)
}

for name, model in models.items():
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    print(f"=== {name} ===")
    print(classification_report(y_test, y_pred, digits=3))

这里有几个参数值得说。 LogisticRegression 的 C 是正则化强度的倒数,越小正则越强,评论数据噪声大时可以把 C 调到 0.5 甚至 0.1。 MultinomialNB 的 alpha 是平滑系数,评论短文本建议设 0.1 到 0.5,太小会过拟合,太大又欠拟合。 LinearSVC 的 C 同理,0.5 是一个比较保守的起点。三分类(正面/中性/负面)也可以做,但中性评论的边界很模糊,实际业务里往往直接二分类更实用。

提示:如果某个模型在验证集上 F1 明显低于其他两个,先别急着调参,检查一下特征矩阵里是不是混入了测试集的词。 fit_transform 只能在训练集上做,测试集必须用同一个 vectorizer 的 transform 。

4. 避坑与排查:评论分析系统最常见的五个翻车现场

4.1 分词把“不好”切成“不”和“好”,情感直接反转

现象:模型在测试集上把大量差评判成好评,人工看几条发现“质量不好”“不推荐”这类评论被误判。原因:jieba 默认分词会把“不好”切成“不”和“好”,而“不”往往在停用词表里被过滤掉,剩下“好”就成了正面信号。解决:在分词前把常见否定词和后面的形容词绑定,或者直接用 jieba.add_word("不好") 把否定短语加入词典。更系统的做法是维护一个否定词表,在分词后做规则修正。

4.2 训练集和测试集来自同一批商品,指标虚高

现象:交叉验证 F1 到 0.95,上线后实际准确率不到 0.7。原因:训练集和测试集里同一个商品的评论被随机分到了两边,模型记住了商品特征而不是情感特征。解决:按 product_id 做分组划分,确保同一个商品的所有评论只出现在训练集或测试集其中一边。sklearn 的 GroupShuffleSplit 可以直接做这件事。

4.3 类别不均衡导致模型只会猜多数类

现象:正面评论占 90%,负面占 10%,模型把所有评论都判成正面,准确率还有 0.9,但负面评论一条都抓不到。原因:默认的损失函数对多数类友好,少数类被忽略。解决:在模型里设 class_weight="balanced" ,或者对少数类做上采样。逻辑回归和 SVM 都支持 class_weight 参数,设成 "balanced" 后模型会自动按类别频率反比加权。

4.4 新词和网络用语导致线上效果衰减

现象:模型训练时“yyds”“绝绝子”还没出现,上线后这些词被当成普通词处理,情感判断失准。原因:TF-IDF 词表在训练时就固定了,新词不在词表里直接被忽略。解决:定期用新数据重新 fit vectorizer,或者改用支持子词切分的方案。如果不想频繁重训,可以在预处理阶段维护一个网络用语映射表,把新词替换成已知的情感词。

4.5 推理服务加载模型时内存翻倍

现象:本地训练好的模型部署到线上,服务启动后内存占用比预期高一倍,并发一上来就 OOM。原因:TF-IDF 矩阵和模型对象在加载时被复制了多份,或者用了 pickle 加载大对象没有做流式处理。解决:用 joblib 替代 pickle 保存和加载 sklearn 对象,它对大 numpy 数组更友好。另外把 vectorizer 和模型分开保存,推理时只加载一次,用全局变量持有。

5. 从脚本到服务:把评论分析模型封装成可调用的接口

5.1 用 FastAPI 包一个最小推理服务

训练完模型只是第一步,要让运营同学能用起来,得有个接口。FastAPI 是目前最省事的方案,自带文档和类型校验。下面是一个最小实现,加载保存好的 vectorizer 和模型,暴露一个 /predict 接口。

import joblib
from fastapi import FastAPI
from pydantic import BaseModel
import jieba
import re

app = FastAPI()

# 启动时加载一次,避免每次请求都读磁盘
vectorizer = joblib.load("tfidf_vectorizer.joblib")
model = joblib.load("sentiment_model.joblib")

with open("stopwords.txt", encoding="utf-8") as f:
    stopwords = set(line.strip() for line in f if line.strip())

class ReviewRequest(BaseModel):
    text: str

def preprocess(text: str) -> str:
    text = re.sub(r"<[^>]+>", "", text)
    text = re.sub(r"http\S+", "", text)
    text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9]", " ", text)
    words = jieba.lcut(text)
    words = [w for w in words if w not in stopwords and len(w) > 1]
    return " ".join(words)

@app.post("/predict")
def predict(req: ReviewRequest):
    cleaned = preprocess(req.text)
    vec = vectorizer.transform([cleaned])
    prob = model.predict_proba(vec)[0]
    label = int(model.predict(vec)[0])
    return {
        "label": "正面" if label == 1 else "负面",
        "confidence": round(float(max(prob)), 4)
    }

preprocess 函数必须和训练时的清洗逻辑完全一致,否则特征分布对不上,预测结果会莫名其妙。 joblib.load 在启动时执行一次,把对象放在模块级变量里,后续请求直接复用。 predict_proba 返回的概率可以用来做阈值过滤,比如置信度低于 0.6 的评论标记为“待人工复核”,而不是硬判。

5.2 批量评论的异步处理与结果落库

单条推理适合实时场景,但运营更常见的是批量导入一个 CSV,跑完导出结果。这种场景用异步任务更合适,避免 HTTP 请求超时。我一般用 FastAPI 的 BackgroundTasks 或者直接写一个独立的批处理脚本,读 CSV、逐条推理、写回结果表。

import pandas as pd
import joblib

vectorizer = joblib.load("tfidf_vectorizer.joblib")
model = joblib.load("sentiment_model.joblib")

def batch_predict(input_csv: str, output_csv: str):
    df = pd.read_csv(input_csv, encoding="utf-8")
    df["clean"] = df["review_text"].apply(preprocess)
    X = vectorizer.transform(df["clean"])
    df["pred_label"] = model.predict(X)
    df["pred_prob"] = model.predict_proba(X).max(axis=1)
    df["pred_text"] = df["pred_label"].map({1: "正面", 0: "负面"})
    df.to_csv(output_csv, index=False, encoding="utf-8-sig")
    print(f"完成 {len(df)} 条评论预测,结果写入 {output_csv}")

batch_predict("new_reviews.csv", "predicted_reviews.csv")

encoding="utf-8-sig" 是为了 Excel 打开时不乱码,这个细节在实际交付时很加分。 predict_proba(X).max(axis=1) 取的是模型对预测类别的置信度,后续可以按这个值排序,优先看低置信度的样本。批处理脚本不需要考虑并发,但要注意内存,如果 CSV 有几十万行,建议分块读取,每块一万行处理完就写盘。

5.3 模型迭代:什么时候该重新训练

评论数据分布会漂移,新品上市、促销活动、季节性变化都会让评论用词发生变化。我的经验是,当线上低置信度样本比例连续一周超过 15%,或者人工抽检准确率下降超过 5 个百分点,就该重新训练了。重训不是从头来,而是把新标注的数据追加到训练集,用同样的流程跑一遍,对比新旧模型在固定测试集上的 F1。如果提升不明显,可能只是数据噪声,不必急着上线。

注意:重新训练前一定要固定一个时间切分的测试集,不能用随机划分,否则新旧模型对比没有意义。时间切分能模拟真实上线场景,更能反映模型在未来数据上的表现。

5.4 一个容易被忽略的细节:评论时间戳的时区

采集下来的评论时间戳经常是 UTC 或者平台自己的时区,如果不统一,后续做趋势分析时会出现“凌晨三点评论暴增”这种假象。我一般会在入库前统一转成东八区,并在字段名里标明 timestamp_cn 。这个细节不影响模型训练,但影响报表的可信度,运营看到时间对不上的报表,对整个系统的信任度都会打折扣。

希望帮到你。

本文还有配套的精品资源,点击获取 menu-r.4af5f7ec.gif

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐