简介:一份基于朴素贝叶斯算法的豆瓣电影Top250评论情感分析系统源码及配套数据集,源于答辩获98分的毕业设计,面向机器学习与自然语言处理方向的高校学生、研究者,也适合作为毕业设计或课程实践的参考项目。资源共14个文件,压缩包约3.28MB,核心包含Python脚本与Jupyter Notebook实现,提供评论数据集、停用词表以及备份文件与说明文档,覆盖数据清洗、特征提取、分类器训练和情感预测的完整流程。目前已有50人浏览学习。项目采用模块化设计,训练、测试与主分析程序相互独立,便于针对特征工程或分类器参数做进一步优化与扩展。代码经过系统性验证,结构清晰,对于希望完整走通一次文本情感分析管线、或快速搭建同类课题框架的学习者,是一份紧凑且可直接使用的参考素材。

1. 朴素贝叶斯做豆瓣Top250评论情感分析:从源码包到可运行系统

我拆项目的第一步基本是先看数据,再看代码,最后才看模型。基于朴素贝叶斯算法的豆瓣电影Top250评论情感分析系统源码及数据集,属于典型的“模型挺简单、数据预处理挺折腾”的项目。拿到手你会发现,真正决定准确率高低的不是朴素贝叶斯本身,而是评论里的脏字符、分词粒度、样本标注口径这些看起来不起眼的细节。适合刚学完Python、想拿真实数据集练手的人,也适合正在准备课程设计或毕设、需要一个能讲清楚的完整系统的同学。

这套资源里的数据来自豆瓣电影Top250的短评区,正负样本按评分口径切分,代码覆盖从CSV清洗、jieba分词、向量化到MultinomialNB训练和预测的整条链路。和那些只讲算法理论的教程不同,它是能直接跑出准确率和混淆矩阵的完整落地包。读这篇文章,你会看到我怎么组织预处理、怎么拼Pipeline、遇到哪些坑,以及最后怎么验证模型有没有真的可用。

2. 数据集与预处理:清洗、分词和标注口径直接决定模型下限

中文情感分析最怕两种情况:语料太干净,训练完的模型一到真实环境就失灵;语料太脏,连算法都还没碰,预处理就劝退一半人。豆瓣Top250短评恰好落在中间——它有明确评分,可以按星星做标注;文本又短,一两句话里经常同时出现“好看”“无聊”这类关键词;数据量不大,几千条级别,跑一次训练不至于等到怀疑人生。

2.1 为什么选豆瓣Top250短评做语料

朴素贝叶斯算法在中文短文本里之所以常用,是因为它假设特征之间相互独立。实际文本里词与词当然不独立,但这个假设在短评论里反而能扛得住。短评平均二三十个字,情感词密集,词与词的干扰有限;同时它的训练和预测代价很小,小数据集上几分钟就能出一个可解释的baseline。真正决定这个baseline高不高的,是预处理咋写。

另外,豆瓣短评的评分体系天然适合做监督标注。5星到1星,跨度明确,不需要专门雇人去打标签。对比那些从微博或新闻评论区扒来的语料,清洗成本低得多。这也是我在推荐别人入门情感分析时,经常拿豆瓣Top250当首选项的原因。

2.2 清洗与分词:先正则再jieba,别急着上模型

我一般把预处理写成两个函数,一个是清洗,一个是分词。清洗负责把URL、@用户、多余标点、英文乱码这些噪声从文本里摘出去;分词负责把连续中文切成一串有空格隔开的词,因为后续sklearn的CountVectorizer是按空格做切分的,词没有空格隔开,它就只能按字符处理。

import re
import jieba
import pandas as pd

def clean_comment(text):
    # 去掉URL,避免长链接把特征空间撑大
    text = re.sub(r'https?://\S+', '', text)
    # 去掉@用户和多余空白
    text = re.sub(r'@\S+', '', text).strip()
    # 只保留中文、英文、数字和常见句末标点
    text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9,。!?、]', '', text)
    return text

def cut_comment(text):
    # 精确模式,不切出“电影-迷”这种粗粒度
    return ' '.join(jieba.lcut(text, cut_all=False))

df = pd.read_csv('datasets/douban_top250_comments.csv')
df['clean_comment'] = df['comment'].apply(lambda x: cut_comment(clean_comment(x)))

这段代码里需要注意的点有三个。第一个是清洗顺序,先用正则去掉URL再strip,否则残留的换行符会混进后面的特征里。第二个是保留字符的集合,别把所有标点都干掉,句末的“!?”在情感分析里是有信号的,评论区一片“烂片!!!”和一片“好看。”表达的强度完全不一样。第三个是jieba的cut_all参数,我一直用False,因为全模式会把词切碎,比如“这部电影”会被切成“这部”“电影”,特征维度变大但信息量没有变多。

清洗和分词做完,建议顺手把结果回写到CSV新列里,后续训练会省很多事。数据量不大,上面最后一行apply就能跑完。等以后数据量大了,再用pandas的map或并行处理,现在没必要过度优化。

2.3 标注口径:4星以上是正样本,别硬塞3星

很多人在这一步翻车。豆瓣短评虽然带评分,但评分是1到5星,中间还有个“3星摇摆区”,表达的是“还行、凑合、一般般”。如果你的目标是二分类情感分析,最干净的做法是4星及以上归为正样本、2星及以下归为负样本,3星直接丢出去;如果项目一定要用全部数据,那就改做三分类,把中性单独作为一类,而不是硬把“还行”塞进“好评”或“差评”。

原因是朴素贝叶斯本质上是学词的条件概率,3星评论里的词往往是“还行”“凑合”“勉强”,这些词同时出现在正负样本的两端,会拉低两类特征的区分度。我见过一个案例,把3星塞进正样本后,模型对“平庸”类评论全部输出好评,那一刻你就知道不是算法的问题,是标注口径污染了label。拿到数据集后先检查一下sentiment这一列的分布,确保正负比例接近1:1再继续。

数据集里还容易混进去一个隐性问题——重复评论。豆瓣Top250的热门电影评论区,有人会复制相似的短评,如果训练集和测试集里出现同一句评论,测试指标的虚高会让你以为模型很强。预处理时可以加一步 df = df.drop_duplicates(subset=['comment']) ,把完全相同的短评去掉,保个心安。

3. 从训练到预测:向量化、朴素贝叶斯与模型持久化的完整链路

3.1 为什么用Pipeline把向量化和分类器串起来

训练一个文本分类模型,最经典的组合是CountVectorizer加MultinomialNB。前者把分词后的文本转成词频矩阵,后者在词频矩阵上做多项朴素贝叶斯估计。分开写没问题,但我总会用Pipeline把它们包成一个整体,因为这样fit、predict、save全都在同一个对象上,不会出现“向量器用的是训练时的词表,模型加载时却换了新词表”的错位。

用Pipeline还有个实际好处,保存的时候一个joblib文件就把向量器的词表、模型的类别先验、平滑参数全带走了。新机器上加载,直接predict就行,不用记忆训练时用了哪些参数。

3.2 训练代码:从CSV到可预测的评论分类器

下面这段是我常用的训练写法。这份资源自带源码和数据集,下载后datasets目录里就是CSV,跑完这段代码会在model目录下生成一个可直接调用的模型文件。

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline
from sklearn.model_selection import train_test_split
from joblib import dump

# 读入已经清洗、分词、标注好的数据
df = pd.read_csv('datasets/douban_top250_comments.csv')
X = df['clean_comment']
y = df['sentiment']

# stratify保证训练集和测试集里的正负比例一致
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

# 词频向量化 + 朴素贝叶斯,一条Pipeline串起来
model = Pipeline([
    ('vectorizer', CountVectorizer(
        max_features=8000,
        ngram_range=(1, 2),
        min_df=2
    )),
    ('clf', MultinomialNB(alpha=0.5))
])

model.fit(X_train, y_train)
print('test accuracy:', model.score(X_test, y_test))
dump(model, 'model/douban_sentiment_pipeline.joblib')

先说两个关键参数。max_features=8000是限制特征维度,中文评论里常见的词也就几千个,设到8000可以过滤掉大量低频噪声,训练和推理都快很多;ngram_range=(1,2)表示同时考虑单个词和两个词的组合,因为“好看”是一个词,但“太好看”里“太”和“好看”的组合对情感判断更敏感。min_df=2表示出现次数少于2次的词直接丢掉,避免生僻词占特征位置。这几个参数不是玄学,是小样本文本分类的常规设置,之后可以按数据量微调。

MultinomialNB里的alpha=0.5是拉普拉斯平滑系数。alpha越大,概率估计越向均匀分布靠拢,对低频词的惩罚越轻;alpha=1.0是sklearn默认值,文本分类里我一般从0.5起调,如果模型过拟合测试集,就回调到1.0。随机拆分时固定random_state=42,这句话在复现数据的时候就是后悔药,别人下载同一份数据集、跑同一个脚本,能得到一模一样的准确率。

跑完会在model目录下生成一个douban_sentiment_pipeline.joblib文件,这个文件就是最终的“系统模型资产”,后续预测、集成、部署都从它加载。

3.3 源码包里常见的文件构成

拿到这套资源先别急着跑,按下面这个结构对号入座。缺少哪个文件就先创建哪个,路径对不上最容易报ModuleNotFoundError。

文件/目录 类别 职责
datasets/douban_top250_comments.csv 数据集 评论原始文本、清洗后文本、sentiment标签
preprocess.py 源码 清洗、分词、去重、标注口径处理
train.py 源码 读CSV、拆分、Pipeline训练、模型导出
predict.py 源码 单条评论预测、批量CSV预测接口
requirements.txt 依赖 jieba、scikit-learn、pandas、joblib

predict.py里我通常会预留一个predict_comment函数,输入原始评论字符串,内部先走清洗和分词,再走加载好的Pipeline,输出正负类和置信度。这一步是后面批量验证的基础,初学的人容易跳过,以为训练完就是终点,其实预测接口才是“系统”二字的体现。

到这里,训练链路已经完整了:CSV进,joblib出,predict.py接上新评论就能返回0或1。接下来要说的,是我在复现类似项目时踩过的坑,每个都真实发生过,对照着看能少走半天弯路。

4. 避坑指南:中文情感分析里最容易被忽略的五个坑

4.1 模型精度上不去:问题往往出在清洗而不是算法

现象:同一份数据集,别人跑出0.85的准确率,你只有0.72,而且看特征列表全是“https www com”之类的噪声词。

原因:清洗函数没做全,URL、邮箱、@用户、英文残留全进了词表。例如一个链接会被切成一堆无意义token,占掉特征维度还干扰训练。

解决:把清洗这一步写到最前面,宁可多过滤几个符号也不要手软。我一般用2.2的正则先处理,再去掉只由数字和标点组成的“空词”。清洗之后看一遍 df['clean_comment'] 里前100条结果,发现不对劲就回头改正则,别直接进训练。

4.2 样本不均衡:模型只会输出“好评”

现象:测试准确率看起来还行,但分类报告里负样本的recall特别低,预测阶段几乎所有的评论都返回正例。

原因:豆瓣Top250里高分电影居多,好评天然多于差评。如果按原始分布直接训练,朴素贝叶斯学到的先验P(好评)远高于P(差评),决策边界会偏。

解决:第一步用train_test_split的 stratify=y 保证划分时不跑偏;第二步在训练前检查 y.value_counts() ,如果正负比超过1.5:1,就用sklearn的resample把少数类上采样到与多数类持平,或者在训练时给少数类更高权重。朴素贝叶斯本身没有class_weight参数,这是很多人找不到解决入口的地方,结果是在调参上白忙一晚上。

4.3 分词后没有空格拼接,向量化结果全是字符级特征

现象:max_features设了8000,跑出来特征名却是“电”“影”“好”“看”这种单字。

原因:jieba.cut()返回的是一个生成器,直接把生成器结果传给CountVectorizer。sklearn默认按正则切分文本,看到没有空格的连续中文,只能逐字符处理,于是特征全变成了单字。

解决:分词后用空格把词拼回去,也就是cut_comment里的 ' '.join(...) 这一步。如果你输入的是列表,也先join成一句再喂Pipeline。检验方法很简单,训练完打印 model.named_steps['vectorizer'].get_feature_names_out() ,看到正常词条而不是单字,才算过关。

4.4 模型重启后加载报错或预测维度不一致

现象:训练时一切正常,换个环境或重启后加载joblib,predict时报错说特征数量不匹配,类似 expected n_in features, got m 。

原因:保存模型时只存了分类器,没存向量器,或者只存了向量器但没存整个Pipeline。更隐蔽的原因是sklearn版本不一致,不同版本的CountVectorizer在词表构建上有细微差异。

解决:无条件保存整个Pipeline对象,就是3.2里写的 dump(model, ...) 。加载时对应使用 load('model/douban_sentiment_pipeline.joblib') ,同一个文件里包含词表和分类器,维度天然一致。如果跨机器部署,固定requirements.txt里的scikit-learn版本号,不要图新装最新版。

4.5 只报准确率会骗人,新评论一测就露馅

现象:训练集上测试准确率0.90,拿几条真实的“超级烂片”去测,反而被分成了好评。

原因:accuracy对多数类友好,样本不均衡时尤其失真;同时训练测试集同源,模型见过的句式分布与现实不完全一样。

解决:每次训练完都打印classification_report和混淆矩阵。如果负样本的f1明显低于正样本,就回到4.2的样本均衡处理;同时把预测接口里加一个置信度检查,proba低于某个阈值(比如0.6)就返回“不确定”,而不是硬给一个0或1。这对后续批量预测和二次筛选非常有用,宁可少判断,也别瞎判断。

提示:置信度阈值这步虽然会让最终准确率数字变低,但模型的可信度反而是提升的。真实应用里,“我不知道”比“我猜错了”值钱得多。

5. 进阶验证:用混淆矩阵和批量预测把模型调到可用状态

5.1 用混淆矩阵找到最容易误判的评论

光看accuracy没法知道哪类评论在拖后腿。我通常拿测试集跑一遍预测,再打印classification_report和混淆矩阵,顺手把误判的评论原文抽出来看。

from sklearn.metrics import classification_report, confusion_matrix
import numpy as np

y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred, target_names=['negative', 'positive']))
print(confusion_matrix(y_test, y_pred))

# 把预测错的样本原文打印出来,肉眼判断模型被什么词带偏
mis_idx = np.where((y_test.to_numpy() != y_pred))[0]
for i in mis_idx[:5]:
    print('评论:', df['comment'].iloc[i], '真实:', y_test.iloc[i], '预测:', y_pred[i])

读报告时重点看负样本的precision和recall。如果precision低,说明模型把太多好评当成了差评,需要检查是不是好评里的否定词(“不是不好看”“没想象中差”)被丢了;如果recall低,说明差评识别不全,需要回到样本均衡和特征维度上找原因。从测试集里抽几条预测错误的样本看,你会发现大部分错判集中在“虽然但是”这类的转折句上,比如“虽然演技烂,但剧情很好”,模型在转折词上丢了重点,这个发现比调参更有价值。

5.2 调参路径:从评估结果反推参数改动

基于评估结果,我一般按这个顺序调参,而不是盲目改参数。

现象 优先调整
整体准确率稳定但负样本recall低 样本均衡处理,或降低alpha到0.3-0.5
训练集和测试集准确率差距大 降低max_features,提高min_df
单字特征太多 检查预处理是否漏了空格拼接,ngram_range改为(1,2)
模型对“还行”类评论乱判 确认3星样本是否混入训练集

alpha平滑和max_features是朴素贝叶斯项目里最值得调的两个参数,改完重新跑一遍训练流程,保存新的joblib文件。写predict.py时把批量预测也加进去,读入一个新CSV,逐条输出预测标签和置信度,导出预测结果文件。这样后续要汇报效果时,不需要再手动一条条测,直接跑脚本产出报告即可。

从那以后我每次搭建中文文本分类系统,都会强制先检查样本分布、然后看混淆矩阵、最后确认整个Pipeline是否完整保存。这三件事做完才敢说模型“可用”,而不是“能跑”。这套资源自带源码和数据集,下载后按上面的顺序走一遍,比你对着零碎博客拼一个通宵要省力得多。希望帮到你。

本文还有配套的精品资源,点击获取 menu-r.4af5f7ec.gif

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐