简介：一份基于机器学习的商品评论情感分析完整毕业设计项目，面向计算机相关专业准备毕设的学生及需要实战练习的机器学习入门者，覆盖评论爬取、文本预处理、特征工程、SVM与LSTM模型训练到GUI可视化展示的完整工程链。资源压缩包共43个文件，大小约66.66MB，主要包含14个Python源码文件（实现数据清洗、训练、测试、绘图及界面逻辑）、7个CSV与2个XLS评论语料（正负情感标注完整）、3个PKL与2个H5模型文件（保存训练好的词向量、SVM及LSTM模型），另含配置说明及爬虫驱动，目录结构清晰。目前已有318人学习下载，项目通过导师指导并严格调试，下载即可运行。GUI界面支持输入评论文本并输出情感结果，同时内置词向量与模型测试脚本，可直接用于毕业设计、课程设计或期末大作业，也适合在此基础上进行算法调优与功能扩展。

1. 商品评论情感分析：用一个高分毕设包搞懂NLP落地的完整链路

商品评论是电商场景里最密集的文本数据之一，用户写一条评价只需要几秒钟，但让运营逐条看完并判断用户是满意还是愤怒，成本高到不现实。“python实现基于机器学习的商品评论情感分析”这类项目，核心就是把“这条评论是好评、中评还是差评”这件事交给机器学习模型自动判断，并且用训练好的模型直接对外提供预测结果。标题里的压缩包之所以能作为高分毕设交付，是因为它包含了源码、数据集、训练好的模型和GUI界面四样东西，正好覆盖一个完整项目的所有阶段：数据从哪来、特征怎么提、模型怎么训、结果怎么用。这篇文章按这条链路拆开讲，每一步给出可直接照抄的Python代码和参数设置。适合两类人：一类是拿它做毕业设计或课程设计的学生，想知道每个文件怎么消化、每个参数为什么这么设；另一类是刚接触NLP、想用最小成本在自己业务里验证“文本分类能不能用”的开发者。

2. 先定技术路线：商品评论为什么适合机器学习而不是词典规则

2.1 词典法 vs 机器学习：两条路线的取舍关键

很多人拿到情感分析需求后，第一反应是“先攒一个正面词表和一个负面词表，然后数词”。这就是词典法，直观、解释性强，但它在商品评论这个场景里有几个天然缺陷：第一，评论区口语化严重，“绝绝子”“yyds”“避雷”这类新词和网络热词不在词典里就识别失败；第二，否定和转折结构复杂，“包装很好但质量不行”这句话里既有正面词又有负面词，简单加权很容易误判；第三，电商评论的领域词高度集中，“掉色”“缩水”“漏发”这些词不是常规情感词，却对判断用户态度极其关键。机器学习法的本质是让模型自己从标注好的训练样本里学习“哪些词组合指向哪个情感类别”，不需要人工维护词表，对短文本、口语化文本的适应性明显更强。

商品评论恰恰是机器学习情感分析最理想的应用场景之一：句子短（平均二三十个字）、类别清晰（好评/差评的用语边界比新闻评论和社交媒体模糊得多）、能低成本拿到大量标注数据（电商平台自带星级评分）。短文本让特征维度不会爆炸，类别清晰让分类器的决策边界容易学习，星级评分可以直接映射成标签，连人工标注的环节都省了。这也是为什么毕设和工业落地都乐于选这个场景。

2.2 从原始评论文本到训练样本：一条数据流向哪里

先明确数据形态。电商评论数据集最常见的结构是两列：一列是评论文本，一列是对应的星级评分（1到5星）。机器学习模型不认“好评”这两个字，只认数值标签，所以要先把星级映射成类别。常见做法是：4到5星映射成好评（positive，记作2或1），3星映射成中评（neutral，记作1），1到2星映射成差评（negative，记作0）。这个映射阈值不是固定的，如果你只需要二分情感（正向/负向），可以把3星并入负向或直接丢弃，完全取决于业务需求。

下面的代码先把数据读进来，做基础检查和类别分布统计，这是接手任何数据集的第一步。

import pandas as pd

# 读取原始评论数据，假设文件是 CSV 格式，包含 comment 和 rating 两列
df = pd.read_csv('comments.csv', encoding='utf-8')
print('原始数据量：', len(df))

# 去掉完全重复的评论，用户可能重复提交或数据采集时出现冗余
df = df.drop_duplicates(subset=['comment'])
print('去重后数据量：', len(df))

# 把星级评分映射为三分类标签：0=差评，1=中评，2=好评
def rating_to_label(rating):
    if rating >= 4:
        return 2
    elif rating == 3:
        return 1
    else:
        return 0

df['label'] = df['rating'].apply(rating_to_label)

# 查看类别分布，评估是否存在严重的样本不均衡
print(df['label'].value_counts())

代码逻辑分三步：读取数据、去除重复评论、把评分映射为标签。 drop_duplicates(subset=['comment']) 这一步不能省，电商数据经常出现同一条评论被多次采集，不去重会让模型对重复样本过拟合。最后的 value_counts() 是必看输出，如果好评占了90%而差评只有2%，后面训练出来的模型大概率会把所有评论都判成好评，这不是模型坏了，是数据本身就倾斜。类别分布是后面选择评估指标和采样策略的依据。

2.3 数据集没有标注怎么办：两种替代方案

如果你的数据只有评论文本、没有星级评分，那就需要人为标注。一条可行的路径是三人交叉标注：找两个同学或同事各自独立给评论打标签，遇到不一致的再讨论定夺。商品评论的标注标准尽量简单：提到质量、物流、客服且明确表达不满就算差评；有明显正面词且没有负面信息就算好评；可有可无的“还行”“一般般”算中评。标注标准不一致会让模型学到噪声，这一点后面避坑章节还会细说。

另一种更省力的做法是Snorkel这类弱监督框架，用几条启发式规则（包含“太差了”判负向、包含“推荐”判正向）给大规模无标注评论打“带噪声的初标签”，再用去噪模型训练。但对一个课程设计或毕设体量的项目，这个方案过于复杂。我一般会建议：先按星级映射出几万条带标签数据，如果类别不均衡再考虑人工补充差评样本，不要在标注流程上过度设计。把时间留给特征和调参，回报率更高。

3. 干净数据才有高准确率：评论清洗与特征工程的必调参数

3.1 文本清洗规则：留下什么、删掉什么

原始评论内容远不止汉字。HTML实体、超链接、表情符号、@用户、重复标点（“！！！！”）、数字和字母混拼（“z999”），这些内容对情感判断要么没贡献、要么会干扰分词。但清洗要克制，删过头会把有效信息一起删掉。下面这套清洗规则是处理电商评论最稳的底线，每一条都标注了理由。

import re

def clean_review(text):
    # 去掉 HTML 标签，例如 <br>、<p>
    text = re.sub(r'<.*?>', '', text)
    # 去掉 URL，评论里的链接基本是广告或引用来源
    text = re.sub(r'http\S+|www\.\S+', '', text)
    # 去掉 @用户名，交互类噪声，与商品本身无关
    text = re.sub(r'@[\w\-]+', '', text)
    # 去掉多余空白字符，包括换行和连续空格
    text = re.sub(r'\s+', ' ', text).strip()
    return text

df['clean_comment'] = df['comment'].astype(str).apply(clean_review)

清洗规则的核心原则是“只删确定性的噪声，不删有歧义的内容”。比如表情符号，我在这套规则里没有删，因为“东西很好😊”和“东西很好😡”的情感倾向完全不同，表情本身携带了情绪，直接删掉会损失信息。但如果你用的是老版本Python环境或某些分词库对emoji支持不好，也可以把表情单独抽取出来映射成“正面表情/负面表情”两个特殊标记，替代直接删除。另一个被反复讨论的坑是繁体字，电商评论里偶尔有繁体，建议用OpenCC统一转简体，而不是靠分词库硬切。

3.2 分词与停用词：不要把“不”字删掉

中文文本没有天然空格，分词是必须的前置步骤。商品评论场景最常用的分词工具是jieba，纯Python实现、安装方便、对电商口语词覆盖率尚可。分词之后要做停用词过滤，但停用词表的选取要极其小心——通用停用词表里往往包含“不”“没”“别”这类否定词，一旦被过滤，“不好”“不行”“不满意”就全变成了“好”“行”“满意”，情感倾向直接反转，这是文本分类里最经典的翻车现场。

import jieba

# 加载自定义词典，把商品领域词和网络热词加进去
# 每行一个词，可以指定词频和词性，格式：词 词频 词性
jieba.load_userdict('product_words.txt')

# 自定义停用词表，从通用表里显式移除否定词
stopwords = set()
with open('stopwords.txt', 'r', encoding='utf-8') as f:
    for line in f:
        stopwords.add(line.strip())

# 保留否定词，防止情感反转
protected_words = {'不', '没', '别', '无', '非'}
stopwords = stopwords - protected_words

def tokenize(text):
    words = jieba.lcut(text)
    # 过滤停用词和单字符噪声，但保留否定词
    return [w for w in words if w not in stopwords and len(w.strip()) > 0]

这段代码的关键点在 protected_words 这个集合。它把“不、没、别、无、非”从停用词表里捞回来，这五类否定词是中文情感表达的核心转折词，丢掉它们模型基本学不到“否定+正面词=负面”这个高频模式。另外， jieba.load_userdict() 建议在项目一启动就调用一次，词典文件里放商品评论的高频词，比如“物流”“客服”“性价比”“掉色”，如果不加词典，“性价比”会被切成“性价/比”，特征质量会变差。分词结果可以先用 print(tokenize('这个手机性价比很高，就是物流太慢了')) 跑一遍，肉眼确认切分效果再批量处理。

3.3 TF-IDF向量化：三个参数决定特征质量

分词之后，每条评论是一个词列表，机器学习模型需要数值向量。最常见也最实用的做法是TF-IDF，它同时考虑词在单条评论里的出现频率和在整个语料中的稀有程度。“质量”这个词出现频繁但区分度低，TF-IDF会给它降权；“掉色”只在差评里出现，TF-IDF会给它升权。Scikit-learn的 TfidfVectorizer 已经封装好全部逻辑，但参数不能全用默认值。

from sklearn.feature_extraction.text import TfidfVectorizer

# 把分词结果重新拼成空格分隔的文本，供 TfidfVectorizer 直接使用
df['tokenized'] = df['clean_comment'].apply(lambda x: ' '.join(tokenize(x)))

vectorizer = TfidfVectorizer(
    max_features=5000,      # 只保留词频最高的5000个特征，控制维度
    min_df=2,               # 至少在2条评论中出现过才保留，过滤低频噪声
    ngram_range=(1, 2),     # 同时使用单词和双词组合，捕捉“不好”这类短语
    sublinear_tf=True       # 用 1+log(tf) 平滑词频，降低高频词的绝对优势
)

X = vectorizer.fit_transform(df['tokenized'])
y = df['label'].values
print('特征矩阵形状：', X.shape)

四个参数各有作用。 max_features=5000 是维度上限，一万条评论的原始词表可能有两三万词，但绝大多数词只在几条评论里出现，保留5000个核心词足够表达情感倾向，还能显著降低训练内存占用。 min_df=2 过滤只出现一次的词，这类词往往是打错字或随机噪声，堆进特征只会让模型过拟合。 ngram_range=(1, 2) 把“不”和“好”组合成“不好”这个双词特征，相当于给模型提供了短语级别的表达能力，对否定句识别帮助极大。 sublinear_tf=True 是容易被忽略的参数，它把原始词频做了对数压缩，避免“太”这种高频无意义词因为出现次数多而获得过高权重。特征矩阵的shape一眼就能看出向量化是否生效，如果行数等于评论条数、列数等于5000，说明这步完成。

4. 模型训练与调参：三类适合小数据量的分类器对比

4.1 数据划分：stratify必须打开

模型训练前先划分数据集，这是所有机器学习项目不可跳过的一步。划分的核心原则是：训练集、验证集、测试集的数据分布要和原始数据一致。如果不一致，比如原始数据30%是差评，划分后训练集里差评只有5%，模型对差评的学习就很不充分。 train_test_split 里的 stratify 参数就是干这个的，按标签比例分层采样。

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.2,        # 20% 数据作为测试集，评估模型真实泛化能力
    random_state=42,      # 固定随机种子，保证结果可复现
    stratify=y            # 按 y 的类别比例分层抽样，关键参数
)

商品评论情感分析的公开数据集普遍存在类别不平衡，“好评”经常占70%以上。如果不加 stratify=y ，随机切分可能导致某次实验中测试集里恰好没有差评样本，给模型“准确率98%”的虚假繁荣。 random_state=42 不是玄学，它保证每次运行切分的样本完全一致，参数调优时才能确定“效果的提升来自参数还是来自随机性”。建议训练集和测试集按8:2或7:3切，不要用更少的训练数据，小数据量下每一条样本都值钱。

4.2 多项式朴素贝叶斯：文本分类默认首选

朴素贝叶斯是文本分类的天然选择，因为它建立在“词与词之间条件独立”的假设上，虽然这个假设在语言上不成立，但在短文本分类里反而让模型在小样本上表现稳定。Scikit-learn的 MultinomialNB 专门用于TF-IDF这类计数型特征，它有一个必须理解的参数 alpha ，叫拉普拉斯平滑系数，作用是防止某个词在训练集中没出现过就导致概率为0。

from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

# alpha=1.0 是拉普拉斯平滑，alpha 越小模型越信任原始词频
mnb = MultinomialNB(alpha=1.0)
mnb.fit(X_train, y_train)

y_pred = mnb.predict(X_test)
print(classification_report(y_test, y_pred, target_names=['差评', '中评', '好评']))

alpha=1.0 是经验默认值，它的含义是对每个特征假想额外出现一次，平滑掉未登录词的零概率问题。如果 alpha 调太小（比如0.01），模型会对训练集中的低频词过于敏感，容易过拟合；如果调太大（比如10.0），所有词的概率都被拉平，模型会退化成近似“按类别先验概率预测”。实际调参时，可以按数量级尝试0.1、0.5、1.0、2.0，在验证集上对比F1分数。 classification_report 输出的每一列都要看，不要只看准确率，精确率和召回率差太多说明某一类被系统性错判。

4.3 逻辑回归与线性SVM：两个更抗噪的备选

朴素贝叶斯训练快、解释性强，但在特征相关性较强时容易重复计算权重。逻辑回归和线性SVM是商品评论情感分析里另两个高频选择，两者都在线性分类器框架内，训练速度依然很快，但对噪声词的鲁棒性更好。逻辑回归输出的是概率，SVM输出的是距离，如果你需要给评论附带“这条有87%概率是好评”这类置信度，优先选逻辑回归。

from sklearn.linear_model import LogisticRegression
from sklearn.svm import LinearSVC

# solver 选 liblinear，专为小数据集设计，训练快
lr = LogisticRegression(C=1.0, solver='liblinear', max_iter=1000)
lr.fit(X_train, y_train)
print('LR 准确率：', lr.score(X_test, y_test))

# LinearSVC 用 squared_hinge 损失，对离群点没那么敏感
svm = LinearSVC(C=1.0, loss='squared_hinge', max_iter=1000)
svm.fit(X_train, y_train)
print('SVM 准确率：', svm.score(X_test, y_test))

C 是正则化强度的倒数， C 越小正则化越强、模型越简单。商品评论的特征维度往往在几千到几万，但有效特征密度低， C=1.0 是一个兼顾拟合和泛化的起点。如果你发现训练集准确率远高于测试集，把 C 调小（0.1、0.01），如果两边都低，把 C 调大。 max_iter=1000 是迭代上限， liblinear 和 LinearSVC 都依赖迭代优化，默认值在某些版本下会不收敛，直接设 1000 并观察是否输出警告。这三个模型在同一份TF-IDF特征上的表现往往差距不大，真正拉开差距的是前面的清洗和特征参数。

4.4 保存模型与向量器：让“训练好的模型”真正可交付

模型训练只是开始，标题里的“训练好的模型”意味着你必须把模型序列化保存下来，让GUI界面或其他程序能独立加载。这里最关键的坑是：不仅要保存分类器，还要保存TF-IDF向量器，因为预测时必须用训练时同一个向量器做文本到特征的转换，否则特征维度都对不上。Scikit-learn官方推荐的持久化工具是 joblib ，它对大对象和numpy数组的序列化效率显著高于Python内置的 pickle 。

import joblib

# 模型文件和向量器必须成对保存，加载时缺一不可
joblib.dump(mnb, 'sentiment_model.pkl')
joblib.dump(vectorizer, 'tfidf_vectorizer.pkl')
print('模型和向量器已保存到当前目录')

保存路径里不要带中文和空格，Windows环境下某些语言环境会出现序列化路径编码问题，这是一个新手很容易踩的坑。加载时用 joblib.load ，并建议在加载后立刻用一个已知样本跑一次预测验证模型可用性，别等到GUI都写完了才发现“模型加载失败”。模型文件体积一般是几十到几百KB，因为TF-IDF特征和朴素贝叶斯参数都不大，如果看到几十MB的模型文件，大概率是训练数据里有大量低频词被保留进了特征表，回看 max_features 的设置。

5. 情感分析项目常见问题排查：五个翻车现场与解决方案

5.1 现象：读取CSV时报UnicodeDecodeError或乱码

原因：电商评论数据集经常是从爬虫或平台导出工具里流出来的，编码可能是UTF-8、GBK或GB18030，而 pd.read_csv 默认只认UTF-8。解决：读取时指定编码参数， pd.read_csv('comments.csv', encoding='gb18030') ， gb18030 是GBK的超集，兼容性最好，一次不行就逐个试。另一个隐蔽来源是Excel另存的CSV文件，这类文件经常带 \ufeff 表头字符，读取后第一列列名变成 \ufeffcomment ，需要用 df.columns = [col.lstrip('\ufeff') for col in df.columns] 处理。

5.2 现象：模型预测结果几乎全是好评，差评一条都分不出来

原因：类别不平衡，训练集里差评占比低于5%，模型学到了“全部预测好评”这个路径，整体准确率还能高达90%以上。解决：最直接的方法是训练时给差评样本更高权重， MultinomialNB 不支持 class_weight ，但逻辑回归和SVM都支持。 LogisticRegression(class_weight='balanced') 会自动按类别频率倒数加权，差评虽然样本少但单条样本的损失会被放大。如果加权后效果仍不理想，用 imbalanced-learn 库的 RandomOverSampler 往训练集里复制差评样本，注意只能对训练集采样，测试集必须保持原始分布才能反映真实效果。

5.3 现象：停用词过滤后“质量不好”被判成了好评

原因：停用词表里有“不”，“不好”被过滤后只剩“质量”，模型丢失了否定信号。这是文本分类里最经典也最隐蔽的坑。解决：分词阶段显式保留否定词，把“不、没、别、无、非、莫”加入白名单，同时打开 ngram_range=(1, 2) 让模型能学到“不+好”这种双词组合。验证方法：用 print(tokenize('质量不好')) 输出去停用词后的词列表，看到“好”还在而“不”消失了，说明停用词表该改了。

5.4 现象：加载模型时报特征数量不一致的错误

原因：训练代码里重新创建了 TfidfVectorizer 而不是加载保存的向量器，新向量器的词表比训练时的少（比如测试集里没有出现某个生僻词），导致特征维度对不上。解决：预测阶段必须 joblib.load('tfidf_vectorizer.pkl') ，用训练时同一个向量器做转换，不要再 fit 。同理，加载模型文件后先用 joblib.load 确认变量类型， type(model) 应该输出 sklearn.naive_bayes.MultinomialNB ，如果输出的是dict或list说明序列化的时候少套了一层。

5.5 现象：新评论预测结果明显违背直觉，训练集上分数却很高

原因：测试集是从同一个数据集切出来的，分布与训练集高度一致，模型可能记住了数据集的特殊噪声，而不是泛化的情感模式。解决：把模型部署到真实场景时，建议人工抽300条新评论先跑一遍并肉眼检验结果。如果新数据上准确率明显下跌，说明训练数据覆盖不足，尤其是电商的促销话术、新品类名词、网红带货词都是随时间变化的，模型上线后要定期用新标注数据微调。不要迷信测试集准确率，那只是泛化能力的下限估计。

6. 把训练好的模型装进GUI：从命令行到可视化的最后一公里

6.1 最小可用界面：Tkinter加载模型并实时预测

标题里的“GUI界面”是整个项目最容易出彩也最容易翻车的部分。很多同学一开始就选PyQt，界面漂亮但开发周期长；Tkinter虽然长相朴素，但它是Python标准库自带的，不依赖额外安装，对毕设体量的项目完全够用，而且部署时不需要在别人的机器上配一大堆Qt依赖。下面是一个最小可用的Tkinter预测界面。

import tkinter as tk
import joblib

# 启动时一次性加载模型和向量器，避免每次预测都读磁盘
model = joblib.load('sentiment_model.pkl')
vectorizer = joblib.load('tfidf_vectorizer.pkl')

def predict_sentiment():
    text = entry.get("1.0", tk.END).strip()
    if not text:
        result_label.config(text='请输入评论内容')
        return
    # 向量器只做 transform，绝不能再 fit
    vec = vectorizer.transform([text])
    proba = model.predict_proba(vec)[0]
    label = model.predict(vec)[0]
    mapping = {0: '差评', 1: '中评', 2: '好评'}
    result_label.config(
        text=f'预测结果：{mapping[label]}\n置信度：{max(proba):.2%}'
    )

root = tk.Tk()
root.title('商品评论情感分析')
root.geometry('520x320')

entry = tk.Text(root, height=5, width=50)
entry.pack(pady=15)

predict_btn = tk.Button(root, text='分析情感倾向', command=predict_sentiment)
predict_btn.pack()

result_label = tk.Label(root, text='等待输入评论...', font=('Arial', 12))
result_label.pack(pady=15)

root.mainloop()

这段界面代码最值得注意的地方是 vectorizer.transform 前面的注释：预测时只能 transform ，绝不能 fit_transform 。 fit_transform 会重新学习词表，等于把模型的基础换掉了，结果必然错乱。置信度输出来自 predict_proba ，只有逻辑回归和朴素贝叶斯有这个能力，线性SVM没有概率输出，如果你的模型选的是SVM，可以跳过置信度展示或改用决策函数值。GUI线程里不要做耗时的加载操作，模型加载放在 mainloop 之前，否则界面会假死几秒。

6.2 进阶方向：从传统机器学习到预训练模型

用TF-IDF加线性模型跑通之后，你会看到它的效果上限：准确率一般稳定在85%~92%，再往上冲就很难了。如果要做细粒度情感分析（比如区分“物流慢”和“质量差”）、属性级情感分析（“屏幕好但续航差”里对屏幕是正向、对续航是负向），或者要处理反讽、谐音、网络热词这类复杂语言现象，传统特征工程力不从心，这就是该转向预训练模型的时候。中文文本分类可以选基于BERT的中文预训练模型，它在大量中文语料上预训练了通用语言表示，微调之后在小样本上往往能比TF-IDF路线高出5到10个百分点。但要注意，预训练模型需要GPU才能高效训练，如果你的开发机只有CPU，建议直接加载训练好的模型做推理，或者用蒸馏后的小模型。

做这个项目最深的体会是：很多人拿到现成源码包后，第一件事是跑通GUI、截图交差，但答辩时老师一问“你的TF-IDF为什么设5000个特征”就答不上来。我自己的习惯是每一步都手动改一两个参数，看结果怎么变，改完再截图记录，这样源码才是你的，而不是别人的。希望这个方向的经验帮到你，至少让你在踩坑之前就知道坑在哪。

本文还有配套的精品资源，点击获取