正在收集工作区信息# 基于LSTM实现电影评论的情感分析实验报告

1. 项目概述

本项目实现了一个基于长短期记忆网络（LSTM）的电影评论情感分析模型，使用了IMDb电影评论数据集进行训练和测试。模型能够对电影评论文本进行二分类，判断评论情感是正面还是负面。

2. 实验环境

2.1 硬件环境

• CPU/GPU配置
• 内存配置
• 存储配置

2.2 软件环境

• 操作系统：Windows/Linux/MacOS
• Python版本：3.7+
• 深度学习框架：PaddlePaddle
• 依赖包：

# requirements.txt中的依赖
paddlepaddle==2.3.0
numpy
pandas
matplotlib
scikit-learn
tqdm

3. 数据集介绍

3.1 IMDb数据集

• 数据来源：IMDb电影评论数据集
• 数据规模：总共50,000条电影评论
• 数据分布：
• 训练集：25,000条（正面12,500条，负面12,500条）
• 测试集：25,000条（正面12,500条，负面12,500条）
• 数据格式：文本文件，每个评论存储在单独的.txt文件中

3.2 数据结构

• 项目中的aclImdb文件夹包含完整数据集
• train文件夹中包含训练数据：
• pos目录：正面评论
• neg目录：负面评论
• unsup目录：未标记评论
• test文件夹中包含测试数据：
• pos目录：正面评论
• neg目录：负面评论
• imdb.vocab：词汇表文件

4. 代码架构

4.1 项目文件结构

• main.py：主程序入口，包含模型定义、训练和评估流程
• requirements.txt：项目依赖
• lstm_sentiment.pdparams：训练好的模型参数
• train_curve.png：训练过程可视化图表

4.2 代码实现细节

4.2.1 数据预处理

• 文本清洗（去除HTML标签、特殊字符等）
• 分词处理
• 词向量转换（基于词汇表）
• 序列填充到统一长度
• 训练集与验证集划分

4.2.2 模型架构

• 嵌入层：将单词索引转换为密集向量
• LSTM层：捕获文本序列中的长期依赖关系
• 全连接层：将LSTM输出映射到二分类结果
• Softmax激活：输出情感概率分布

# 模型结构示例
class SentimentModel(nn.Layer):
    def __init__(self, vocab_size, embedding_dim, hidden_size, num_classes):
        super(SentimentModel, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_size, direction='bidirect')
        self.fc = nn.Linear(hidden_size * 2, num_classes)

    def forward(self, x):
        embedded = self.embedding(x)
        output, (hidden, _) = self.lstm(embedded)
        out = paddle.concat((hidden[-2], hidden[-1]), axis=1)
        logits = self.fc(out)
        return logits

4.2.3 训练流程

• 批处理数据加载
• 损失函数选择（交叉熵）
• 优化器设置（Adam）
• 训练循环实现
• 验证过程集成
• 早停机制实现
• 模型保存逻辑

4.2.4 评估方法

• 准确率（Accuracy）
• 精确率（Precision）
• 召回率（Recall）
• F1分数

5. 实验结果

5.1 训练过程分析

• 训练损失变化曲线（参考train_curve.png）
• 验证准确率变化趋势
• 训练时长统计

5.2 模型性能

• 测试集准确率
• 测试集精确率、召回率和F1分数
• 混淆矩阵分析

5.3 实验结论

• 模型有效性评估
• 存在的问题分析
• 可能的改进方向

6. 总结与展望

6.1 项目总结

• 成功实现了基于LSTM的情感分析模型
• 在IMDb数据集上取得了良好的分类效果
• 验证了LSTM在文本情感分析任务中的有效性

6.2 未来工作

• 尝试更复杂的模型架构（如Transformer、BERT等）
• 引入注意力机制提升模型性能
• 实现模型部署，构建演示应用

7. 参考资料

• IMDb数据集介绍
• PaddlePaddle文档
• LSTM相关论文

8. 附录

• 词汇表统计信息
• 关键超参数调优记录
• 训练日志摘要

github链接: mozhongzhou/NLPexperiment2