基于DistilBERT LoRA和TF-IDF的IMDb电影评论情感分析

本文档介绍了一种端到端的情感分析工作流程，使用斯坦福NLP的IMDb大型电影评论数据集，并比较了传统机器学习方法与参数高效的Transformer微调。首先建立可重复环境并审核数据集以确保其质量，包括检查类别的顺序、评论长度偏差、数据泄露和预处理痕迹等。然后训练TF-IDF和逻辑回归基线模型，并通过PEFT对DistilBERT进行LoRA微调。评估过程中使用了准确率、宏平均F1值、ROC-AUC等多种指标，并探讨了置信度错误、不同评论长度下的表现以及概率校准等问题，以深入了解模型的预测机制及长上下文限制的影响。最后利用未标记的IMDb数据集进行伪标签生成，比较半监督学习模型与基线模型的效果。