基于深度学习的在线教师课程评论情感分析模型

肖海艳

（咸阳师范学院外国语学院，陕西咸阳 712000）

随着互联网平台的快速发展，在线课程凭借其方便、优质等特点逐渐被大众认可，在线学习人数迅速增加[1-2]。教师与学习者的交互过程会产生大量的评论文本数据，对文本情感倾向进行分析，有利于教师了解学习者的需求，提高在线课程质量。

传统静态词向量模型如Glove 和Word2vec[3]，将词转换成高维度向量嵌入，但训练过程未加入词的位置信息，存在无法表示多义词的问题。动态词向量模型ELMO（Embedding from Language Model）[4]和BERT（Bidirectional Encoder Representation from Transformers）[5]，在大规模语料进行预训练时，通过充分考虑词的上下文语义关联，提取当前词符合语义环境的动态向量表征。MacBERT（MLM as correction BERT）[6]预训练模型提出了全词掩码和N-Gram 掩码策略，利用近义词替换以降低训练和微调的差异，在多项自然语言处理任务上取得最优结果。

评论文本情感分析任务主要有基于机器学习方法和基于深度学习方法[7]。传统机器学习方法依赖人工构建特征工程，操作效率较低，且无法保证提取特征的有效性。随着深度学习模型被广泛应用于情感分析领域，文献[8]提出了TF-Word-CNN 模型，在英语文本数据集上取得了较高的分类性能，但TFWord 模型无法表示多义词，词向量表征能力较弱。针对在线课程评论情感分类，文献[9]提出了BERTCNN 模型，但CNN 模型无法捕获评论文本的序列特征。文献[10]提出了BERT-BiLSTM 模型，BiLSTM 受限于循环依赖机制，训练速度慢。以上模型对每个特征赋予了相同的权重，无法识别出对分类结果影响较大的重点情感特征。

为解决现阶段研究存在的不足和提升情感分类准确率，提出了基于MacBERT-BiSRU-AT（MLM as correction BERT-Bidirectional Simple Recurrent Unit-Attention）的在线教师课程评论情感分析模型，其主要贡献和创新点如下：

1）为解决静态词向量模型无法表示多义词的问题，通过性能优化的MacBERT 模型，结合当前词的上下文实际语境动态学习编码表示，解决固定词向量模型存在的一词多义问题。

2）针对BiLSTM 训练效率低问题，采用简单循环单元SRU[11]捕捉评论文本高维情感特征，并进一步加速模型训练，降低训练成本。

3）软注意力模块通过计算评论文本中每个词对情感分类结果的影响程度大小，赋予模型识别关键词的能力。

1.1 整体结构

MacBERT-BiSRU-AT 模型整体结构如图1 所示，主要由预训练模型MacBERT、BiSRU 语义提取层、软注意力机制和分类层构成。

图1 模型整体结构

1.2 MacBERT模型

MacBERT 模型的主要特征抽取模块为Transformer 编码器，内置注意力机制[12]能够捕获语句内部词之间的情感依赖特征，有效地提取文本内部蕴含的结构信息。其模型结构如图2 所示。

图2 MacBERT模型结构

向量E={E1,E2,…,Em}为MacBERT 模型的输入，Ei表示每个词的向量表征，由字符嵌入、位置嵌入和分句嵌入相加得到，具体实现过程如图3 所示。经多层编码器学习到评论文本的词向量表征T={T1,T2,…,Tm}，Ti代表语句中第i个词的语义向量表示，作为二次语义捕捉层BiSRU 的输入。

图3 输入向量组成

1.3 简单循环单元

简单循环单元SRU 在具体运算过程中不再依赖上一个时间步的输出，并行计算能力强，训练效率优于传统的GRU[13]和LSTM[14]模型。单层前向SRU 模型结构如图4 所示，具体实现原理如式（1）-（4）所示：

图4 SRU模型结构

其中，ft和rt分别表示遗忘门和重置门，负责控制当前信息流入下一个阶段的程度。⊙符号代表矩阵元 素乘法；
Wt、Wr、W、bf、br、vf和vr为学习参数矩阵。由式（4）可得，ht的计算不再依赖上一个时间步的输出ht-1，可在任何维度和步骤中进行并行化计算，充分利用GPU 资源加速，提高模型训练效率。评论文本情感结果不仅与上文有关，还与下文关系密切，为此搭建前向SRU 和后向SRU，同时捕获语句上下文语义特征，确保提取特征的完整性。将前向、后向SRU 输出■⇀和合并得到Ht，作为双向SRU 在t时刻的输出。

1.4 软注意力模块

软注意力层通过计算评论文本中每个词对情感分类结果预测的重要程度，筛选出对当前任务目标更加关键的重点特征，对模型起到优化作用。注意力层首先计算BiSRU 层在t时刻的状态输出Ht对情感分类结果的权重得分at，加权求和后得到注意力特征表示A，相关计算过程如式（5）-（7）所示：

其中，tanh(·)为非线性函数，exp(·)代表指数运算，W和b均为可学习参数。

1.5 分类层

通过线性层转换将注意力特征A映射到分类空间后得到情感特征向量，经Softmax 模块输出概率分布Ps，由top 函数计算每行概率最大值对应的情感预测标签结果R。具体计算原理如式（8）和（9）所示。

2.1 数据集和性能指标

为进一步验证模型对在线课程评论文本进行情感倾向分类的有效性，通过爬虫框架获取MOOC 中国大学慕课网站在线教师课程评论文本共25 684条，经数据清洗和文本处理后，得到合格的评论样本20 642 条，部分评论数据内容如表1 所示。将数据按照80%、10%、10%划分训练集、测试集和验证集。标签0、1 分别表示评论文本情感极性为负、正。

表1 部分评论数据内容

文中采用准确率(Accuary)、精确率(Precision)、召回率(Recall)和F1 值评估模型的性能表现，计算过程如式（10）-（13）所示：

2.2 硬件环境与参数设定

实验环境设置如下：操作系统为Linux，内存120 GB；
显卡为3090(2张)，显存大小为24 GB；
利用深度学习框架Pytorch1.7.0 和科学计数库等第三方库进行模型编写和训练框架的搭建，Python版本为3.6.0。

文中实验设定参数如下：二次语义提取层BiSRU 隐藏层单元数量为256，模块层数为1；
软注意力机制维度大小为512；
评论文本最大截断长度为100；
模型训练轮次为5 次；
批处理大小为32；
学习率大小为0.000 01；
损失函数为交叉熵函数。引入性能优秀的优化器RAdam[15]自动调整训练过程中学习率，达到优化模型训练结果和加速收敛的目的。

2.3 实验结果分析

将文中模型MacBERT-BiSRU-AT 与性能优秀的深度学习模型BERT-CNN 和BERT-BiLSTM 进行实验对比。为验证利用MacBERT 提取动态词向量的有效性，将提出模型与维度为300 的Word2vec 模型[16]、ELMO 和BERT 模型作比较。通过消融实验，验证各个模块对模型分类性能的贡献大小。为确保实验公平一致，设定随机数种子，取10 次模块冷启动实验指标的平均值作为最终结果。各模型性能指标如表2 所示。

表2 性能指标对比

由表2 可知，模型MacBERT-BiSRU-AT 的F1 值高于表现优秀的BERT-CNN 和BERT-BiLSTM，分别提高了5.23%和3.95%，证明了MacBERT 与BiSRUAT 模块融合的有效性。

采用模型MacBERT 提取词的动态向量表征，其应用效果优于Word2vec、ELMO 和BERT 模型，F1 值分别提高了13.27%、8.11%和2.41%。Word2vec 作为静态词向量模型，每个词仅由一个向量表示，无法结合具体语境动态调整词的语义表示，F1 值低于动态词向量模型；
BERT 由多层Transformer 编码器构成，特征学习能力优于ELMO 模型使用的BiLSTM 模块；
MacBERT 在预训练过程中引入了全词和N-Gram 掩码，增强模型对语义和句法的建模能力，得到更为优秀的词向量表示。与MacBERT-BiSRU 模型进行对比，加入注意力模块后，MacBERT-BiSRU-AT 模型F1 值提高了1.58%，说明了软注意力机制能够识别出关键特征，对模型有着优化作用。

图5 为部分模型每轮的训练时间。可以看出，MacBERT-BiSRU平均训练时间较MacBERT-BiLSTM更短，而模型性能相差不大，说明了BiSRU 模块充分利用GPU 资源进行并行加速计算，效率更高，且具有较强的特征提取能力。

图5 模型训练时间

综上，MacBERT-BiSRU-AT 模型能够有效提升在线课程评论文本情感分析准确率。

针对在线教师课程评论文本情感分析任务，提出了基于MacBERT-BiSRU-AT 的情感分析模型。预训练模型MacBERT 通过参考当前词的具体语境学习到其动态向量表征，通过实验验证MacBERT 应用效果优于实验对比的词向量模型；
BiSRU 模块在保持较高序列建模能力的前提下，训练效率优于BiLSTM。软注意力机制能够关注到对情感倾向影响更大的关键词，有效地提升模型分类性能。在真实课程评论数据集的实验结果证明了MacBERT 与BiSRU-AT 结合的有效性。后续将考虑使用其他词向量模型如ERNIE2.0[17]提取语义表征更为准确的词向量，并进一步提高模型的训练效率。

猜你喜欢注意力语义向量向量的分解新高考·高一数学(2022年3期)2022-04-28让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09聚焦“向量与三角”创新题中学生数理化(高中版.高考数学)(2021年1期)2021-03-19语言与语义开放教育研究(2020年2期)2020-03-31“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21“上”与“下”语义的不对称性及其认知阐释现代语文(2016年21期)2016-05-25向量垂直在解析几何中的应用高中生学习·高三版(2016年9期)2016-05-14向量五种“变身” 玩转圆锥曲线新高考·高二数学(2015年11期)2015-12-23认知范畴模糊与语义模糊大连民族大学学报(2015年2期)2015-02-27