近日，我院本科生李瑞新、蔡兆信、许嘉谕同学分别以第一作者在中文核心期刊《计算机系统应用》发表研究论文《基于人脸图像和脑电的连续情绪识别方法》、《基于Faster RCNN的布匹瑕疵检测系统》和《基于深度学习的手写书法字体识别算法》。三篇研究论文分别由潘家辉老师和梁艳老师指导完成，其中《基于人脸图像和脑电的连续情绪识别方法》作为2021年第2期的封面文章发表。《计算机系统应用》是中国科技核心（统计源）期刊，入选中国核心期刊(遴选)数据库，被中国计算机学会(CCF)《CCF推荐中文科技期刊目录》列为优秀期刊(C类)。
《基于人脸图像和脑电的连续情绪识别方法》的论文作者包括李瑞新、蔡兆信、王冰冰、潘家辉（通讯作者）。该论文成果主要来源于广东大学生科技创新培育专项资金（攀登计划专项资金）重点项目“Mindlink-Explorer开放平台——实时测量情绪与注意力的多模态工具箱”。基于多模态生理数据的连续情绪识别技术在多个领域有重要用途, 但碍于被试数据的缺乏和情绪的主观性, 情绪识别模型的训练仍需更多的生理模态数据, 且依赖于同源被试数据。本文基于人脸图像和脑电提出了多种连续情绪识别方法. 在人脸图像模态, 为解决人脸图像数据集少而造成的过拟合问题, 本文提出了利用迁移学习技术训练的多任务卷积神经网络模型。在脑电信号模态, 本文提出了两种情绪识别模型: 第一个是基于支持向量机的被试依赖型模型, 当测试数据与训练数据同源时有较高准确率; 第二个是为降低脑电信号的个体差异性和非平稳特性对情绪识别的影响而提出的跨被试型模型, 该模型基于长短时记忆网络, 在测试数据和训练数据不同源的情况下也具有稳定的情绪识别性能。为提高对同源数据的情绪识别准确率, 本文提出两种融合多模态决策层情绪信息的方法: 枚举权重方法和自适应增强方法。 实验表明: 当测试数据与训练数据同源时, 在最佳情况下, 双模态情绪识别模型在情绪唤醒度维度和效价维度的平均准确率分别达74.23%和80.30%; 而当测试数据与训练数据不同源时, 长短时记忆网络跨被试型模型在情绪唤醒度维度和效价维度的准确率分别为58.65%和51.70%。上述实验结果证明了本论文方法的有效性。
图1 封面论文截图
《基于Faster RCNN的布匹瑕疵检测系统》的论文作者包括蔡兆信、李瑞新、戴逸丹和潘家辉（通讯作者）。纺织工业是我国的支柱型产业. 在布匹生产过程中, 布匹瑕疵是影响布匹质量的关键因素。目前纺织服装生产企业主要通过传统的人工肉眼检测布匹瑕疵, 成本高、效率低, 且漏检率与误检率高. 本研究针对布匹数据集中类别数量不均匀的特点, 对数据进行增强. 在布匹瑕疵类别识别上, 采用Faster RCNN模型, 并针对布匹数据集中瑕疵目标小的特点, 对Faster RCNN模型中的RPN网络进行改进。另外, 本研究基于模型开发一款纺织布匹瑕疵识别系统, 将通过模型识别出的布匹瑕疵类别结果通过可视化平台展现, 同时准确标识疵点的位置。通过实验结果对比, 本文的方法平均检测准确率为79.3%, 相比Fast RCNN提高了5.75%。
图2 改进的Faster RCNN模型框架
《基于深度学习的手写书法字体识别算法》的论文作者包括许嘉谕、林楚烨、陈志涛、邓卓然、潘家辉、梁艳（通讯作者）（注：4位同学为16级软工本科生，邓卓然目前是研一学生）。书法是中华传统文化的瑰宝，但手写书法字体作品种类繁多，字体形态复杂多变，给人们阅读和理解书法作品造成了困难。为了实现完整手写书法作品的书体风格和内容自动识别，本文提出了基于深度学习的手写书法字体识别算法，使用投影法等图像处理方法对书法作品图像中的汉字进行定位和分割，分别利用GoogLeNet Inception-v3模型和ResNet-50残差网络进行书体风格识别和字形识别。实验结果表明, 本文算法能实现对整幅书法作品中楷书和篆书的书体风格以及字形的识别，楷书和篆书单字的识别率分别为91.57%和81.70%，达到了实用的需求。
图3 书法字体识别的算法流程
文章网络首发地址：
http://c-s-a.org.cn/html/2021/2/7777.html
http://c-s-a.org.cn/html/2021/2/7818.html
http://c-s-a.org.cn/html/2021/2/7819.html
撰稿：李瑞新、蔡兆信、许嘉谕