参与：张倩、蛋酱、Jamin
在AI摄像头走进教室后，伪装负责听课也是越来越难了。近日，港科大、哈工程的研究者开拓了一种用AI摄像头记录、剖析学生情绪变革的系统，不仅能知道学生什么时候开始走神，还能详细看到每个学生一整节课的「心途经程」。
关于 AI 在教室上所能完成的监控事情，很多人已经习以为常。「一位教授在授课结束后查看他的电脑。借助一款软件，他能看到这一整堂课中学生的感情变革。在上课 30 分钟之后，大部分学生已经失落去兴趣并开始走神，这也大概是他讲跑题的那个韶光点。以是教授做了个记录，提醒自己往后不要跑题。」现实中的教室大多还不是这个样子，但随着技能的发展，这样的情景会越来越普遍。近日，一篇有关教室监控技能的论文刊登在《IEEE Transactions on Visualization and Computer Graphics》上。在论文中，来自喷鼻香港科技大学、哈尔滨工程大学等机构的研究者提出了一种名为 EmotionCues 的系统。该系统紧张关注如何记录学生面部表情，并据此来剖析学生在教室上的感情变革、把稳力集中程度。作者之一、喷鼻香港科技大学打算机教授屈华民先容说，这个别系「为西席供应了一种更快速、更方便去衡量学生在教室上参与度的方法。」这项研究的初衷是「善意」的：依赖该系统去监控学生在教室上的感情反馈，判断学生在什么时候开始感到无聊，什么时候把稳力更加集中，以此来提醒老师该如何改进教室内容、提高授课质量。研究团队在两间教室里对提出的系统进行了测试，一间教室是喷鼻香港科技大学的学生，代表高校学生群体；另一间教室这天本某所幼儿园，代表低龄学生群体。测试创造，这套视觉剖析系统在检测那些「明显感情」方面效果比较好，比如学习兴趣较为强烈时的愉悦感。但系统对付「愤怒」或者「悲哀」等表情的解读能力还是有所欠缺。学生们可能只是纯挚地专注于教室内容本身，仅仅由于深入思考而皱了一下眉头，却随意马虎被系统解读为「愤怒」。
系统的事情流程下图 2 展示了全体系统的事情流程，包括数据处理和视觉探索两大阶段。
图2。数据处理过程第一阶段是处理一系列原始数据并利用打算机视觉算法提取出情绪信息，包括面部检测、面部识别、情绪识别、特色抽取等步骤。在面部检测步骤中，研究者采取 MTCNN（多任务级联卷积网络，一种用于预测面部和 Landmark 位置的深度卷积网络）去检测每个样本帧中的人脸。在面部识别阶段，面部比拟的常日方法是对图像进行矢量化操作。研究者采取了 facenet（一种在面部识别中较为完善的深度学习模型），它可以直接学习从面部图像到紧致欧式空间的映射。在情绪识别阶段，研究者出于直不雅观和可理解方面的考虑，选择利用了分类模型。他们微调了一个 CNN 模型（ResNet-50），采取了 FER 2013 数据集。这一数据集一贯广泛用于面部表情识别。考虑到感情识别可能没那么准确，研究者挑出了一些影响成分（如人脸大小、遮挡情形、图像分辨率、照明情形等），并在系统中对它们进行了视觉编码，以此判断学生们的情绪状况。这些影响成分可能在系统感情剖析中起到了比较关键的浸染。比如离摄像头比较远的人，他的脸部在视频中霸占的面积比较小，就更随意马虎被缺点识别。除此之外，一个人的脸如果常常被他人遮挡，也会有更高的系统误判风险。研究者将这些成分整合到了系统剖析流程之中，供应了更加丰富的交互功能来改进系统性能。交互式的视觉系统第二阶段是根据五大哀求（细节见论文）设计一个交互式的视觉系统，该系统可以支持两种粒度的教室视频视觉剖析，包括学生的总体情绪演化和某个学生单独的情绪演化过程。研究者基于 Vue.js 前端框架和 Flask 后端框架实现了一个基于 web 的系统，如下图 3 所示。该系统包括三大视图：择要视图（summary view，图 3a-b）；人物视图（character view，图 3c）和视频视图（video view，Fig. 3d）。
图3。为老师供应学生情绪变革的总体情形非常主要，因此研究者设计了一个择要视图，让老师看到学生情绪的静态和动态演化数据。图 3（a）显示的是学生的情绪档案，用于展示学生的情绪分布（静态择要）；图 3（b）显示的是学生的情绪变革曲线（动态择要）。人物视图通过肖像类标志符号，将所选定目标人物的感情状态可视化地表现出来。不同情绪肖像之间的差异使得用户能够识别和比较不同人物的特色。如下图 5 所示，研究者在设计中采取了定制化的饼状图：
图 5：情绪变革的可视化图示。通过这种定制化的饼状图设计，用户可以很随意马虎地不雅观察到详细的情绪信息以及对其感兴趣的影响成分。同时，屏幕快照功能使得不同人之间的情绪信息比较变得更加随意马虎。如果用户希望查看详细信息，可以单击感兴趣的快照进行查看。快照的示例位于人物视图（图 3c）的左侧。在系统中，研究者供应了原始视频以供用户在视频视图（图 3d）中浏览。同时，用户可以用不同速率播放视频，当用户将视频停息时，每一帧中对应的面部都会被高亮显示。用户还可以根据自己对情绪流的不雅观察挑选出感兴趣的部分进行进一步的探索和挖掘。「改进」传授教化，还是「监控」传授教化？这项研究的初衷是帮助授课者网络学生反馈、提升传授教化质量。但事实真能如其所愿吗？比较于依据视频记录去剖析感情，在海内的教室中，还有更夸年夜的「智能头环」。在浙江金华某小学的教室之上，每一个座位上的学生都戴着一个状如「金箍」的玄色头环，专注时亮红灯，走神时亮蓝灯，这个把稳力分数每 10 分钟发送一次到授课西席的电脑，并同步到家长微信群中，让身在校外的家长随时节制孩子的上课状态。但这种头环，或者此类教室监控技能，面对着非常多的质疑。比如伦理问题：它暴露了学生在教室中的个人感情，让西席能够知道谁在教室上专注或不专注。这涉及到学生的隐私问题。其余，在一节 40 分钟的课程中，学生的把稳力本就不可能保持全程专注，持续性监控学生的把稳力并对任何把稳力不专注的行为进行校正没故意义。还有一方面，这种监控系统可能会分散西席和学生的把稳力，由于身在个中的人会以为有一双眼睛「无时无刻不在盯着自己」。如果是头戴金箍，这种感情会变得更加明显。这种被实时监控的觉得会在一定程度上会影响教室参与者自由揭橥见地。参考链接：https://spectrum.ieee.org/the-human-os/biomedical/devices/ai-tracks-emotions-in-the-classroomhttps://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8948010
