高速列车智能视频分析应用研究

姜 雪，哈大雷，徐慧星，杨 帅，江升辉

（1. 中车长春轨道客车股份有限公司，长春 130062；
2. 中车青岛四方车辆研究所有限公司，青岛 266031）

目前，我国已建成运营速度最快、里程最长的高速铁路网，取得了令世界瞩目的成就。为保持竞争力，我国高速铁路需要在列车技术上持续创新，不断提升旅客服务质量，为旅客提供更加安全、舒适、高效的出行体验。

智能视频分析技术借助计算机强大的数据处理功能，对监控摄像机所拍摄的海量视频进行高速分析，从视频图像的背景中将目标分离出来，自动捕获和跟踪可疑目标，一旦场景中的目标出现违反预定义分析规则的行为，会触发预设置的联动规则主动告警，为用户提供有价值的关键信息。

为此，提出高速列车视频智能分析应用方案，在高速列车车厢内安装高清摄像机，构建高速列车智能视频分析系统，对摄像机采集的视频数据流进行智能分析，自动检测和识别高速列车上的异常状况，并将告警信息传输至车厢控制器，由车厢控制器将告警信息显示在车载显示设备上，或通过车载广播设备播放告警信息，为改善旅客服务和保障列车安全运行提供信息服务。

目前，智能视频分析主要采用深度学习，构造深层次的网络结构，学习机制为以数据为驱动，算法分为训练和推理2个阶段；
训练阶段使用预先标记的样本（输入和预期输出）对模型进行训练，通过网络参数迭代得到一个最优模型；
推理阶段使用训练好的深度神经网络模型，预测无标记的新的输入的输出，输出为连续值称为回归，输出为离散值称为分类。

按照智能视频分析的任务类型，智能视频分析技术包括目标检测、目标跟踪、目标识别、目标行为识别4种类型。

目标检测是智能视频分析的基础，是从视频图像中去除掉背景成分，找出检测目标的区域，在这个过程中尽可能地减少背景噪声和前景噪声的干扰；
目标检测方法主要包括光流法[1]、特征匹配法[2]和基于深度学习的方法[3]。

目标跟踪是在视频图像中寻找与目标模板最相似的候选目标区位置的过程，其中目标跟踪方法主要基于特征的跟踪、基于区域的跟踪和基于深度学习的方法[4]。

目标识别是指根据视频图像中的目标内容，自动将其划分到预定义类别，如人、车辆等不同目标；
根据可利用信息的不同，目标识别可分为基于形状信息[5]和基于深度学习的方法。

目标检测、跟踪和识别属于智能视频分析中底层和中层处理部分，而目标行为识别是对目标的运动模式进行分析和识别，通过在跟踪过程中目标的行为变化，根据用户的自定义行为规则，判断被跟踪目标的行为是否存在异常，属于智能视频分析中高层处理部分；
目标行为识别方法主要基于时空兴趣点的方法、基于骨骼关节轨迹的方法和基于深度学习的方法[6]。

国内关于智能视频分析技术在列车上的应用已开展了一些研究。段旺旺等人[7]基于视频监控图像，使用Faster R-CNN模型进行车厢人数检测与统计，实现动车组车厢拥挤度分析，车厢拥挤度预测结果的准确率达到93.89%；
冯勇等人[8]设计了行李架遗留物检测方法，对指定的行李检测区域采用帧差法完成初检，判断是否有物品遗留在行李架上，当初检检测到行李遗留物时，使用YOLOv3模型对遗留物的位置、类别进行复检。

2.1 系统构成

高速列车智能视频分析系统主要由车厢摄像机、视频监控服务器和智能分析主机等设备组成，这些设备通过列车以太网组网进行信息交互，系统构成如图1所示。

图1 高速列车智能视频分析系统构成示意

（1）车厢摄像机：选用高清网络摄像机，主要安装在车门通过台、客室、吧台区及司机室等区域，安装位置应不影响现场设备运行和人员正常活动，并确保能够获取监视目标区域清晰、完整的视频画面；
所采集的监视目标区域数字视频流数据同时发送给视频监控服务器和智能分析主机。

（2）视频监控服务器：每节车厢布置布置1台视频监控服务器，主要由供电模块、通信模块、网络视频录像机（NVR，Network Video Recorder）模块和存储模块组成；
视频监控服务器采用视频中间件的方式，可兼容多种数字摄像机设备的编码格式，集中存储车厢摄像机采集的视频流数据，具备视频数据管理功能，提供视频数据查询和下载、删除服务。

（3）智能分析主机：根据智能视频分析功能算力分析，每列 8编组动车组列车配置2台智能分析主机，分别处理1～4车和5～8车的视频数据；
智能分析主机主要由供电模块、通信模块和智能分析模块组成；
智能分析模块采用CPU+GPU+NPU硬件架构，具有高算力和高性能，主要完成列车智能视频分析，自动识别和检测各种异常事件；
通过通信模块接入基于车厢控制器构建的列车骨干网，可将智能分析模块生成的告警事件信息发送给车厢控制器；
还可从车厢控制器接收相关信息，实现与其他车载设备的信息交互，例如从车载旅客信息系统（PIS，Passenger Information System）获取视频流数据的补充信息。

车厢控制器接收到告警事件信息，将告警信息发送给公共区域车载显示设备（如吊顶电视、内外显示器等，面向乘客提供引导信息）、工作人员车载显示设备（如乘务员室智慧屏），或通过司机室广播设备播放告警信息。

2.2 工作过程

高速列车智能视频分析系统工作过程如图2所示。

图2 高速列车智能视频分析系统工作过程

（1）车厢摄像机通过车厢以太网，基于实时流传输协议（RTSP，Real-TimeStream Protocol ），同时向视频监控服务器和智能分析主机传输监视目标区域的视频流。

（2）视频监控服务器接收RTSP视频流，从中抽取H.264裸流数据（含时间、日期、摄像机标识符），同时从车厢控制器获取其他车载系统提供的补充信息（包括车次、列车运行区间、车厢号、摄像机位置号等），将视频流数据和补充信息整合在一起后集中存储，便于视频数据检索与查询；
提供视频数据存储管理，列车工作人员可在车载显示设备上使用视频管理软件，进行指定监控视频的下载、回放、删除等操作，授权操作可被记录以备查询。

（3）智能分析主机接收车厢摄像机传输的数字视频流数据后，利用内置的视频数据预处理程序与深度学习算法程序，对视频流数据进行实时处理，自动完成车厢乘客拥挤度检测、车厢敏感人员识别、车厢遗留行李检测、车厢重点位置监控及司机疲劳驾驶监测等智能视频分析；
发现异常事件时，生成异常事件告警信息发送给车厢控制器。

（4）车厢控制器作为列车骨干网节点设备，可与智能视频分析系统的智能分析主机及视频监控服务器进行信息交互，接收智能分析主机发送的异常事件告警信息；
从PIS等其他车载系统或设备获取视频补充信息（如车次、列车运行区间、车厢号、摄像机位置号等），并将这些相关信息发送给智能分析主机和视频监控服务器。

（5）当车厢控制器接收到智能分析主机发送的异常事件告警信息时，将告警信息转发给PIS；
PIS根据告警事件类别，自动触发告警信息的显示或播报。对于车厢拥挤告警事件，PIS触发公共区域车载显示设备（如吊顶电视、内外显示器等）显示面向乘客的引导信息，方便乘客随时了解各车厢拥挤程度；
对于司机疲劳驾驶告警事件，PIS触发司机室广播设备播放报警信息，提醒驾驶员注意安全驾驶，及时解除危险行为；
对于车厢敏感人员识别、车厢遗留行李检测、车厢重点位置监控识别的告警事件，PIS触发工作人员车载显示设备（如乘务员室智慧屏）显示告警信息，告警信息包含车厢号、摄像机位置号、报警描述、报警图像或报警视频，工作人员可通过操作智慧屏，实时查看或回放指定车厢的监控画面，进一步了解车厢内祥情。

3.1 车厢敏感人员人脸识别

车厢敏感人员人脸识别属于目标识别任务类型，是基于人的面部特征信息进行身份识别的一种生物识别技术，利用深度神经网络和多阶段回归从千万级别的图像中学习先验知识，快速准确地对人脸进行检测并定位，能够克服光照情况不理想、人脸姿态变化复杂等因素的影响。采用人脸识别技术可实现敏感人员的智能检测和预警，提供更加安全的乘车环境。

系统从公安系统备案获取人脸黑名单库或其他敏感人员人脸库，将其提前导入智能分析主机，智能分析主机对车厢视频监控画面进行人脸识别。车厢敏感人员识别流程如图3所示。

图3 车厢敏感人员识别流程

本文实现的人脸识别应用主要包含5个模块：人脸检测、人脸对齐、人脸特征提取、特征比对以及人脸识别；
其中，人脸检测采用MTCNN模型[9]，如图4所示，这是一种层层递进的多任务级联卷积神经网络，主要包含Proposal Network（P-Net），Refine Network（R-Net）及Output Network（O-Net）3个网络。在进行人脸识别时，先由P-Net通过卷积神经网络快速生成目标候选检测框， R-Net接收PNet生成的目标候选检测框，通过卷积神经网络进行目标检测框过滤，丢弃重叠窗体；
最终由O-Net使用卷积神经网络完成人脸位置的检测，同时回归生成5个面部关键点。人脸对齐则使用5个面部关键点将人脸进行归一化处理以便进行人脸特征提取。人脸特征提取模块核心单元采用了卷积神经网络提取高层语义特征，生成目标特征向量，特征比对模块计算各特征向量之间的相似度，最终完成人脸识别，当检测到车厢敏感人员时，智能分析主机发送报警信息。

图4 MTCNN网络结构示意

3.2 车厢乘客拥挤度检测

车厢乘客拥挤度检测属于目标检测任务类型，其目的是自动识别车厢内乘客拥挤程度。动车组车厢乘客一般按照座号就坐，座椅区域极少会出现乘客拥挤的现象，车厢拥挤检测主要针对车厢通过台区域和车厢通道区域[4]。本文以车厢通过台和通道区域作为检测区域进行人数统计，车厢座椅排数作为比较基准值，计算两者比例判定车厢拥挤度。车厢拥挤度c定义为

其中，N为车厢通过台和通道区域统计出的乘客数量；
M是当前车厢座椅排数。

根据预先设置的车厢不同拥挤度等级的阈值，判断车厢拥挤程度，车厢拥挤度系数阈值如表1所示。

表1 车厢拥挤度系数阈值表

列车车厢内空间狭小，当出现拥挤时，人体往往会严重遮挡。考虑到摄像机拍摄位置较高，本文采用目标检测模型是通过对头部的检测实现人数统计，车厢乘客拥挤度检测流程图如图5所示。

图5 车厢乘客拥挤度检测流程

YOLOv5 是用于目标检测的最有效的深度学习算法之一[10]， 包括 YOLOv5s、YOLOv5m、YOLO5l和 YOLOv5x 4种变体，每个变体具有特定的宽度和深度。车厢乘客拥挤度检测使用轻量级的YOLOv5s模型，主要包括骨干网络、特征融合及预测层3个组件，其输出结果分别为目标位置矩阵框、目标类型和模型检测置信度，如图6所示。

图6 YOLOv5s网络结构示意

其中，骨干网络包括Focus模块、Conv模块、C3模块和SPP模块，通过多重卷积和池化从输入图像中提取不同大小的特征图，创建4个不同大小的特征图。特征融合是将一组融合图像特征并将其转发到预测层的网络层，融合了几个层次的特征图，用以收集更多的上下文信息并减少信息丢失，在融合过程中利用FPN和PAN的特征金字塔结构，FPN和PAN共同增强了网络的特征融合能力。特征融合层生成小、中、大3种尺寸新特征图。预测层是预测图像特征，构造边界框，然后预测目标类别。

3.3 终点站车厢行李遗留检测

车厢遗留行李检测属于目标检测任务类型，当乘客在终点站下车时，如有行李物品遗落在车厢内，智能分析主机可识别出行李物品遗留情况，并向乘务人员发出报警，方便乘务人员查找乘客遗留的行李物品。

车厢遗留行李检测采用基于目标检测模型YOLOv5s，模型输出结果包含检测目标位置矩阵框、目标类型和模型检测置信度。当列车到达车次终点站时，乘客信息系统向智能分析主机发送到达列车终点站信号和列车行驶速度，智能分析主机先触发车厢遗留人员检测，当本车厢遗留乘客人数总数小于设定阈值时（如3人，可设置），随即触发终点站遗留物检测，并生成行李遗留物信息，包括行李类别（手提箱、背包、其它）、位置等。当检测到终点站车厢行李遗留时，智能分析主机发送报警信息，终点站车厢行李遗留检测具体流程如图7所示。

图7 终点站车厢行李遗留检测流程

3.4 车厢重点位置监控

车厢重点位置监控属于目标识别任务类型，其目的是对列车重要区域进行实时监测和预警，以保证列车安全运行。本文以乘客紧急制动手柄作为监测对象。

智能分析主机提前导入紧急制动拉杆区域的背景图像，智能分析主机基于背景差分法 ，对紧急制动拉杆区域的图像进行实时分析。背景差分法通过将图像序列中的当前帧与背景参考图像对比来检测运动物体，可快速检测运动目标，且检测准确率较高。本文采用背景差分法进行初检，判断是否存在可疑的入侵行为，再将初检中发现的可疑图像送入目标分类网络进行复检，进一步分析紧急制动拉杆区域是否存在异常动作。复检采用基于经典卷积神经网络ResNet构建的目标分类模型，ResNet网络特有的残差结构加深了网络深度，并能够加速网络训练速度，使网络更快收敛。当检测到紧急制动拉杆区域有乘客异常行为入侵时，智能分析主机发送报警信息，车厢重点位置监控流程如图8所示。

图8 车厢重点位置监控流程

3.5 司机疲劳检测

司机疲劳检测属于目标行为识别任务类型，其目的是监督司机的驾驶行为，避免其在驾驶过程中出现的危险行为，确保行车安全。本文以司机眼部状态作为智能分析对象，据此推断司机的疲劳状态。

司机眼部关键点检测基于改进的YOLOV5s模型，在YOLOv5-Face中添加人脸68个关键点坐标回归，模型使用wing loss作为损失函数，对于小误差，它表现为具有偏移量的对数函数，而对于大误差，则表现为L1损失函数，wing loss损失函数的定义为

其中，w是一个正数，将非线性部分的范围限制在 [-w,w]区间内；
ε约束非线性区域的曲率，且C=w-wln(1+|x|/ε)）是一个常数，可平滑的连接分段的线性和非线性部分，ε应设置为一个很小的数值，因为它会使网络训练变得不稳定，且很小的误差就会导致梯度爆炸问题。

YOLOv5-Face模型输出结果包含检测目标位置矩阵框、检测目标的关键点位置、目标类型和模型检测置信度。根据司机眼睛的6个关键点的相对位置，对司机疲劳状态进行识别。当驾驶员处于睁眼状态时，眼睛关键点之间欧氏距离较大；
在闭眼状态时，眼睛关键点之间欧氏距离较较小。当识别到司机闭眼且持续时间超过一定的阈值（可进行设置）时，即可判断司机处于疲劳状态，当检测到司机疲劳驾驶时，智能分析主机发送报警信息，司机疲劳检测流程如图9所示。

图9 司机疲劳检测流程

采用基于深度学习技术设计了一种高铁列车智能视频分析应用方案，实现了车厢乘客拥挤度检测、车厢敏感人员识别、车厢遗留行李检测、车厢重点位置监控及司机疲劳驾驶监测，提升了高速列车旅客服务智能化水平，减轻了乘务人员排查各车厢异常事件的工作负担，有助于增强列车运行安全。

目前在实际应用中，高速列车智能视频分析系统尚存在较高的误报和漏报率，其原因主要是智能分析模型的训练样本数量有限。下一步将收集更多的视频图像数据，完成图像标注，通过构造高质量的训练数据集，持续对智能分析模型进行改进和优化，提升检测和识别的准确度。