山国科技论文在线
得分回归
卷积层:
Stride: 1
Kema:1·1
输入特企图积层
Output: 2K
Stride.1
整合结果输
Kernal: 33, Relu
得到候选
区域
Pad: I
卷积层:
Stride,
Kemal: 1+1
Output: 4k
坐标回归
RN 络
图
络结构图
本质上是·个全卷积 络,它在通过在输入的特征图上进行滑窗来获取候选区域。
这里使用的滑窗法和传统意义上的滑窗法有所不同,它是以特征图上的每个像素点为中心选
取个不同大小,不同比例的窗口,通过对每个窗口得分回归来确定所选取窗口是否能作
为候选区域,并使用坐标回归进行所选区域的精确坐标定位。实验中使用的,其中窗口
有三种比例(
)和三种尺寸(
判别 络
此框架使用的判别 络包含两个全连接层和一个
分类器,是一种深度学习中经
典的判别 终。由于全连接层需要固定维度的输入,而候选区域的尺寸却是不固定的,因此
在特征图被送入判别 络前需要对输入的特征进行归一化
中采用直接调整所提
取的候选区域的尺寸,接着把候选区域送入中的方法,这种方法使图像在调整中产生
形变,且需要让一幅图像中的每个候选区域送入 络进行前向传播,使得检测速度非常缓慢
而
则采用了直接在特征图上进行
,这种方法有
两个优点:()在整个检测的过程中只需要将原图进行一次前向传播,大大提升了检测的
效率。()不需要改变原图的尺寸比例,解决了原图失真带来的问题。
改进的
络框架
原始框架中的判屴 终的输入只有卷积神经內终的最后一层的特征图,其
分辨率相对原图有所降低(在
中宽高都降低了倍)。此外,
层使得卷积
神经 络具有了对微小平移不敏感的性质,因此只使用最后一层特征图作为判别 络的输入
会造成·定程度的定位不准确。因此,参照文献,我们对原始的
框架进行
了改进,改进后的整体框架图如图所示。改进后的框架中的
络
络以及
输出 络都没有变化,而原来只由层与判别 络的直接连接做修改成了多层特征图
融合后与判别 络连接。相比原始的
络,改进后的结构使用了分辨率更大
层次更浅的特征图作为分类 终的输入。
山国科技论文在线
VGG16
N 络
判别 路
FCG
FC7
1000
改进的部分
图改进的
框图
对 络的改进⊥要来自于多层信息的融合以及加大的特征图分辨率。改进的具体流程如
首先将
终中的
个特征图进行相同尺度的
,这样可以使这三个特征图在
后的产生相同尺寸的输出
对
的输出按特征图进行归一化。其归一化的公式为:
△Σ∑
式中,
表示特征图上坐标为的像素的像素值,、分别代表特征图的宽和高
由于三个特征图在
后的输出的特征值大小的数量级不同,所以这个步骤对每个
特征图进行了归化,使得它们的大小在同个数量级上
将三个特征图连接起米,完成特征图的融合
将合并后的特征图按像素乘。根据文献,归一化后的输出的特征图的数量级
比原 终
的数量级大约差,为了加速训练,这里执行了按像素乘操作,
使得 络在训练时的收敛速度更快。
对输出的特征图进行卷积。由于将三层的特征图进行了合并,导致输出的特征
图的数目与原来全连接层神纾元的数目无法匹配,因此需要使用的卷积操作对特征图的
数目进行调整,使最终的输出与全连接层所需的输入维度相匹配
基于改进的双流
的摔倒检测
算法基本框架
为了在检测人的姿态时将时间信息与空间信息相结合,我们使用了将光流图和灰度图相
结合的方法。算法的整体框架如图所小。当视频输入后,输入的图像会分成两路,一路进
行灰度化,另一路进行光流的捉取。提取的光流分为两个方向:方向和方向,在提取完
毕后,将方向的光流图,方向的光流图以及灰度图合成为一个三通道的合成图。这个三
山国科技论文在线
通道的合成图包含了当前帧的运动信息和姿态信息。接着将每帧的合成图送入改进的
分类器中进行姿态分类,得到由每一帧姿态组成的姿态序列。最后将姿态序列
中的姿态进行融合,得到最终的检测结果。
Faster
形成
序列输出絀果
北流
RCNN
序列
判男
化
图捧倒检测框图
姿态检测
人在运动过程中存在各种姿态,对姿态的检测是本算法需要处理的第一个问題。人在大
部分时候都不是静止的,因此我们同时使用了姿势信息和运动信息进行姿态检测。光流是
种衣征图像序列间运动信息的特征,它可以反怏出图像中像素的运动强度和运动方向。受到
文献的启发,我们将光流作为姿态检测所使用的运动信息。光流的计算方法有很多和,
我们使用了基于文献的
光流。相比灰度图,使用彩色的原图更容易表现出姿势信
息,然而,由于姿态检测时需要使用预训练过的
络,需要保证输入与预训练
使用的图像的通道数一致,因此我们进行了折中,只使用了灰度图作为反映姿势信息的图像。
由于人的姿态的多样性以及训练样本的稀缺,无法将所有的姿态进行分类检测。为了进
行摔倒检测,只对种常见的姿态进行检测,这种姿态包括直立(站着或行走)、躺(趴)
地、坐着、正在摔倒以及蹲下。我们釆用了第一节中叙述的改进的
进行这
种姿态的检测。
姿态融合与摔倒检测
在摔倒时,人的姿态是连续的,很难界定从哪一帧开始人的姿态由正在摔倒转换为倒地,
因此在对姿态进行标注的时侯,只对那些容易界定的姿态进行了标注。通过对实验结果的观
察,发现在难以界定的区间内,常常会发生同一个人被同时检测为摔倒和正在摔倒两种姿态
的情况,且检测框的重合度很高。这是因为
是一种通用目标检测框架,在进行
非极人值抑制时,它只对类内的检测对象进行了非极人值抑訇,类间对象的检测结果间相互
并没有影响。为了解决姿态判别模糊的问题,需要对躺和正在摔倒这两种姿态进行类间的非
极大值抑制,即当躺姿的检测框和正在摔倒姿态的检测框的(
大」设定的阈值时,只保留检测得分较大的那个。其他姿态间的差异比较大,不易发生姿态
判别模糊的问题,因此并未在其他类进行类冋的非极大值抑制
摔倒是·个吋序过程,它可以分为两个阶段,第·是倒地的阶段,第二是倒在地上的阶
段。针对摔倒事件的时序特点,将进行需要进行检测的姿态序列分成两个部分,第一个部分
表征着正在摔倒,而第个部分表征着人已经倒地。设定需要检测的姿态序列长度为,第
一部分的长度为,第二部分的长度为()。由于姿态检测会出现漏检或者误检的
凊况,我们认为当序列的第一部分中岀现正在摔倒姿态的帧数大于设定的阈值(),
序列第二部分中出现倒地姿态的唢数人于设定的阈值()时,则认为检测到摔倒事
山国科技论文在线
件
实验结果与分析
使用的数据集
由」使用了深度学习的方法进行姿态的分类,需要大量的训练样木。我们使用了蒙特利
尔大学的摔倒数据集以及自行拍摄的自建数据集。蒙特利尔数据集中包含个场景中的
视频,每个视频中有个摄像头同吋进行拍摄,包含共次摔倒事件以及·些干扰动作。
自建数据集包含个场景中的数据,每个场景中有个摄像头同时进行拍摄,一共段视频,
其中包含共计次摔倒事件以及一些如蹲下坐下等干扰事件,其示例见图。数据集被划
分为训练集和测试集,训练集中的图像来自蒙特利尔数据集和自建数据集中的段视频,测
试集为自行拍摄的另一段视频,需要说明的是,虽然训练集中的小部分和测试集的场景是同
一个场景下的,但是它们来自于拍摄角度相差很大的不同摄像头。
由于
的输入为图像,且两个数据集均为未进行姿态标注的数据集,我们抽
取训练集中的部分图像进行标注,作为
的训练集。此训练集中共包含
幅图像,其中各个姿态的图像均为多幅,保证了训练集的数据的均衡。
03-17期三11
图自建数据集示意图
为训练集,为测试集
实验参数设置
我们使用了基于
框架的
,在对
的训练中,使用了
络与分类 络同时训练的方法,相比 络与分类 络交替训练,此方法在保证有
效性的同时吏加简单。在进行训练或者测试前,所有的图像都进行了等比例放缩,放缩后图
像的最短边为个像素。训练时采用的优化算法为带
的算法,
的系数为。 络在训练前使用了在
数据集中训练好的
络来
进行参数的初始化,而改进部分的 络使用
方法进行初始化。在训练时,基础学习
率为
每经过
次达代学习率的衰减系数为
在进行摔倒序列的分析时,取序列长度,前一部分的序列长度,后一部分序
列长度
阈值取
取
实验结果与分析
本实验的测试结果为:数据集中共包含次摔倒事件,正确检测摔倒事件次,漏检
次,误检次
在得到检测结果后,我们对漏检以及误检的原因进行了探索。发现实验中漏检的两次事
件均由于人起身的太快,导致序列判断不准桷,但是若改变序列长度的相关参数,则会带来
更多的误检。在对实验中的误检进行分析时,发现大部分误检均发生于床边,人半躺在床上
山国科技论文在线
吋很容易被检测为躺地姿态,而人跳着坐到床上吋则很容易被误检为摔倒姿态。若对姿态进
的姿态分类进行进一步的探讨。
结语
的摔倒检测算法,该算法对通过对光
流图及灰度图的结合,完成了图像中的人的姿态检测,随后对人的姿态序列进行分析,以得
参考文献
陈玉阳监控视频事件检测算法研究北京:北京邙电大学,
赵翔监控视频事件检测北京:北京电大学
姜媚监控视频事件检测算法北尔:北京邮电大学,
相关资源：防跌落V2.0用户手册.pdf_跌落传感器-交通文档类资源-CSDN文库
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！