网站首页

产品中心

智能行为分析系统 智能图像过滤系统 智能制造光测系统

新闻中心

关于我们

公司概况 核心优势 企业文化 发展历程

联系我们

官方微信 官方微博
主页 > 新闻中心 >

对比骨骼行为识别提出了新的方案,造福人类

发布时间:2019-11-28 10:09:16浏览次数:来源于:未知

近些年,人们个人行为鉴别早已变成一个活跃性的科学研究行业,它在视頻了解中起着关键的功效。一般而言,人们个人行为鉴别拥有多种多样多形式(Simonyan and Zisserman 2014; Tran et al. 2015; Wang, Qiao, and Tang 2015; Wang et al. 2016; Zhao et al. 2017),比如外型、深层、光流和人体人体骨骼(Du, Wang, and Wang 2015; Liu et al. 2016)等。在这种多形式之中,动态性人们人体骨骼一般能与别的多形式紧密联系,转达关键信息内容。殊不知,相比外型跟光流模型,动态性人体骨骼模型遭受的关心偏少。在此项工作上,人们系统化科学研究这类多形式,致力于开发设计一种原则性且最好的办法仿真模拟动态性人体骨骼,并运用他们开展人们个人行为鉴别。

 在 2D 或 3D 座标方式下,动态性人体骨骼多形式能够当然地由人们骨节部位的时间序列表达。随后,根据剖析其姿势方式能够保证人们个人行为鉴别。初期根据人体骨骼开展姿势鉴别的方式 仅仅在每个時间流程应用骨节座标产生特征向量,并进行时序剖析 (Wang et al. 2012; Fernando et al. 2015)。但这种方式 工作能力不足,由于他们沒有确立运用人们骨节的室内空间关联,而这类室内空间关联对了解人们个人行为来讲尤为重要。近期,学术研究开发设计了尝试运用骨节间自然连接的新方式  (Shahroudy et al. 2016; Du, Wang, and Wang 2015)。这种方式 的改善令人鼓舞,说明了人体骨骼连接性的必要性。殊不知,目前的大部分方式 依靠手动式区划的一部分或手动式设置的标准来剖析室内空间方式。因而,为特殊运用设计方案的实体模型无法在别的每日任务中营销推广。



 图 1:左右是文中所明确提出的人体骨骼编码序列的时空图,在其中采用了所明确提出的 ST-GCN 实际操作。蓝点意味着人体骨节。人体骨节中间的身体边(intra-body edge)依据身体自然连接界定。帧间边(inter-frame)联接邻近帧中间的同样骨节。ST-GCN 中键入的是协同座标。

 以便超越所述限定,人们必须一种新方式 全自动捕获骨节的室内空间结构式、時间动态性中常置入的方式。这就是说神经网络算法的能量。殊不知,如前所述,人体骨骼仍未以 2D 或 3D 网格图的方法呈现,只是以图象的方式呈现。这就促使应用例如卷积互联网等已确认的实体模型越来越艰难。近期,将卷积神经网络(CNN)广泛到随意构造图型的图卷积互联网(GCN)获得了愈来愈多的关心,并且被取得成功运用于图象归类 (Bruna et al. 2014)、文献分类 (Defferrard, Bresson, and Vandergheynst 2016)、半监督学习 (Kipf and Welling 2017) 等行业。可是,沿着那条构思,绝大多数先人的工作中都把键入假设为一个固定不动的图型。GCN 在规模性uci数据集上的动态图实体模型运用,比如人们人体骨骼编码序列,也有待探寻。

 在文中中,人们根据将图卷积互联网拓展到时空图实体模型,设计方案用以个人行为识别的人体骨骼编码序列通用性表达,称之为时空图卷积互联网(ST-GCN)。如图所示 1 图示,该实体模型是在骨骼图编码序列上制订的,在其中每一连接点相匹配于身体的一个骨节。图中存有二种种类的边,即合乎骨节的自然连接的室内空间边(spatial edge)与在持续的時间流程中联接同样骨节的時间边(temporal edge)。在这个基础上搭建双层的时空图卷积,它容许信息内容顺着时间与空间2个层面开展融合。

 ST-GCN 的多样性清除了手动式区划一部分或遍历标准的必须。这不但能得到更强的语言表达能力和更高的特性(如人们的实验室示),并且还使其便于在不一样的自然环境中营销推广。在通用性 GCN 公式化的基本上,人们还根据图象实体模型的设计灵感科学研究设计方案了图卷积核的新策略。

 此项工作中的关键奉献取决于三个层面:1)人们明确提出 ST-GCN,一个根据图的动态性人体骨骼建模方法,它是首例用于进行本每日任务的根据图型的神经元网络的运用。2)人们明确提出了在 ST-GCN 中设计方案卷积核的好多个标准,致力于考虑人体骨骼模型的实际规定。3)在根据人体骨骼姿势鉴别的2个规模性uci数据集上,人们的实体模型与此前应用的手动式分派一部分或遍历标准的方式 对比,必须非常少的手动式设计方案,保持了更优越的特性。ST-GCN 的编码和实体模型已公布公布 1。

 步骤概览

 根据人体骨骼的信息能够从健身运动捕获机器设备或视頻的姿势估算优化算法中得到。一般而言,信息是一系列的帧,每一帧常有一组协同座标。给出 2D 或 3D 平面坐标下的人体骨节编码序列,人们就能结构一个时空图。在其中,身体骨节相匹配图的连接点,身体身体构造的连接性和時间上的连接性相匹配图的两大类边。因而,ST-GCN 的键入是图连接点的协同座标向量。这能够被觉得是一个根据图象的 CNN 仿真模拟,在其中键入由 2D 图象网格图上的清晰度抗压强度矢量素材产生。对键入信息运用双层的时空图卷积实际操作,能够转化成更高級其他特点图。随后,它将被规范的 SoftMax 分类器归类到相对的姿势类型。全部实体模型用反方向散播开展端对端方法的训炼。如今,人们将详细介绍 ST-GCN 实体模型的每个一部分。



 图 2:对于视頻开展姿势估算,并在人体骨骼编码序列上搭建时空图。自此,对其运用双层时空图卷积实际操作(ST-GCN),并慢慢在图象上转化成更高級的特点图。随后,运用规范的 Softmax 分类器,能将其归类到相对的实际操作类型中。



 图 3:文中明确提出的用以搭建卷积实际操作的切分对策。从左往右:(a)键入人体骨骼的架构实例。人体骨节以蓝点表达。D=1 的卷积核体会野由鲜红色的虚线画出。(b)单标识区划对策。在其中近邻的全部连接点标识同样(翠绿色)。(c)间距区划。这2个子集是间距为 0 的根连接点自身,和间距为 1 的根连接点邻近连接点(深蓝色)。(d)室内空间结构式区划。依据连接点到骨架图重心点(图中灰黑色十字)的间距和到根连接点(翠绿色)的间距的较为开展标识。径向连接点(深蓝色)到骨架图重心与心的距离比根连接点到骨架图重心与心的距离短,而抽滤连接点(淡黄色)到骨架图重心与心的距离比根连接点长。



 表 2:根据人体骨骼的实体模型在动力学模型uci数据集(Kinetics dataset)中的姿势鉴别特性。在报表顶端,人们列举了根据帧的方式 的特性。



 表 3:根据人体骨骼的实体模型在 NTU-RGB+D uci数据集上的姿势鉴别特性。文中依据交差主题风格(X-Sub)和交差主视图(X-View)的标准开展成功率测算。

 毕业论文:Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition



 毕业论文连接:https://arxiv.org/abs/1801.07455

 肌肉骨骼动力学模型为人们个人行为鉴别出示了关键信息内容。传统式的人体骨骼建模方法一般依靠手动式区划一部分或遍历标准,造成实体模型语言表达能力不足、广泛艰难。在此项工作中之中,人们明确提出了一个名叫时空图卷积互联网(ST-GCN)的新式动态性人体骨骼实体模型,它根据合作学习信息中的時间、室内空间方式,跨越了过去方式 的局限,具备更强的感染力和广泛工作能力。在 Kinetics 和 NTU-RGBD 两互联网大数据集中化,本实体模型与流行方式 对比拥有挺大的提升。

下一篇:英伟达做了一个非常逼真的人脸生成系统!
上一篇:首个实行行为识别系统的杭州,乱停车会被直接识别

分享这篇文章:

咨询我们

输入您的疑问及需求发送邮箱给我们