基于时空图卷积网络改进的人体行为识别方法

针对目前利用时空图卷积网络ST-GCN行为识别模型进行人体行为识别准确性有待提高和如何更好地学习骨骼数据中关节点和骨架边所表达的动作特征等问题,改进现有的时空图卷积网络（ST-GCN）行为识别模型。首先,使用有向图来表示关节点和骨骼边的信息以及它们之间的依赖关系,提取相邻帧的关节位置差异作为运动信息;其次,使用双流框架分别学习运动信息和空间信息,进行融合提高识别性能;最后,使用注意力权重矩阵让图的拓扑结构具有自适应性,增大节点的感受野,使网络能够学习到远端关节之间的语义信息,更好的捕捉动作特征。将所提出的方法在NTURGB+D数据集上进行实验。研究结果表明,采用基于时空图卷积网络改进的人体行为识别方法在数据集上达到了96%的准确率,与现有ST-GCN模型相比,准确率提高了。此方法可进一步促进人体行为识别技术在智能家居、智能监控安防、人机交互、基于内容的视频检索、智慧城市发展等领域的广泛应用。     

基于骨骼数据特征的人体行为识别方法综述

人体行为识别是人工智能领域的一个研究热点,相对于视频、运动流等数据,人体骨骼数据具有简洁性和矢量计算的高效性.从基于传统机器学习的手工特征提取方法和基于深度学习的深度特征提取方法两方面对基于骨骼数据的人体行为识别相关研究进行综述.将手工特征概括为物理属性特征和统计属性特征,将深度特征按卷积神经网络、循环神经网络、图卷积...     

基于3D卷积神经网络的人体行为识别方法

为了提高视频中人体行为识别的准确率,更好地利用视频中的原始信息,提取出更具有代表性的特征,提出一种基于3D卷积神经网络的人体行为识别方法。该方法构建了一个深层三维卷积神经网络模型,使用三维卷积核进行卷积操作,提取视频中人体行为的时域和空域特征,通过多层卷积操作对底层特征进行再组合,得到抽象的高维特征。在KTH数据集上的实验结果表明,该方法有较好的识别效果。     

基于异构多处理器和深度学习算法的篮球运动图像目标检测

篮球高难度动作识别技术的分析主要是识别和分析篮球运动员在视频中的身体行为.视频识别的目的是提高篮球训练水平.然而,传统的运动目标识别受到场景、动态背景和技术的限制,不能达到预期的效果.因此,本文开发了一种基于深度卷积神经网络的大数据运动目标检测系统,其主要用于篮球运动图像检测.其使用卷积神经网络的高分辨能力来提取图像,以执行计算预处理来识别视频流中的每个人体运动的图像.然后,采用基于Bi-LSTM模型的骨骼识别算法对人体关键点进行检测.最后,开发了一个目标检测系统来重建每个运动.通过选取五组可能导致运动损伤的高难度动作进行实验,结果表明该目标检测系统可以有效提高篮球动作目标识别的准确性,并有助于减少运动员伤病.     

基于Transformer编码器的多级表示与融合特征输入的语音情感识别方法（英文）

为了提高语音情感识别的准确度，探讨了将Transformer应用于语音情感识别的可能性.将对数梅尔尺度谱图及其一阶差分特征相融合作为输入，使用Transformer来提取分层语音表示，分析注意头个数和Transformer编码器层数的变化对识别精度的影响.结果表明，在ABC、CASIA、DES、EMODB和IEMOCAP语音情感数据库上，相比以MFCC为特征的Transformer,所提模型的精度分别提高了13.98%、8.14%、24.34%、8.16%和20.9%.该模型表现优于递归神经网络(RNN)、卷积神经网络(CNN)、Transformer等其他模型.     

人体步态特征生物识别方法研究

人体行走步态特征是一类重要的生物特征,基于步态特征实现生物识别的方法具有较多优势.在分析人体行走步态特征的基础上,讨论了当前步态识别研究中采用的视频获取、目标提取、步态特征检测以及分类识别的主要技术,研究了基于雷达的步态信号提取方法并给出了实验步态信号时频分析结果;分析了当前研究中存在的主要难点.提出了基于视频、雷达等多传感器数据融合提高步态识别能力的方法,讨论了步态识别的应用领域和前景.     

基于自动编码器与概率神经网络的人体运动行为识别方法

为了准确而快速地识别出图像中人体的某种行为特征,提出了一种全新的三层自动编码器与PNN概率神经网络结合的网络模型。把人体行为的关键帧从包含10种人体行为的视频库中提取出来,用背景减除法提取人体轮廓图并进行二值化图像处理,根据时间序列叠加轮廓图,组成含有10个特征轮廓的数据库,随后将特征轮廓数据在自动编码器中编码,编好码的特征数据随即进入概率神经网络进行训练学习。将训练好的神经网络对这10种人体行为进行准确识别。实验结果表明,经过自动编码器处理后的人体特征进行PNN神经网络识别,比单纯用BP神经网络识别准确率提高5%以上,由此证明该方法有效可行。     

基于BP神经网络的体育视频关键姿态检测

为了运动员和教练员能够进行更加高效地训练,面向举重运动视频,采用分级分块背景估计法进行人体目标检测,根据边缘特征来完成目标的特征提取,利用改进的BP神经网络对举重运动中常见的四种人体姿态进行识别。仿真结果表明,本算法可以较为准确的识别出举重运动中四种常见的人体姿态。本技术还可适用于其他体育项目视频关键姿态的检测,提高体育运动的技能。     

基于无人驾驶配送实验平台的封闭园区内动态环境视觉SLAM研究

针对动态环境下SLAM算法定位信息精度不足、建图偏移严重问题,本研究基于无人驾驶配送实验平台提出一种面向封闭园区内动态环境的视觉SLAM系统。该系统以ORB＿SLAM2为框架,添加了基于人体关键点提取的行为识别线程。在输入图像ORB特征点提取的同时,通过HRNet网络进行人体关键点的提取,通过30帧图像内容进行行为识别,判断图像中人体的行为状态是否为运动,并以此为依据筛选并剔除动态特征点,最后通过静态特征点进行位姿估计。实验结果表明,在TUM数据集动态子序列下,与ORB＿SLAM2、DS＿SLAM相比,本研究所提算法在系统精度与速度上达到平衡,有效提高了位姿估计的准确性。     

一种基于MHI和支持向量机的人体动作识别方法

针对人体动作识别问题,研究了一种基于运动历史图像(Motion History Images,MHI)的人体动作识别方法。利用从运动图像序列获得的MHI图像获取视频帧中运动目标的运动特征,由运动特征的变化分类确定人体动作种类,同时给出相应的实验结果。     

基于视频图像处理的实验室异常行为检测北大核心

连续采集多帧视频图像,利用帧间滤波法建立背景图像,并通过改进背景差分算法尽可能地提取完整的目标轮廓,并用链表法表示轮廓特征。提取目标轮廓的HOG特征,通过SVM分类器进行分类,研究分析不同的人体异常行为。该方法可以有效识别出快速移动、弯腰行走、跌倒、跳跃、长时间停留等异常行为。     

基于视频图像处理的实验室异常行为检测

连续采集多帧视频图像,利用帧间滤波法建立背景图像,并通过改进背景差分算法尽可能地提取完整的目标轮廓,并用链表法表示轮廓特征。提取目标轮廓的HOG特征,通过SVM分类器进行分类,研究分析不同的人体异常行为。该方法可以有效识别出快速移动、弯腰行走、跌倒、跳跃、长时间停留等异常行为。     

用于跨库语音情感识别的时频原子听觉注意模型（英文）

为解决跨数据库语音情感识别领域中实验数据集特征不匹配的问题,提出一种基于时频原子的听觉注意特征提取模型.首先,为了提取频谱特征,引入听觉注意模型对多类情感特征进行有效的探测.然后,利用选择注意机制改进了提取的语谱图特征,其中包含的显著性信息与跨库识别性能有紧密联系.再引入Chirplet时频原子,通过形成的过完备原子库提高语谱图特征的信息量.来自多个数据库的样本具有多成分分布的特征,据此所提模型中的Chirplet扩大了特征向量在时频域上的尺度.实验结果显示,相比传统特征模型,所提方法性能有显著提升.此外,该方法在训练集和测试集来源不一致情况下具有更好的鲁棒性.     

动态视角下人体行为识别研究

3D人体行为识别数据库发展给人体行为识别研究者提供了便利,然而现存数据库视角固定等问题限制了机器人移动范围。为了研究真实环境下的人体行为识别,建立一个基于RGB-D摄像机的动态多视角人体行为数据库DMV Action3D,收集了20人的600多个行为视频,约60万帧彩色图像和深度图像。另外,在DMV Action3D数据库基础上,利用CRFasRNN图片分割技术将人像进行分割并分别提取Harris3D特征,利用隐马尔可夫模型对动态视角下的人体行为进行识别。实验结果表明,在动态视角下使用CRFasRNN图像分割方法,人像分割效果突出,且不受环境、场景、光照因素影响,与真实环境下人体轮廓的相似度极高。DMV Action3D数据集对于研究真实环境下人体行为具有较大优势,为服务机器人识别真实环境下人体行为提供了一个较佳资源。     

体育运动视频人体关节点运动轨迹自动识别方法

体育运动视频内前景目标存在噪声干扰,导致轨迹正确识别数量较小,识别率较低,针对该问题,设计一种体育运动视频人体关节点运动轨迹自动识别方法.检测体育运动视频人体运动目标,独立前景中的像素点,二值化处理前景图像中的阈值,去除噪声,提取及跟踪人体关节点,设定关节点之间的肢体约束度量,完成轨迹识别.搭建实验环境,标定体育运动视频关节点,采用两种传统识别方法与文中设计的识别方法进行实验,结果表明：文中设计的自动识别方法正确识别轨迹数量更多,识别率更大,更适合自动识别关节点运动轨迹.     

基于贝叶斯网络的人体异常行为检测与识别

使用卡尔曼滤波算法检测视频中的运动目标,并对检测到的行人进行特征提取。采用图像熵、Hu不变矩和长宽比特征,建立贝叶斯网络结构对人体目标进行分类,从而对人的正常行走和倒地、奔跑、挥拳4种行为进行识别。正常行走是正常行为,摔倒、挥拳和奔跑是异常行为。实验结果表明,通过特征提取的贝叶斯网络分类具有较好的实时性,其准确率可达90%。     

基于四叉树和特征融合的图像特征提取的研究

图像特征提取作为图像处理中的一项基本技术,仅依靠单一的图像特征很难准确、可靠地描述图像信息.利用四叉树分裂合并和局部特征SIFT算法的特点,本文提出了一种基于四叉树和特征融合的图像特征提取方法,首先利用四叉树对图像进行区域分割,然后对分割图像提取颜色直方图信息,接着使用局部特征SIFT算法进行特征精提取,达到特征信息的融合,从而更好识别图像特征信息.最后对此方法进行实例仿真,所提特征能够较完整地表示图像的特征信息,冗余度比较小,具有良好的尺度不变性.     

基于稀疏表示的人脸表情识别算法研究

针对基于局部纹理特征的人脸表情识别算法不能有效表达不同表情状态下人脸运动单元差异性的问题,提出一种改进的稀疏表示人脸表情识别算法,将人脸纹理特征与全局位置特征用稀疏表示模型相结合,得到人脸表情的稀疏系数矩阵,并作为支持向量机表情识别的输入。人脸表情库BU_3DFE实验结果表明,该算法提高了表情识别的准确率。     

基于双目视觉的运动位姿误差检测方法研究

为了提高人体运动位姿误差检测能力,提出基于双目视觉的运动位姿误差检测方法。采用双目视觉跟踪融合识别方法对运动位姿的样本动态特征点进行采样,以全局人体姿态信息为候选样本,进行运动位姿双目视觉特征高分辨提取,采用模板匹配方法,构建人体部位姿态候选样本轮廓分布集,获取模板大小,根据模板大小计算运动位姿的误差概率分布,利用相邻图像帧之间的运动特征分布集,构建运动位姿图像的位置信息检测模型,在此基础上,采用自适应颜色覆盖方法对运动位姿的误差概率分布做极小化处理,完成对人体运动位姿误差检测。仿真结果表明,采用该方法进行运动位姿误差检测的特征分辨能力很好,降低了检测误差,提高了运动位姿双目视觉跟踪识别能力。     

2013年度北京市科学技术奖部分获奖项目展示

大规模智能视频监控新技术及应用 主要完成单位：北京声迅电子股份有限公司 该成果属于计算机信息技术领域。成果在行为识别、目标跟踪、视频传输和智能联网方面取得了一系列技术突破,实现从“分散录像、人工取证”被动监控到“规模联网、智能分析”主动监控的根本性转变。主要技术创新点有：1．发明了带驻留时间状态的分层动态贝叶斯网络模型,突破了多尺度、多层次和多角色的行为表示瓶颈,识别率大于92％。