详解动作捕捉技术的分类

FOHEART·X动作捕捉系统

FOHEART·X动作捕捉系统1.2.1步态分析的技术分类

目前主流的步态分析技术主要有以下几种:基于计算机视觉的人体步态捕捉与分析、基于惯性传感器的人体步态捕捉与分析、基于无线信号的人体步态捕捉与分析。基于计算机视觉的人体步态捕捉又分为基于红外摄像头、基于2D摄像头、基于3D深度摄像头等多种。上个世纪的技术路线还有基于机械式的步态捕捉。其他的技术路线还有基于电磁式的步态捕捉。

1.2.1.1基于红外摄像头的光学步态捕捉

红外光学动作捕捉技术经历数十年的持续发展,目前常用的红外光学动作捕捉技术都是基于计算机视觉原理。红外摄像头的光学步态捕捉主要分为被动式和主动式。被动式是在人体关键部位粘贴反光标记点,主动式是在人体主要部位佩戴上可发射红外线的主动式摄像头。本节主要说明被动形式的光学步态捕捉。在人体的主要骨骼部位以及关节处粘贴反光标记点,利用架设好的红外摄像头追踪反光标记点,从而计算出反光标记点在空间中的绝对位置。反光标记点和红外摄像头分别如图1-1和图1-2所示。

图1-1反光标记点

Fig.1-1Reflectivemark

CoinsPaid:黑客攻击为Lazarus Group策划,客户资金完好无损:金色财经报道,CoinsPaid发布声明称,7月22日CoinsPaid遭遇黑客攻击,导致3730万美元被盗。我们怀疑最强大的黑客组织之一Lazarus Group应对此负责。其受害者名单还包括世界顶级公司:索尼(8100万美元)、Axie Infinity(6.25亿美元)、Horizo??n Bridge(1亿美元)、Atomic Wallet(1亿美元)和Alphapo(2300万美元)。该团队表示,作为第一要务,已确保客户资金完好无损。不幸的是,这次攻击影响了平台的可用性,公司的收入也受到了影响。

CoinsPaid首席执行官Max Krupyshev强调:“部分停机后,我们的服务正在新的安全环境中一项一项启动并运行。我们预计还需要几天时间来整理次要细节并确保系统顺利运行” 。几周内,CoinsPaid将组织一次圆桌会议,与所有Lazarus受害者宣布一项新举措,旨在最大限度地减少和防止未来此类攻击。[2023/7/27 16:01:14]

图1-2红外摄像头

Fig.1-2Infraredcamera

反光标记点既不会接收无线信号也不会向外发射任何无线信号,它的表面涂抹了一种特殊荧光材料,可以很好地让红外摄像头识别到并反射回高质量的图像信号。

红外摄像头一般采用RJ45接口,通过网线连接汇聚到交换机,再由交换机统一将数据转发到计算机。整个系统如图1-3所示。

CertiK:谨防Twitter上宣传的Finale空投网站:金色财经消息,据CertiK官方推特发布消息,谨防Twitter上宣传的Finale空投网站,并勿与finale.website钓鱼网站互动,该网站目前连接了一个已知的wallet drainer。[2023/6/15 21:40:10]

图1-3基于红外摄像头的光学动作捕捉系统结构图

Fig.1-3Structurediagramofopticalmotioncapturesystem

计算机的上位机软件经过一系列的算法识别还原出人体的步态。其算法流程如图1-4示。

图1-4基于红外摄像头的光学动作捕捉系统算法流程图

Fig.1-4Algorithmflowchartofopticalmotioncapturesystem

基于红外摄像头的光学步态动作捕捉系统优点是技术成熟度高,采样频率高,加之目前的高性能计算机数据处理速度极快所以延迟很低,且精度很高,使用范围广,应用领域众多。主要缺点是对光照特别敏感,不能在光变化较大的环境下使用,周围不能有和光学标记点相近的物体或光斑,所以光学步态捕捉一般只在室内使用。由于摄像头的视场角有局限性,且人在运动时有的标记点很容易受到其他物体及自身的遮挡,这就造成被遮挡部位数据的丢失。后期数据处理工作量很大,由于数据量大且需要处理丢失、跳帧等问题,需要较长的后期处理时间。缺点还在于需要架设相机,相机一般架设到钢架结构上,这就造成使用场景一般比较固定,不能轻易的挪动。一般的场景至少需要6个摄像头,如果需要追踪更大的场景,需要的摄像头数量高达几十个,且单个摄像头价格十分价贵,比如Vicon公司生产的单个摄像头价格高达十万元人民币,这就造成红外光学式步态捕捉还是应用到科学研究方面,无法走进大众。

数据:Blur3月版税收入超OpenSea,达1260万美元:金色财经报道,Blur 在 3 月份向创作者支付的版税收入超过 OpenSea,达到 1260 万美元,高于 2 月份的 1120 万美元。相比之下,OpenSea 的特许权使用费从 1730 万美元下降到 990 万美元。[2023/4/17 14:09:21]

目前市面上生产红外摄像头的光学步态捕捉的公司有英国的Vicon公司、美国NaturalPoint公司、美国MotionAnalysis公司、中国的青瞳视觉公司等。NaturalPoint公司生产的Optitrack系统如图1-5所示。

图1-5Optitrack系统

Fig.1-5Optitracksystem

1.2.1.2基于3D深度摄像头的动作捕捉

随着3D深度相机技术的成熟,有许多研究者开始研究基于深度相机的动作捕捉系统。3D深度摄像头与2D摄像头的区别在于,除了能够获取平面图像外还可以获得深度信息。3D深度技术目前广泛应用在人体步态识别、三维重建、SLAM等领域。目前主流的3D深度摄像头的技术路线有:双目立体视觉;飞行时间;结构光技术等。

双目立体视觉即使用两个2D平面摄像头。两个平面摄像头获得两幅图像,通过两幅图像算出深度信息。飞行时间即由雷达芯片发射出红外激光散点,照射到物体后反射回雷达芯片的时间,由于光速已知,发射返回时间已知即可测量出摄像头距物体的距离,。结构光是摄像头发出特定的图案,当被摄物体反射回这一图案时,深度摄像头再次接收这一图案,通过比较发射出的图案和接收的图案从而测量出摄像头距离被摄物体的深度信息。3D深度摄像头方案对比如表1-1所示。

红杉中国种子基金完成4.8亿美元新基金募资 开始布局AIGC领域的早期企业:金色财经报道,红杉中国种子基金宣布,旗下第三期种子基金已于去年完成 4.8 亿美元募资。目前,红杉种子管理规模近 150 亿人民币,是国内管理规模最大的早期基金之一,也是自 2018 年单列以来,红杉中国五年中完成的第三支美元基金募集。

据介绍,红杉种子主要面向种子轮到 A 轮的初创企业,过去几年,红杉种子重点布局了新能源与“双碳”、EV 产业链、创新医疗技术、合成生物、金融科技、基础软件、机器人、设计和内容平台、效率工具和新消费等具有科技驱动、结构性创新和高成长属性的领域,当下也开始关注并开始布局 AIGC 领域的早期企业。(澎湃新闻)[2023/2/28 12:33:34]

表1-13D深度摄像头方案对比

Tab.1-13Ddepthcameraschemecomparison

利用结构光方案的产品有微软公司推出的Kinect,其广泛的应用在体感交互、人体骨架识别、步态分析等领域。Kinect如图1-6所示。

图1-6微软公司的Kinect

Fig.1-6KinectofMicrosoft

基本原理是首先找到图像中移动的物体,然后会对移动的物体进行深度评估,识别出人体的部位,然后将其从背景环境中分割出来。分割之后要做的工作就是模式匹配,将其匹配到骨骼系统上。算法流程如图1-7所示。

ETH跌破1200美元,24小时跌幅为5.49%:金色财经报道,行情显示,ETH跌破1200美元,最低至1186.62美元;现报1193.96美元,24小时跌幅为5.49%。行情波动较大,请做好风险控制。[2022/11/17 13:14:25]

图1-7光学动作捕捉算法流程图

Fig.1-7Algorithmprocess

以上三种方案的3D深度摄像头方案大部分用在娱乐级别方面,比如脸部识别解锁、人机互动,且由于其探测距离较近,很难用在大空间上。目前基于3D深度摄像头的芯片在不断地研究改进中。其硬件芯片仍是目前的难点之一,再其次是算法的复杂度,大量的图像计算对硬件的主控芯片的计算能力有较高的要求,在功耗上很难做到低功耗的工作,受制于目前的电池技术,单个传感器的工作时间比较短。其优势在于不需要用户穿戴任何传感器和粘贴标记点。利用Kinect进行人体下肢骨架识别如图1-8所示。

图1-8Kinect人体骨架识别

Fig.1-8Kinectforhumanskeletonrecognition

1.2.1.3基于2D摄像头的动作捕捉

利用2D摄像头实现3D运动轨迹的捕捉是目前的前沿技术研究。2D摄像头即平面摄像头,没有深度信息。目前基于2D摄像头的动作捕捉主要采用卷积神经网路将稀疏的2D人体姿态凸显检测的原理。但是此种捕捉方案需要长时间的运算,并不适合实时的运动分析,且输出精度低。基于2D摄像头的动作捕捉目前可以捕捉人体局部的运动姿态,且捕捉之间需要采集大量的数据样本作为训练数据集。2D摄像头在深度信息的预测上存在着偏差,任何一点错误的数据都会导致很大的偏差,稳定性极差。最大的挑战在于摄像头的遮挡以及快速的运动都是2D摄像头很难追踪到的。其优点在于不需要任何的穿戴,且所需要的2D摄像头触手可得,成本极低,这对大众化的应用是一个不错的选择。利用2D平面摄像头的姿态捕捉应用如图1-9所示。

图1-9利用2D平面摄像头姿态捕捉

Fig.1-9Using2Dplanarcameraattitudecapture

1.2.1.4基于MEMS惯性传感器的惯性动作捕捉系统

基于MEMS惯性传感器的动作捕捉系统在各个领域都有应用,包括虚拟现实、运动训练、生物医学工程和康复。因为它们体积小、重量轻、价格合理。

惯性动作捕捉系统主要是将惯性传感器绑定在人身体主要骨骼上,如足、小腿、大腿,实时测量出每段骨骼的旋转,利用正向运动学和反向运动学实时推导计算出整个人身体的运动参数。惯性动作捕捉系统的优势在于他是一种无源的动作捕捉系统,不需要借助任何外部信息,即不受外界环境的干扰。缺点则是由于惯性传感器普遍存在累计漂移会使惯性系统无法精确测量出运动的位移。其全身穿戴效果如图1-10所示。

图1-10基于MEMS惯性传感器的惯性动作捕捉系统穿戴图

Fig.1-10Awearableimageofinertialmotion

capturesystembasedonMEMSinertialsensor

惯性传感器主要包括加速度计、陀螺仪、磁力计。其中加速度计、陀螺仪、磁力计多采用MEMS形式,所以称之为MEMS惯性传感器。三轴加速度计可以测量载体的三个轴向上的加速度,是一矢量,通过加速度我们也可以计算出载体静止时的倾角。三轴陀螺仪可以测量出载体的三个轴向上角速度,通过对角速度积分我们可以得到角度,。三轴磁力计可以测量出周围的磁场强度及与地球磁场的夹角。通过融合加速度、角速度、磁力值的数据我们可以精准的得到载体的旋转。融合后的数据一般用四元数或欧拉角来表示。其中四元数形式如,欧拉角包含俯仰角、横滚角、偏航角。得到载体的旋转后再拟合各个骨骼的运动,从而计算出穿戴部位的运动姿态。通过对加速度、角速度的积分可以测量出穿戴者的步速、步距、步长等参数。世界上知名的MEMS惯性动作捕捉系统研发生产公司国外有荷兰Xsens、国内的北京孚心科技公司等。综述其原理如图1-11所示。

图1-11惯性动作捕捉系统原理图

Fig.1-11Schematicdiagramofinertialmotioncapturesystem

基于MEMS惯性传感器的动作捕捉系统的步态分析有很大的优势,主要体现在由于惯性动作捕捉系统采用的是MEMS芯片,成本较低,每个芯片只需要十元左右,整套系统的价格在几万元级别。由于惯性动作捕捉系统是一种无源的系统,整套系统的重量在几千克的范围内,所以便于携带,且不需要架设繁杂的相机。惯性传感器只需要开机后就可以使用,没有繁杂的校准、标定等操作步骤,所以使用十分便捷。惯性动作捕捉系统不受使用环境的影响,不管在室内、还是室外都可以正常使用。但是MEMS传感器的精度相比于光学动作捕捉系统来讲,精度较低,但对于大众人群已经完全满足其需求。由于MEMS式陀螺仪存在零偏且在动态情况下积分累计误差会随着时间的推移而产生较大的漂移。MEMS加速度计在不同的状态下也存在误差,特别是在高动态下。磁力计很容易受到强磁环境的干扰。但是这一系列的误差问题都可以通过算法来补偿。MEMS式惯性传感器补偿后的静态精度一般可达到:俯仰角/横滚角≤0.2°,偏航角≤1°;动态精度:俯仰角/横滚角≤0.5°,偏航角≤2°,步态位移误差可达5%。已满足步态参数计算的精度要求。

1.2.1.5其他技术路线

机械式动作捕捉依靠穿戴在人身体的机械装置来测量关节角度以及位移。人体运动带动机械装置的运动,从机械装置上的角度传感器可以知道运动角度,根据角度和机械部位的长度从而计算出移动位移。这一技术最早出现在20世纪,由于机械结构的笨重,在步态分析方面机械动作捕捉早已退出发展的主流。但利用机械外骨骼的搬运发展成了主流。其形状如图1-12所示。

图1-12机械式动作捕捉

Fig.1-12Mechanicalmotioncapture

其他的技术路线还有基于声学式的动作捕捉,基于电磁式的动作捕捉等。

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

银河链

BNB应宜伦:聪明人一定是1+0等于10|贾可行之博泰

打造汽车智慧新零售是一个重要方向,但博泰对于车联网未来应用的思考远远超过我们的想象 撰文/钱亚光 编辑/张南 设计/赵昊然 不知道大家意识到没有,车联网在中国已经有了11年的历史.

狗狗币价格西藏雅鲁藏布江流域珞巴族的风俗习惯

20世纪50年代之前,珞巴族社会经济发展缓慢,生产水平很低。农业生产刀耕火种,生产工具简单粗糙,除了少量砍刀、长刀为铁制,其它生产工具,如播种用的尖棍、锄草用的锹、锄、骨铲子、竹刮子等均为木制、.

[0:15ms0-2:194ms