通俗来讲,3D结构光是从摄像头弹出数百万条投射光线到识别物体上,形成三维立体图像,能够更精确的识别物体,用深度一些的话来解释就是:根据投射的潜望结构光线扫描采集物体信息,通过"点"对"面"的特殊算法构成三维图像进行对比与识别。
3D结构光的用途不仅在于面部识别,还可以用于美颜自拍(有针对性的美颜,分析脸部结构进行计算,并非糊成一片的"美白、大眼、瘦脸")、AR购物(只需要扫描脸部即可实现自动换衣、选衣)、3D打印(由手机进行扫描,再传输到3D打印机上)以及很可爱的萌拍等多项技术;
既然3D结构光如此厉害,那我们就来学习一下它的原理吧。
3D结构光基本原理
结构光三维成像的硬件主要由相机和投射器组成,结构光就是通过投射器投射到被测物体表面的主动结构信息,如激光条纹、格雷码、正弦条纹等;然后,通过单个或多个相机拍摄被测表面即得结构光图像;最后,基于三角测量原理经过图像三维解析计算从而实现三维重建。
1、3D结构光基本原理学习(镜头差异)
3D结构光和传统相机的区别
2、3D结构光基本原理学习(核心器件)
点阵投射器(dot projector)通过将3万多个肉眼看不见的光点投影在脸部,绘制3D脸谱。
泛光感应元件(flood illuminator红外补光灯)借助不可见的红外光线,在弱光下识别你的脸。
红外镜头(IR Camera)读取点阵图案,扑捉脸部红外图像,将数据发送到芯片数据库进行比对匹配。
正是以上三个核心元器件完成了人脸识别的三大步骤:识别人脸、提取人脸特征、信息比对。
3、3D结构光基本原理学习(核心器件-结构光部件)
IR红外光发射模组--用于发射经过特殊调制的不可见红外光至拍摄物体。
IR红外接收模组--接收由被拍摄物体反射回来的不可见红外光,通过计算获取被拍摄物体的空间信息。
镜头模组--采用普通镜头模组,用于2D彩色图片拍摄。
图像处理芯片--将普通镜头模组拍摄的2D彩色图片和IR接收模组获取的3D信息集合,经算法处理得当具备3D信息的彩色图片。
以上四大模组组成了3D结构光。
4、3D结构光基本原理学习(识别步骤图解)
2D照片拍出--红外补光灯照亮人脸,拍出2D人脸照片。
点阵投射器投射光点建模--向人脸投射发出3万特定编码的红外光点,经过人脸反射返回红外镜头。
获取人脸景深信息--红外镜头拍回追踪每一个光斑偏移。对比收发两端的不同追踪光点的偏移位置,从而获取物体表面的景深信息,建立3D模型。
信息比对--2D+3D照片比对模型转化成数学表达公式比对数据库存档数据识别人脸信息。
3D结构光技术现状和应用场景
苹果公司:SMI 眼球追踪技术; PRIMESense 3D结构光技术包括器件和实现方案;FACESHIFT 面部捕捉技术,先行垄断了3D人脸核心技术。
OPPO FINDX:3D结构光采用奥比中光,体验和算法采用 FACE++ 旷视。成为安卓阵营首个3D结构光技术接近苹果XS的终端。
华为 MATE20 PRO:自主研发,误识别率不高于百万分之一,军用级别安全可靠,更配合多维度用户使用场景,3D建模等。
因为有3D结构光AI深度算法,使得用户在昏暗环境下仍能快速解锁,识别准确率也更高。
1、 AI点阵模型算法
人工智能学习点阵模型,快速识别最佳结构光Pattern(散斑图案)
2、AI点阵容错算法
人工智能学习相邻点阵分布,提升容错能力,横向解析精度达x毫米,深度解析精度小于1毫米。
3、AI精度自校准算法
人工智能学习测量精度。日常使用过程中自适应校准,实现最佳精度
苹果&华为:
镜头 :FOV 88>FOV 83 镜头所能覆盖的范围,角度越大,镜头所能覆盖的范围越大。
图片分辨率: 122W像素>30万像素 意味着X/Y轴的空间分辨率更高(前提是在散斑投射的数量一致的情况下)
拥有更好的红外摄像头,在同样投射数量的情况下获得了更清晰的更高像素的X/Y轴空间平面分辨率,但是3D建模的景深图像信息即Z轴(竖轴)信息未涉及。而决定Z轴特征取决于散斑点阵。
Z轴的景深信息取决于散斑点阵的作用以及投射器和红外摄像头的距离(距离)。红外激光发射器发射出近红外光,经过人手或人脸的反射之后,被红外图像传感器所接收,这个图像信息用来计算人手所处的位置(Z轴);
上图为华为定制点阵激光模组
定制的点阵模组将椭圆形的红外光垂直变成平行光形成3万+的散斑投射阵。
苹果和华为同样的VCSEL光原理、同样数量的散斑投射数量(3万)。
安全性(精确性):XS结论是百万分之一的误差率。华为MATE20 PRO是首个获得中国泰尔实验室的5星人脸识别安全等级验证。安全性华为更胜一筹。
华为&OPPO
OPPO FINDX 官方的参数说明跟进查看
在点阵数目方面,华为很有优势,从体验响应速度来看,OPPO FINDX的识别人脸速度是0.3秒,加上摄像头模组的升降时间全程为0.7秒左右,可见OPPO主打3D结构光的用户体验。
总结:
在人脸采集方面:MATE20PRO采用和苹果XS一样的采集方式,旋转人脸需要采集面部侧面的信息,FINDX 采取正面采集数据,重点采集人面中间鼻部的数据。
在解锁方式上面:MATE20 PRO可以正面和侧面进行人脸解锁,FINDX则可以正面、侧面和反面均可以人脸解锁。提取人脸信息之前,首先校准人脸解锁方向
在工作过程方面:FINDX点阵投射器一旦启动,红外补光灯就不再运作,也就是说只进行一次交互;MATE20 PRO点阵投射器和红外补光灯会交替多次交互。
在长时间曝光方面:由于FINDX 投射点阵式1.5万个,在某些特殊场景会采取长曝光的方式获取更多景深信息。
苹果作为首款3D结构光技术,打开了新的黑科技篇章,FINDX重在客户体验,即算法方面的优化。MATE20 PRO 重在安全,更注重更多项技术的使用和表现。