OAK 3D人工智能相机和RealSense系列相机的对比
来源:luxonis.com 编辑:OAK中国 |
和RealSense的深度相机相比,DepthAI平台给OAK相机增加了大量的可在设备端运行的功能(自定义AI模型、追踪、设备端用户逻辑编程、H.265编码等),并且OAK相机能用于嵌入式应用场景。而RealSense也正在逐渐减少产能,相机已经缺货,更多信息见下文。
▌RealSense的可用性及EOL(End-of-Life)
2021年8月,英特尔宣布正在逐步关闭他们的RealSense相机业务(CRN报道,The Verge报道)。从那时起,RealSense相机也几乎到处断货。相比之下,所有的OAK相机都有库存,我们从来没有计划淘汰任何设备,更多信息在这里。
▌深度对比
我们自己还没有做任何(定量)测试,但第三方(客户)将他们的OAK 3D人工智能相机评估结果发送给我们,将OAK-D-Pro与RealSense D435i进行了比较。
被测物体照片,桌面和墙都是缺少纹理的表面。
▌OAK 3D人工智能相机的开源化和可定制化
OAK 3D人工智能相机是基于软硬件系统开源、产品可定制化的想法从头开始构建的。我们所有基于OAK SoM(OAK核心计算单元)的产品都是开源的,所以你可以很容易地重新设计自己的电路板和产品形态(参见将OAK集成到产品中);我们还提供了大量的不同性能参数的相机模组,也可以订制不同的相机模组的连接排线和接口,例如增加深度相机基线距离或使用不同角度,光学滤光片(红外、紫外、单光谱)的图像传感器(我们支持一堆不同的传感器)。
OAK FFC系列 3个、4个或者6个相机组合非常适合你的产品原型设计,因为它允许用户使用不同的相机传感器/光学,并将他们放置在一个理想的深度计算的基线距离,测量和识别不同量程的物体。
请参见关于基于相机内部信息/基线距离的最大深度感知计算的立体深度文档。
On-Device Capabilities | OAK-D Pro | OAK-D | OAK-D-Lite | L515 | D415 | D430-D435 | D450-D455 | F455 | F450 | T261-T265 |
自定义AI模型 | √ | √ | √ | × | × | × | × | × | × | × |
目标检测 | √ | √ | √ | × | × | × | × | × | × | × |
目标跟踪 | √ | √ | √ | × | × | × | × | × | × | × |
设备上的脚本编程 | √ | √ | √ | × | × | × | × | × | × | × |
视频/图像编码 | √ | √ | √ | × | × | × | × | × | × | × |
图像处理 | √ | √ | √ | × | × | × | × | × | × | × |
骨骼/手跟踪 | √ | √ | √ | × | √ | √ | √ | × | × | × |
3D语义分割 | √ | √ | √ | × | × | × | × | × | × | × |
3D物体姿态估计 | √ | √ | √ | × | × | × | × | × | × | × |
3D边缘检测 | √ | √ | √ | × | × | × | × | × | × | × |
特征点跟踪 | √ | √ | √ | × | × | × | × | × | × | √ |
3D特征跟踪 | √ | √ | √ | × | × | × | × | × | × | × |
OCR 文字识别 | √ | √ | √ | × | × | × | × | × | × | × |
人脸识别 | √ | √ | √ | × | × | × | × | √ | √ | × |
基准标记定位 | √ | √ | √ | × | × | × | × | × | × | × |
神经网络深度计算 | WIP | WIP | WIP | – | × | × | × | × | × | × |
VIO视觉里程计 | WIP | WIP | WIP | × | × | × | × | × | × | √ |
WIP:work in process正在进行。
功能描述
自定义AI模型-你可以在设备上运行任何AI/NN模型(s),几乎所有的神经网络都支持。你也可以从 Open Model Zoo 和DepthAI Model Zoo中选择200个+预训练的神经网络模型。
目标检测-最流行的目标检测算法可以运行在我们的设备上。OAK支持基于Yolo和MobileNet的设备端解析。
目标跟踪–对象跟踪器节点有4种跟踪器类型,它还支持在三维空间中对对象进行跟踪。
设备上的脚本编程-脚本节点允许用户运行将在设备上运行的自定义Python 3.9脚本,用于自定义用户的业务逻辑。
视频/图像编码–视频编码器节点允许MJPEG,H265,或H264格式编码。
图像处理– ImageManip节点允许用户调整大小、裁剪、翻转和缩略图图像帧和进行类型转换(YUV420、NV12、RGB等)
骨骼/手跟踪–检测和跟踪手或人的姿势的关键点。Geaxgx的演示:Hand tracker, Blazepose, Movenet。
3D语义分割–用语义标记的像素来感知世界。DeeplabV3演示。
3D物体姿态估计–MediaPipe的项目已被转换为在OAK相机上运行。
3D边缘检测–边缘检测器节点使用Sobel滤波器来检测边缘。使用深度信息,您可以获得这些边的物理位置。
特征点跟踪–功能跟踪器节点可检测和跟踪关键点(功能)。
3D特征跟踪–通过深度信息,您可以在物理空间中跟踪这些特征点。
OCR –文字识别。
人脸识别-这里的演示,它同时运行设备上的人脸检测、对齐和人脸识别(3种不同的神经网络模型)。
基准标记定位–Apriltags探测器目前工作在~20FPS。
神经网络深度计算-工作正在进行中。
VIO视觉里程计-正在进行,机器人视觉核心3,OAK S3系列相机。
▌相机参数对比
Specification | OAK-D Pro / -W | OAK-D / -W | OAK-D-Lite | L515 | D415 | D430-D435 | D450-D455 | F455 | F450 | T261-T265 |
RGB | IMX378 | IMX378/OV9782 | IMX214 | OV2740 | OV2740 | OV2740 | OV9782 | N/A | N/A | – |
RGB HFOV | 69 / 109 | 69 / 109 | 73.6 | 70 | 69 | 69 | 90 | N/A | N/A | N/A |
RGB Shutter | Rolling / Global | Rolling | Rolling | Rolling | Rolling | Rolling | Global | N/A | N/A | N/A |
RGB resolution | 12MP | 12MP | 13MP | 2MP | 2MP | 2MP | 1MP | N/A | N/A | N/A |
Depth Type | Active Stereo | Passive Stereo | Passive Stereo | Laser | Active Stereo | Active Stereo | Active Stereo | Active Stereo | Active Stereo | N/A |
Depth sensor | OV9282 | OV9282 | OV7251 | – | OV2740 | OV9282 | OV9782 | – | – | – |
Stereo Shutter | Global | Global | Global | Rolling | Global | Global | Global | |||
Depth HFOV | 72 / 127 | 72 / 127 | 72 | N/A | 70 | 87 | 87 | 56 | 56 | 173 |
Min Depth | 20 cm | 20 cm | 20 cm | 25 cm | 45 cm | 28 cm | 52 cm | 30 cm | 30 cm | N/A |
Depth resolution | 1280×800 | 1280×800 | 640×480 | N/A | 1024×768 | 1280×720 | 1280×720 | 848×800 | ||
IR LED | √ | × | × | × | × | × | × | √ | √ | √ |
ToF/Laser | × | × | × | √ | × | × | × | × | × | × |
IMU | √ | √ | × | √ | × | √/× | √ | × | × | √ |
▌嵌入式用户案例
与RealSense不同,我们的平台支持从flash(独立模式)启动,并具有双向SPI通信(SPIOut、SPIIn节点)。独立/边缘模式意味着你可以将你的应用程序保存和运行在设备上,这意味着你不需要将设备连接到主机(RPi/PC/笔记本电脑…)。 这允许用户构建小型、低功率的嵌入式设备,并集成OAK SoM,以空间人工智能的能力升级他们的产品。