中国 · 南京 · 栖霞区紫东路2号紫东国际创意园B3-2幢5F
+86-18994094214 (仅工作日:8:30~17:30)
contact@oakchina.cn

OAK D Series + 因子空间感知Factor Perception SDK 套装

OAK D Series + 因子空间感知Factor Perception SDK 套装

OAK-D系列 + Factor Perception SDK 套装

套装包含:

  1. 1* OAK-D系列边缘AI 深度相机
  2. 1* Factor Perception(因子空间感知)SDK Kit
  3. 1* 绑定OAK-D系列边缘AI深度相机ID的SDK License和对应使用手册
  4. 1* 1 Year 硬件质保与有条件的(conditional)技术服务
Categories: ,

Description

OAK-D系列 + Factor Perception SDK License 套装

套装包含:

  1. 1* OAK-D系列边缘AI 深度相机
  2. 1* 因子空间感知SDK压缩包
  3. 1* 绑定OAK-D系列边缘AI深度相机硬件ID的License和对应匹配教程
  4. 1* 1 年期硬件质保与有条件的(conditional)技术服务

因子空间感知SDK简介

简介

因子空间感知(Factor Perception) SDK是一个真正基于深度学习技术的VSLAM方案。不同于市面许多厂商仅通过添加目标检测或语义分割模型,来实现额外功能。我们在底层使用HF-Net模型,该模型同时进行局本特征点检测与描述和全局描述(即图像嵌入技术)。该模型输出的数据服务于SLAM的前端和后端,从而实现基于深度学习的特征点检测与追踪,前端的VIO可以更精确地工作,后端则利用全局描述进行视觉地点识别(VPR),即使在超大场景中也能实现快速回环检测和重定位问题。

因子空间感知(Factor Perception)提供了目前最先进的基于深度学习的VSLAM解决方案,同时也非常容易使用。使用OAK-D Series边缘AI深度相机,即可体验即插即用的VSLAM,或只需几步简单配置,即可将其集成到各类移动机器人中。

技术原理

因子空间感知(Factor Perception)包含闭源的Factor-VIO前端以及开源的RTAB-Map后端,可提供大场景下的厘米级定位精度以及高达200 Hz的定位输出,这是一个真正使用AI 辅助的VLSAM系统,前后端不再直接使用原始图像,而是边缘神经网络处理过的数据,因此系统鲁棒性极强,几乎没有范围和场景限制。

此外,因子空间感知(Factor Perception)还整合了混合SLAM,内存管理,增量式平滑与地图构建(iSAM)等前沿技术,可应对各种长期和短期的环境变化,无需人工位置初始化,可实现多机器人SLAM和自动地图合并。

功耗说明

核心功能对硬件的资源占用极少,仅需树莓派级别的微型主控即可实现运行。因此,我们整套解决方案不再采用额外的算力平台,而采用OAK-D Series 边缘AI深度相机,尽管使用AI辅助,但无需GPU,神经网络推理和预算均在相机内部实现,整机功耗不超过5W。

兼容性

Factor Perception严格遵循ROS规范,可无缝替换GMapping,Cartographer,AMCL等其它SLAM或定位框架,并与ROS导航栈紧密整合,可提供2D地图(OccupancyGrid),2.5D地图(GridMap),3D地图(OctoMap)以满足不同机器人的应用需要。凭借RTAB-Map后端的高度开放性,用户亦可轻松融合激光雷达,GPS,二维码等其他数据源,实现三维重建等其他功能。

Factor Perception Kit 软件架构

Factor Perception Kit硬件包括OAK-D系列相机,软件包含Factor Perception SDK

OAK-D相机输出20 FPS的图像数据及200 Hz9IMU数据。相机内置神经网络加速芯片,可让HF-Net达到20 Hz的推理性能。

Factor-VIO使用HF-Net输出的局部特征与9IMU数据,实现高精度和高鲁棒性的视觉惯导里程计。系统还能够生成不同维度的地图,包括2D Map2.5D Map3D Map,以适应不同的应用需求。此外,系统还涉及多种坐标转换,以确保数据的一致性和准确性。

Factor Perception Kit通过结合深度学习的视觉和惯性测量单元(IMU)数据,利用Factor-VIORTAB-Map技术,实现了高效的,高精度,高环境适应性,高鲁棒性的SLAM(同步定位与地图构建)功能。并且所有的深度学习加速功能在OAK系列相机内置的VPU中完成,无需带强大GPU算力的主控制器。

Factor Perception Kit功能性能

功能详解:

Factor Perception Kit是一套基于深度学习的VIOSLAM功能套件,适用于室内、室外、城市、野外,还是夜间或完全黑暗环境,均能稳定避障、定位和建图。

定位:根据传感器安装位置配置,自动输出机器人本体坐标系的6自由度位姿和速度,简化集成过程。

建图:提供2D2.5D3D地图,满足不同导航和避障需求,如AGV/AMR2D地图,无人机的3D地图,以及人形机器人和机器狗的2.5D地图。

集成:遵循ROS规范,与GMappingCartographer等开源SLAM框架兼容,使用AMCL框架的客户可轻松切换至Factor Perception Kit

前端闭源后端开源:前端与OAK相机深度整合,后端RTAB-Map开源,提供灵活性,用户可根据自己的应用需求进行定制。

性能详解:

毫米级别定位精度:利用深度学习技术,实现快速准确的回环检测和重定位,短期内精度可达毫米级。

厘米级建图精度:系统精度基本在厘米以内,通过多次建图优化和在线建图后离线优化可进一步提升到毫米级别精度。

高帧率定位数据:提供200Hz的高帧率输出,涵盖机器人本体坐标系的位置、姿态、线速度、角速度及其协方差,满足高速自动驾驶、AR/VR等应用需求。

高鲁棒性:基于深度学习的VIO方案具有天然高鲁棒性,能容忍短10秒内剧烈晃动和相机完全遮挡,对动态目标影响小。

无限制建图范围:硬盘空间足够,即可构建任意大小的地图,后端内存管理技术支持超大场景。

地图缩减技术:在大场景测试中,通过地图缩减技术,确保系统性能不受影响。

Factor Perception Kit产品优势:

简单易用:仅需OAK相机与Ubuntu/ROS主控,USBPoE连接,一键安装,无需繁琐配置,享受即插即用的便捷。

快速上手:无需相机标定,直接解析出厂数据,实现多相机无缝切换,简化VSLAM部署。

无缝集成:遵循ROS规范,与GMappingCartographer等框架无缝对接,轻松切换,降低开发成本。

智能转换:自动处理坐标转换,支持动态相机安装,如机械臂,提供灵活的位姿和速度输出。

精准可靠:厘米级精度,适应多种环境,包括全黑条件,展现卓越鲁棒性。

广泛适用:无限制建图范围,支持室内外、城市、野外等场景,满足多样化需求。

丰富数据:提供200Hz高帧率定位数据,多种地图类型,避障数据,支持离线三维重建。

高级特性:隐私保护模式,Life-Long SLAM与分布式SLAM,单机多开,前端闭源后端开源,灵活配置,满足个性化需求。

夜间增强视觉下的应用解决方案

高速运动下的VSLAM应用解决方案

VSLAM算法模拟激光雷达建图应用解决方案

高速抖动场景应用解决方案

技术框架

相机硬件参数

镜头参数

参数 RGB相机 双目相机
图像传感器(Sensor) IMX378 OV9282
DFOV / HFOV / VFOV 120°D /95°H / 93°V 150° D/ 127° H/79.5°V
分辨率 12MP (4032×3040) 1MP (1280×800)
最大帧率 60 FPS 120 FPS
焦距(EFL) 2.75mm 1.69mm
光圈(F.NO) 2.8 ±5% 2.0 ±5%
对焦范围 FF:60cm – ∞ FF:18cm – ∞
镜头尺寸 1/2.3” 1/4”
像素大小 1.55µm x 1.55µm 3µm x3µm
快门 卷帘快门 全局快门

发射器规格(仅OAK-D-Pro-W款)

发射器 规格
发射器型号 Belago1.1 Dot-Pattern
点阵数 4700
HFOI* 50% 78° ± 7%
VFOI* 50% 61° ± 7%
VSCEL 波长 940nm
PDF 查看

产品特点

  • 双目+结构光测距,精度更高
  • 150°广角,视野更宽
  • 与OAK-D用的是一样高像素RGB镜头(IMX378)
  • 2个全局快门镜头OV9282(带有IR)
  • IR LED
  • 红外镭射激光
  • 主动立体深度(无光深度)
  • 主动照明(带IR,无光计算机视觉)
  • 体积更加小巧,重量更轻
  • BNO086 IMU或BMI270 IMU

深度感知

  • 双目深度传感器基线:7.5厘米(即左右相机之间的距离)。最小和最大的深度感知取决于相机的FOV、分辨率和基线,更多信息请查看这里
  • 推荐测距范围:0.4~6m。最小深度:~20cm400P800P,扩展),~37cm800P)。

其他参数

  • 接口:USB2.0/3.0
  • 功耗:3W~3.5W
  • 尺寸:97×29.5×23.1mm
  • 重量:91g
  • 工作温度:-20度~60度 (RVC2:-25°C ~ 105°C)
  • IMU:BNO086(介绍查看参数)或BMI270(查看参数

激光安全

本产品在国际上被列为 EN/IEC 60825-1 第 3 版 (2014) 规定的 1 类激光产品。

  • 如果观察到任何外部损坏,请勿打开产品电源。
  • 请勿尝试打开本激光产品的任何部分。
  • 打开时会有不可见的激光辐射。避免直接暴露在光束上。
  • 此激光产品没有用户可维修的部件。
  • 立体声模块(特别是红外投影仪)的修改或维修可能会导致发射超过1级。
  • 不允许使用放大光学元件,如放大镜和放大镜。
  • 请勿尝试更新未针对特定相机模块和修订版正式发布的相机固件。

技术支持

售前产品咨询

  • 电话:18994094214
  • 微信:点击扫码 加好友(备注“OAK咨询”)

售后技术支持

  • 微信:点击扫码 加好友(备注“OAK Factor Perception”)

文档下载

网盘下载:因子空间感知SDK标准版

索引