中国 · 南京 · 栖霞区紫东路2号紫东国际创意园B3-2幢5F
+86-18994094214 (仅工作日:8:30~17:30)
contact@oakchina.cn

【2023】OAK智能深度相机用户实际应用项目(附开源代码)

【2023】OAK智能深度相机用户实际应用项目(附开源代码)

虽然OAK相机在2020年才开始进入大家的视野,但却在短时间内受到用户的一致喜欢。我们很高兴看到用户拿OAK智能深度相机广泛应用于机器人的slam导航与避障、工程车辆辅助智能驾驶、3D目标识别定位测量、工业农业智能化升级、AIOT、医疗设备、编程竞赛、教学教具等等,解决了数千实际问题。

本篇博客会节选其中不同领域内的几个项目应用,部分开源项目会加上项目地址,给大家参考。

▌工业领域

叉车自动化(附开源代码)

传统叉车做了智能化改造项目将一台OAK-D-PoE相机用作前向的障碍物识别报警和叉车托盘自动定位,另外两台OAK-1-PoE用来做叉车后端的人和障碍物识别,距离测量。以及监控驾驶员的不安全驾驶行为,实时提醒驾驶员的不安全驾驶行为。

此项目中用的OAK-1-PoEOAK-D-PoE

集装箱通气孔检测定位

通过OAK的3D人工智能功能,引导机器人自动识别和定位集装箱的通气孔位置,从而检测集装箱内部气体,分析是否含有违禁物品。

流水线零件自动质检

OAK中国为工厂流水线设计的零件缺陷检测系统,和设计边缘计算工业相机。自动检测零件是否合格,并且拍照存档,完全替代人工质检。

煤矿体积测量

通过OAK-D-POE相机的AI功能识别煤矿提斗位置,并且通过OAK双目的深度图生成点云,计算提斗内煤矿的平均高度,从而自动精确的计算煤矿体积。

无人机清洗玻璃

OAK双目深度相机为玻璃清洗无人机提供玻璃墙视觉定位坐标,在无GPS的情况下实现玻璃墙外立面视觉定位。

制造列车和重型机械的自检和安全

用OAK相机检测列车零件磨损程度,并反馈给工作人员,可有效减轻维护人员的检查负担。

▌农业领域

玫瑰花摘采机器人

通过OAK-D双目深度相机识别玫瑰花,判断玫瑰花成熟长度,以及定位玫瑰花的具体位置,从而实现机器人自动摘采玫瑰花。

农用无人机

在无人机上安装OAK相机和病虫害检测人工智能算法,自动检测和定位植物上的病虫害种类、位置、严重程度,为后期的精准农药喷洒提供数据。

电子围栏(附开源代码)

通过OAK的3D人工智能,建立一个牲畜和宠物虚拟电子围栏。实时检测动物活动情况。对擅自出入电子围栏的动物实施报警。

作物产量预估

OAK智能深度相机用于智慧农业,监测作物、评估作物产量,实现精准农业。

智能农业机器人BenchBot(附开源代码)

可识别杂草,点云建图,计算单位作物量。

▌交通驾驶领域

道路损伤自动检测

通过人工智能和空间定位识别道路表面的各种类型的损伤,并且对损伤的面积进行实时测量,记录坐标位置,方便道路养护部门进行精准的维修。

道路分割(附开源代码)

OAK相机上手即用的道路分割示例。

汽车智能驾驶(附开源代码)

OAK可以作为车辆的后装设备,单设备就可以完成原来倒车雷达、行车记录仪、辅助驾驶系统、驾驶员疲劳驾驶检测等功能。

  • 可以实现隧道内无GPS信号后的VIO视觉里程计车辆定位。
  • 可以识别车辆前方其他车辆,人员,红绿灯,路牌的种类,距离等。
  • 可以识别车辆后方的小障碍物如蹲下的人员,三角锥,较少倒车盲区风险。
  • 可以对驾驶员身份,驾驶员疲劳驾驶、玩手机,低头,打瞌睡等情况进行识别。

▌编程教育领域

图形化少儿编程(附开源代码)

OAK深度相机除了支持python和C++编程开发,还支持基于图像化拖拽界面,实现深度测量,物体人脸识别,情绪识别,人体骨骼识别,视觉避障,目标识别跟踪等功能,也可以用于乐高等教具的组合搭建。用于人工智能、物联网、少儿图形化或者python编程的教学和比赛等。

Mini Pupper开源四足机械狗(附开源代码)

这个小巧可爱的机械狗曾在Kickstarter上筹集了50多万美元,是一款基于树莓派4的动力机器狗,可安装OAK-D双目系列相机,专为学校、家庭、爱好者和其他方面的机器人教育而设计应用,比如:学生能够通过机器人附带的在线课程学习使用 ROS、SLAM、导航和 OpenCV 计算机视觉。

TurtleBot4

2022年ROS官方推出的新一代TurtleBot 4学习平台,它是一款基于ROS2的移动机器人,建立在iRobot与Open Robotics密切合作的Create 3之上,能够映射其周围环境,自主导航,在其相机上运行AI模型等,主要用于教育和研究。

TurtleBot4 分为2个版本,标准版和简易版,其中标准版搭载OAK-D-Pro相机,简易版搭载OAK-D-Lite相机。

加州大学自动小车

美国加州大学的学生将OAK-D-Lite相机装在他们的小车上,实现路径规划、自动行驶。

FRC中学生机器人对战赛(附开源代码)

▌元宇宙领域

MR混合现实眼镜

基于OAK-D-S2开发的MR眼镜,用于职业教育领域的的培训,如发动机维修,医生手术,公安的虚拟射击训练等。

数字孪生

2021年Spatial AI Contest一等奖项目,用OAK-D-Lite相机实现了数字孪生加ar,ar检测的准确度很高,稳定防抖。

VR激光枪战游戏(附开源代码)

使用Oculus Quest 2和OAK-D制作VR激光标贴游戏。

OAK与Unity结合(附开源代码)

OAK For Unity是Windows、Linux和MacOS(正在支持Android)的原生插件,用于在Unity内启用OAK设备和功能。主要目标是为Unity社区带来OAK设备、CV和边缘AI的力量,以建立下一代空间AI/边缘AI应用。

手势鼠标大屏游戏互动项目(附开源代码)

OAK-D-S2深度相机实现通过手势动作和大屏幕里的游戏角色进行无接触互动。

▌3D安防领域

非接触式靠近报警装置(附开源代码)

通过深度视觉和AI人工智能的结合,识别人员和接触物体的真实距离。当物理距离过近时,产生报警信号。

摔倒检测(附开源代码)

通过OAK相机的3D人体骨骼检测算法,检测人体的动作。当发现人体摔倒行为后,实现准确的报警功能。

更精确的跌倒摔倒检测,运用语义分割,只有在地板上跌倒才会报警,还可以实时记录追踪跌倒意外事件,还有隐私保护模式。

监控施工安全

OAK-D-PoE相机用于监控施工安全,识别人、安全帽、护目镜等,确保工人戴了防护设备,还可测出与建筑的距离,有效避免车碰撞建筑。

DepthAI集成到道路个人安全警报系统里,百米外可探测信号,允许对快速移动的物体进行危险探测。

▌医疗领域

智能检测婴儿监控

无接触式检测到婴儿呼吸频率、运动活动和情绪状态,用科技呵护婴儿成长!

智能电动轮椅

OAK深度相机作为ADAS传感器,实现避障定位,辅助电动轮椅实现安全驾驶。

无接触式心率估计(附开源代码)

使用OAK-D双目系列相机进行基于视觉的心率估计,准确率与智能手环相当。

穿戴式视觉辅助系统

来自乔治亚大学的研究人员发明了搭载OAK-D人工智能设备的背包,旨在替代视障者的导盲犬和手杖,助其出行更加便利。详细的项目介绍可查看此篇博客>>

▌智慧生活领域

商超服务机器人

OAK相机作为机器人的眼睛,赋予其感知能力,能够实现自动导航避障,自动处理货品,自动抓取摆放货品。

智能家庭机器人ElsaBot

搭载了OAK-D的家庭机器人,可陪孩子玩耍、躲猫猫,教孩子科学知识。

送餐机器人Orange

用OAK相机实现自动路径规划,机器人能通过语音指令将餐食、物品等送到指定地点或指定人手中。

智能家居(附开源代码)

OAK相机用于监测人在家中的具体位置,人在不同的位置,自动开关不同的灯,开关电脑,调整空调风向等。

包装盒体积自动测量(附开源代码)

自动识别和测量包装盒的体积,为运输业提供准确的体积重量数据。自动计算运费。

手势识别

OAK相机的AI手势加速和深度测量。作为智能家居的手势控制传感器。比如:举手开灯,挥手电视换台等。

AI瑜伽私教Sofia

用OAK相机检测出瑜伽姿势,对动作的标准度进行分析。

高科技智能魔镜

用OAK做的高科技智能魔镜,语音一键唤醒开机,还可语音控制显示内容,充满未来科技感!

自动除草机器人(附开源代码)

OAK相机安装在除草机器人上,利用语义分割,向机器人传达“刀片开启”“刀片关闭”指令。

索引