【2023】OAK智能深度相机用户实际应用项目(附开源代码)
虽然OAK相机在2020年才开始进入大家的视野,但却在短时间内受到用户的一致喜欢。我们很高兴看到用户拿OAK智能深度相机广泛应用于机器人的slam导航与避障、工程车辆辅助智能驾驶、3D目标识别定位测量、工业农业智能化升级、AIOT、医疗设备、编程竞赛、教学教具等等,解决了数千实际问题。
本篇博客会节选其中不同领域内的几个项目应用,部分开源项目会加上项目地址,给大家参考。
▌工业领域
叉车自动化(附开源代码)
传统叉车做了智能化改造项目将一台OAK-D-PoE相机用作前向的障碍物识别报警和叉车托盘自动定位,另外两台OAK-1-PoE用来做叉车后端的人和障碍物识别,距离测量。以及监控驾驶员的不安全驾驶行为,实时提醒驾驶员的不安全驾驶行为。
集装箱通气孔检测定位
通过OAK的3D人工智能功能,引导机器人自动识别和定位集装箱的通气孔位置,从而检测集装箱内部气体,分析是否含有违禁物品。
流水线零件自动质检
OAK中国为工厂流水线设计的零件缺陷检测系统,和设计边缘计算工业相机。自动检测零件是否合格,并且拍照存档,完全替代人工质检。
煤矿体积测量
通过OAK-D-POE相机的AI功能识别煤矿提斗位置,并且通过OAK双目的深度图生成点云,计算提斗内煤矿的平均高度,从而自动精确的计算煤矿体积。
无人机清洗玻璃
OAK双目深度相机为玻璃清洗无人机提供玻璃墙视觉定位坐标,在无GPS的情况下实现玻璃墙外立面视觉定位。
制造列车和重型机械的自检和安全
用OAK相机检测列车零件磨损程度,并反馈给工作人员,可有效减轻维护人员的检查负担。
▌农业领域
玫瑰花摘采机器人
通过OAK-D双目深度相机识别玫瑰花,判断玫瑰花成熟长度,以及定位玫瑰花的具体位置,从而实现机器人自动摘采玫瑰花。
农用无人机
在无人机上安装OAK相机和病虫害检测人工智能算法,自动检测和定位植物上的病虫害种类、位置、严重程度,为后期的精准农药喷洒提供数据。
电子围栏(附开源代码)
通过OAK的3D人工智能,建立一个牲畜和宠物虚拟电子围栏。实时检测动物活动情况。对擅自出入电子围栏的动物实施报警。
作物产量预估
OAK智能深度相机用于智慧农业,监测作物、评估作物产量,实现精准农业。
智能农业机器人BenchBot(附开源代码)
可识别杂草,点云建图,计算单位作物量。
▌交通驾驶领域
道路损伤自动检测
通过人工智能和空间定位识别道路表面的各种类型的损伤,并且对损伤的面积进行实时测量,记录坐标位置,方便道路养护部门进行精准的维修。
道路分割(附开源代码)
OAK相机上手即用的道路分割示例。
汽车智能驾驶(附开源代码)
OAK可以作为车辆的后装设备,单设备就可以完成原来倒车雷达、行车记录仪、辅助驾驶系统、驾驶员疲劳驾驶检测等功能。
- 可以实现隧道内无GPS信号后的VIO视觉里程计车辆定位。
- 可以识别车辆前方其他车辆,人员,红绿灯,路牌的种类,距离等。
- 可以识别车辆后方的小障碍物如蹲下的人员,三角锥,较少倒车盲区风险。
- 可以对驾驶员身份,驾驶员疲劳驾驶、玩手机,低头,打瞌睡等情况进行识别。
▌编程教育领域
图形化少儿编程(附开源代码)
OAK深度相机除了支持python和C++编程开发,还支持基于图像化拖拽界面,实现深度测量,物体人脸识别,情绪识别,人体骨骼识别,视觉避障,目标识别跟踪等功能,也可以用于乐高等教具的组合搭建。用于人工智能、物联网、少儿图形化或者python编程的教学和比赛等。
Mini Pupper开源四足机械狗(附开源代码)
这个小巧可爱的机械狗曾在Kickstarter上筹集了50多万美元,是一款基于树莓派4的动力机器狗,可安装OAK-D双目系列相机,专为学校、家庭、爱好者和其他方面的机器人教育而设计应用,比如:学生能够通过机器人附带的在线课程学习使用 ROS、SLAM、导航和 OpenCV 计算机视觉。
TurtleBot4
2022年ROS官方推出的新一代TurtleBot 4学习平台,它是一款基于ROS2的移动机器人,建立在iRobot与Open Robotics密切合作的Create 3之上,能够映射其周围环境,自主导航,在其相机上运行AI模型等,主要用于教育和研究。
TurtleBot4 分为2个版本,标准版和简易版,其中标准版搭载OAK-D-Pro相机,简易版搭载OAK-D-Lite相机。
加州大学自动小车
美国加州大学的学生将OAK-D-Lite相机装在他们的小车上,实现路径规划、自动行驶。
FRC中学生机器人对战赛(附开源代码)
▌元宇宙领域
MR混合现实眼镜
基于OAK-D-S2开发的MR眼镜,用于职业教育领域的的培训,如发动机维修,医生手术,公安的虚拟射击训练等。
数字孪生
2021年Spatial AI Contest一等奖项目,用OAK-D-Lite相机实现了数字孪生加ar,ar检测的准确度很高,稳定防抖。
VR激光枪战游戏(附开源代码)
使用Oculus Quest 2和OAK-D制作VR激光标贴游戏。
OAK与Unity结合(附开源代码)
OAK For Unity是Windows、Linux和MacOS(正在支持Android)的原生插件,用于在Unity内启用OAK设备和功能。主要目标是为Unity社区带来OAK设备、CV和边缘AI的力量,以建立下一代空间AI/边缘AI应用。
手势鼠标大屏游戏互动项目(附开源代码)
用OAK-D-S2深度相机实现通过手势动作和大屏幕里的游戏角色进行无接触互动。
▌3D安防领域
非接触式靠近报警装置(附开源代码)
通过深度视觉和AI人工智能的结合,识别人员和接触物体的真实距离。当物理距离过近时,产生报警信号。
摔倒检测(附开源代码)
通过OAK相机的3D人体骨骼检测算法,检测人体的动作。当发现人体摔倒行为后,实现准确的报警功能。
更精确的跌倒摔倒检测,运用语义分割,只有在地板上跌倒才会报警,还可以实时记录追踪跌倒意外事件,还有隐私保护模式。
监控施工安全
OAK-D-PoE相机用于监控施工安全,识别人、安全帽、护目镜等,确保工人戴了防护设备,还可测出与建筑的距离,有效避免车碰撞建筑。
DepthAI集成到道路个人安全警报系统里,百米外可探测信号,允许对快速移动的物体进行危险探测。
▌医疗领域
智能检测婴儿监控
无接触式检测到婴儿呼吸频率、运动活动和情绪状态,用科技呵护婴儿成长!
智能电动轮椅
OAK深度相机作为ADAS传感器,实现避障定位,辅助电动轮椅实现安全驾驶。
无接触式心率估计(附开源代码)
使用OAK-D双目系列相机进行基于视觉的心率估计,准确率与智能手环相当。
穿戴式视觉辅助系统
来自乔治亚大学的研究人员发明了搭载OAK-D人工智能设备的背包,旨在替代视障者的导盲犬和手杖,助其出行更加便利。详细的项目介绍可查看此篇博客>>
▌智慧生活领域
商超服务机器人
OAK相机作为机器人的眼睛,赋予其感知能力,能够实现自动导航避障,自动处理货品,自动抓取摆放货品。
智能家庭机器人ElsaBot
搭载了OAK-D的家庭机器人,可陪孩子玩耍、躲猫猫,教孩子科学知识。
送餐机器人Orange
用OAK相机实现自动路径规划,机器人能通过语音指令将餐食、物品等送到指定地点或指定人手中。
智能家居(附开源代码)
OAK相机用于监测人在家中的具体位置,人在不同的位置,自动开关不同的灯,开关电脑,调整空调风向等。
包装盒体积自动测量(附开源代码)
自动识别和测量包装盒的体积,为运输业提供准确的体积重量数据。自动计算运费。
手势识别
OAK相机的AI手势加速和深度测量。作为智能家居的手势控制传感器。比如:举手开灯,挥手电视换台等。
AI瑜伽私教Sofia
用OAK相机检测出瑜伽姿势,对动作的标准度进行分析。
高科技智能魔镜
用OAK做的高科技智能魔镜,语音一键唤醒开机,还可语音控制显示内容,充满未来科技感!
自动除草机器人(附开源代码)
OAK相机安装在除草机器人上,利用语义分割,向机器人传达“刀片开启”“刀片关闭”指令。