火遍国外的OpenCV人工智能套件OAK到底值不值?
“如果你很关注计算机视觉,那你很可能被OpenCV的OAK相机刷屏了,不过这个产品到底值不值得买?”
— Vardan Agarwal, CV领域创客/学生
OpenCV已逐渐成为最好的计算机视觉库之一,从OpenCV 3.3的发行版中添加了DNN模块开始,现在它的大部分更新都是关于复杂模块的,比如最近在OpenCV 4.4中添加了YOLOv 4和EfficientDet模块。现在,随着OAK-1和OAK-D这两个硬件的诞生,它在业界引起了一股讨论热潮。OAK-1与OAK-D的区别是,OAK-1只有一个RGB摄像头。OAK-D有一对深度摄像头和一个RGB摄像头。
我写的这篇文章是从学生的角度看,仅仅为了表达我的看法。你很可能有相反的观点,可以在评论中告诉我。那么它值得购买吗?为了找到答案,让我们首先回顾一下这个设备和它所提供的功能。
性能
OAK是由OpenCV和Luxonis共同打造的产品,它还配备了具有人工智能功能的Myriad-X芯片,可以执行计算机视觉应用程序。它是完全开源的MIT许可的硬件。OpenVINO支持的所有操作系统,OAK都支持,因此它支持Windows、Linux和Mac OS。OAK附带一个与Python和OpenCV兼容的API。AI处理是在硬件本身上完成的,这意味着它不给正在连接的主机增加任何额外的负载,也不需要任何基于云的服务。这也可确保数据安全,因为它是在本地处理的。
Kickstarter的众筹页面提到,OAK可以用来检测和跟踪对象,进行语义分割,在30 FPS上播放4K视频,还可以支持自定义神经网络。使用OAK-D工具包,可以实时将深度与人工智能结合起来,人工智能被看作是一种欺骗代码,以提高结果。他们声称,OAK只需要30秒即可开机使用,功能如下所示:
Kickstarter页面上罗列的完整功能列表:
- 神经推理-目标检测、图像分类、语义分割等。
- warp/dewarp-支持更换鱼眼镜头。
- 对象跟踪-多达20个具有唯一ID的对象。
- AprilTags-结构导航(Apriltag是一个视觉基准系统,用于各种任务,包括AR、机器人技术和摄像机校准)
- H.264和H.265编码(HEVC,1080p和4K视频)-3.125 MB/s的4K视频和树莓派Zero可以记录4K/30 FPS视频!
- 特征跟踪、VSLAM导航。
- JPEG编码-1200万像素图像。
- 运动估计-允许实时去除背景
- MJPEG编码-硬件网络视频推流等等。
- 边缘检测-哈里斯滤波。
OAK-1特性:
基于自动运动的无损缩放:
- 12倍无损变焦,输出720p
- 6x无损耗变焦,输出1080p
- 1.5x无损耗变焦,输出4K
OAK-D特性:
- 立体深度(包括中值滤波)-更宽动态的扩展深度视差和超像素深度测量。
- 3D目标定位-可定位小目标物,立体神经推理。
- 3D目标跟踪-实时三维轨迹,并支持以米为单位的运动统计。
OAK RGB摄像头规格:
图像传感器:IMX 378
最大帧数:60 fps
H.265帧率:30 fps
分辨率:12 MP(4056×3040像素)
视场角:81 DFOV°-68.8 HFOV°
镜头尺寸:1/2.3英寸
自动对焦:8cm-∞
光圈:2.0
OAK 深度摄像头规格:
同步全球快门
图像传感器:OV9282
最大帧数:120 fps
像素大小:3um x 3um
分辨率:1280 x 800像素
视场 角 :81 DFOV°-71.8 HFOV°
镜头尺寸:1/2.3英寸
聚焦(固定):19.6cm-∞
光圈 :2.2
他们能够在众筹开始后的20分钟内达到他们的目标!在编写本文时,已在18天内筹集了544,058美元。因此,即使Kickstarter众筹快结束了,支持者也会得到一门免费的课程,教他们如何使用这些设备。与此同时,OAK-D设备将配备IMU传感器,通过使用加速度计、陀螺仪和磁强计来测量和报告方位、速度和引力。
所以,直到现在我才谈到OAK的基本功能,在这些基础上,我觉得围绕这些模块的热烈讨论是完全有道理的。学生们可能会觉得,OAK-1和OAK-D的价格是100美元和150美元,但这个价格现在是50%的折扣,当Kickstarter众筹在2020年8月13日结束后,价格将翻倍。此外,市场上也没有其他像这样的硬件模块可用,从零开始搭建组装不同模块,费时耗力不说,成本也更高。正如Brandon与PyImageSearch访谈中所言,将会有更多关于OAK的使用教程和文章,所以不用担心上手困难。
这些由3D人工智能驱动的工具包能让学生和研究人员落地真实的项目,而不是只在数据库和测试精度上纸上谈兵,却从未看到它实际运行工作起来是怎样的。OAK相机提供了一个在生产环境中测试模型的途径,而不需要任何其他外部硬件。
因此,总之,我觉得对任何一个有抱负的计算机视觉学生来说,OAK绝对是值得的。它的前景无限,并很有可能成为计算机视觉领域的树莓派。