机械狗还会给植物浇水？搭载OAK相机让机械狗拥有识别视觉的能力！
Hello，大家好，这里是OAK中国，我是Ashely。
专注科技，专注分享。
今日和大家聊一聊仿生四足机器人，也就是我们平时说的四足机械狗，这也是我们一部分朋友们在关注和应用的领域。
▌怎么大厂都来造机械狗了？
在去年的世界机器人大会上（也就是2023年），有三只狗吸引了不少目光：CyberDog2、追觅DreameDog和兵器装备集团的“四足仿生机器人”。
CyberDog2更是作为雷军2023年度演讲上压轴出场，一时风头无两。1万多的售价，相比于快赶上一辆车售价的波士顿动力来说，可以说是非常有性价比了。
而这一赛道除了小米，国内还有不少企业也在加速布局。比如腾讯Robotics X实验室、云深处、宇树、追觅、蔚蓝等等。
多家企业的加入，大概可以窥探到这一赛道的价值。
四足机械狗作为一种仿生机器人，具有灵活的移动能力和稳定性，可以在各种复杂环境中执行任务。
比如用在灾难现成进行探索和救援，用狗代替人进入到危险区域，搜索幸存者或检测潜在的危险物品，帮助救援人员进行决策和行动。
再比如用在农业领域，机械狗可以用于巡视农田、监测植物生长情况、施肥、喷洒农药或收集农作物等。这有助于提高农业生产效率和减轻劳动负担。
而本期分享的这个用户应用，便是与农业领域相关。
只不过这只狗有点mini。
▌FREISA：麻雀虽小五脏俱全
FREISA 是 Four-legged Robot Ensure Intelligent Sprinkler Automation 的首字母缩写，是 B-AROL-O 团队的心血结晶。
这个团队曾参加了2022年的OpenCV Spatial AI大赛，用OAK-D-Lite相机、树莓派4B、乐高机械零件等组建了名为 ARNEIS 的包装机。
顺便说一句，ARNEIS这个项目也是开源的，感兴趣的朋友可以在这里查看【45】号项目。
不过FREISA这个项目不是从头开始创建机器狗的，而是基于支持ROS和树莓派的开源 Mini Pupper 2。
谈起项目的起源，其中一位团队成员 Gianluca Teti 说：“正如我们团队名称所暗示的那样，我们对葡萄园的熟悉激发了我们开发一种自动浇水系统，旨在协助农场。”这个想法是使用计算机视觉来浇灌植物，并提出一种能够执行这项工作的设备。
这个团队在开始设想技术方案时，首先便排除了在轮子和轨道上运行的机器人的可能性，因为这种方式会让机器人在崎岖不平的地面上有较弱的躲避障碍的能力。他们还短暂地考虑过四轴飞行器，但认为它的电池和有效载荷会很差。之所以选择四足平台，是因为它能够驾驭复杂的地形。
“我们与团队发起了一次头脑风暴会议，以评估我们为该项目提供的硬件选项，”Gianluca 补充道，“我们的团队成员之一 Orso Eric 拥有一台 Mini Pupper 2。因此，我们全员同意在我们的项目中使用该特定模型。”
▌为何决定通过视觉来实现项目功能？
Mini Pupper 2 是一个开源机器人套件，在众筹活动的支持下诞生。四足机器人支持Raspberry Pi，该团队计划用它来处理FREISA的导航。为了确保它适合作为机器人植物浇水器，连接了具有3D人工智能性能的OAK-D-Lite 相机。
谈起选择这款深度相机的原因，该团队表示OAK-D-Lite相机可以在专用硬件上运行计算机视觉管道，这将减轻树莓派资源的负担。
为了确保该项目真正适合其预期目的，该团队进行了一些研究。“我们采访了几位经验丰富的农民和园丁，”Gianluca说，“他们的见解表明，目视检查植物可以对其状况进行可靠的评估。”
考虑到这一点，该团队开始工作，训练两个神经网络来判别哪些植物需要浇水，哪些不需要。在这一点上，他们已经放弃了分析葡萄树的想法，因为他们注意到叶子会长得太高，机器人看不到它们，而且葡萄园的地形太不平坦。相反，他们决定将精力集中在一个种满番茄植物的家庭花园上。
“目的是通过分析植物的叶子和茎的状态来评估植物的状况，”Gianluca解释说，“我们的方法从收集大量图像开始，然后训练各种网络和模型。我们的基础设施由一台台式计算机组成，配备 AMD Ryzen 2600X CPU、48 GB RAM 和 NVidia GTX 1660 Super GPU，运行 Ubuntu 23.04，可通过 JupyterLab 容器远程访问。
▌验证成功
目前，该团队认为使用视觉效果就足够了，尽管还有进一步提高准确性的余地。“将其他传感器（例如测量湿度、温度等的传感器）集成到 FREISA 项目的框架中可能是有益的，”Gianluca 说，“FREISA项目的架构具有足够的适应性，可以很容易地容纳这些传感器作为补充·。”
好消息是，该项目利用了Docker（一个允许开发人员快速构建、测试和部署应用程序的软件平台）和OpenCV，并且已经有效。该机器人在骨盆位置有一个洒水器，上面有储水器，它能够自由移动以便给植物浇水。
“我们的机器人在识别目标植物、导航到目标植物和检查其叶子方面表现出良好的能力，然后精确调整其位置以有效地给植物浇水，”Gianluca 解释说。
FREISA在2023年的OpenCV AI竞赛中获得了大奖。尽管如此，该团队不会满足于现状。它已经确定了潜在的改进，例如使用OAK-D-Lite立体深度相机来估计目标的距离。
▌一个小补充
虽然没找到FREISA这个项目的演示效果视频，不过我们也有用户做这种类似的项目。
只不过上面的视频，用的是第一代产品OAK-D相机。
如果大家现在想做这个方向的应用，其实可以用更新的产品，如二代升级款OAK-D-S2、还有防水款的OAK-D-S2-PoE、广角款的OAK-D-W等等。
还想观看更多OAK相机用在机械狗上的视频？为你罗列一部分了！
▌参考资料
https://www.raspberrypi.com/news/freisa-the-plant-watering-robot-dog-magpimonday/