2021 OpenCV Spatial AI大赛优秀项目团队介绍集锦（一）

本届大赛一共有50个团队进入决赛，各团队的任务是利用OAK-D-Lite人工智能的力量构建基于乐高的工业制造解决方案。本篇博客主要介绍两个团队及项目：B-AROL-O团队、WahWahTron团队。

社交媒体上#OAKDLiteContest标签亮点

• Getafe Poka-Yokers团队有了新进展，他们在项目组装好的乐高套件上运行了MediaPipe手部检测。
• B-AROL-O团队一直在网站上更新他们的项目“ARNEIS：自动识别，支持网络，物品分类”。
• EyeCan团队展示了他们ScaNERF项目的首项成果，用乐高制作神经网络数字孪生。
• Evtek团队正在用传送带进行可回收分类分拣，看起来进展很顺利
• 密切关注Sourdoughers团队的 BreadBot，它将使用YOLOv5来监控来监测酸面包的发酵，让其更美味。

OpenCV每周网络研讨会 （2022/2/17）这期特邀LA Inoculum团队，他们的培养皿扫描仪项目结合了乐高、OAK-D-LITE和细菌科学。

▌团队：WahWahTron

你的项目是什么？简要描述你的问题陈述和建议的解决方案

我们团队正试图解决回收电子零件的问题。

每年都会推出全新的电子产品，无论是最新的智能手机，还是笔记本电脑等。

由于计划淘汰，电子垃圾的数量不断增加，而讽刺的是，用于制造这些设备的金属和矿物的供应却不断减少。

本着重复使用和重新组合乐高的精神，WahWahTron团队将通过游戏强调这一重要的环境问题。

现在有零件回收解决方案，最著名的是苹果的Daisy，但这是一个品牌特定的解决方案。我们的项目是研究如何使用小型、可负担和可扩展的组件，如OAK-D-Lite，为现实世界的集成构建通用电子零件回收系统。我们提出的解决方案包括建立一个系统，试图拆开一个乐高组件（说明一个废弃的电子产品），并将每个可回收的部件放在各自的分类容器中，以便重新使用。OAK-D-Lite的快速推理将被用来对乐高零件进行分类，而深度信息将被用来在三维中定位零件。

带有电动抓手和拆卸机制的起重机臂将使用乐高Mindstorms机器人发明家工具包的M.V.P组件制造。(零件的3D位置将从摄像机的坐标系转换到全局坐标系，以驱动机械臂的末端执行器。)

你的团队起源故事是什么？你们是怎么在一起的？

杰西卡和我是在最无聊的情况下相遇的——在贝尔格莱德的一个艺术家机器学习研讨会上。我们立即开始了项目合作，其中一个项目是布加勒斯特的木偶剧院。最初的想法是使用Kinect实时跟踪木偶，让学习木偶戏的孩子进行一场既有实体又有数字的表演。内置的Kinect骨骼跟踪在那么小的范围内不起作用，原来现有的模型从未训练过小于1.2米的任何东西。当时OpenPose刚刚问世，我已经设法从源代码编译并在当前的GPU上运行，但无法超过12fps。

随着时间的流逝和许多计算机视觉选项的测试（跟踪LEDS，跟踪彩色带等），我找到了一个足够快和准确的方法：使用惯性测量单元（IMU）来跟踪连接的方向。这解决了闭塞的问题，如一个角色用他们的手臂抱着另一个角色。詹姆斯·麦克维，一位杰出的、有创造力的电子工程师，加入了这个团队，并帮助我从基本的两个关节的POC发展到我们所追求的全部10个关节的系统。

你是如何决定解决什么问题的？

我们在集思广益，正是杰西卡的建议将这些片段完美地连接在一起。考虑到我们所处的环境状况，这个概念很棒，即使是在玩具规模上。

构建可扩展的原型并揭示解决方案/创新过程中的挑战/机遇仍然很有价值。从概念上讲，设计一个可以拆开另一个系统的系统是很有趣的。在实践中，当我们开发这个项目，让自己再次熟悉乐高（经过几十年的努力，我们不得不承认🙂），同时也发现伺服精度、扭矩和塑料强度的物理限制。总的来说，用尽可能少的资源做尽可能多的事情对环境来说似乎是个好主意，这也很适用于比赛。

#OAKDLiteContest最让你激动的部分是什么？

作为成年人玩乐高积木确实是一件非常有趣的事情，然而最令人兴奋的是看到我们能用OAK-D-Lite设备实现什么。

由于它是开源的，这是一个很好的机会，可以在较低的水平上了解立体视觉，利用它来获取深度信息，并玩一玩现有的最先进的模型。

说到机器学习，这也是一个了解完整的机器学习pipeline的机会，从数据集的创建一直到优化和部署到一个边缘设备。

当得知你被选为决赛选手时，你有什么想法/感觉？

能够被选为决赛选手是多么幸运啊！我们可以通过乐高再次成为孩子，并通过OAK-D-Lite背后的严肃工程进一步实现这一目标。这么多有趣的事情要做！

到目前为止，你看过的其他项目中有什么让你感到惊讶的吗？

快速浏览一下#OAKDLiteContest，很高兴看到创造力和游戏性的闪耀。我已经看到几个项目给了我那种 “我希望我先想到这个 “的想法。

你对你的竞争对手有什么话要说吗？

我们祝愿我们的竞争对手好运，继续前进！只有几个星期了！期待看到的不仅仅是最终的结果，同样还有过程和没有被淘汰的想法。

读者应该跟随你到哪里，才能最好地跟上你的进度？(推特、LinkedIn等)

我们对我们的更新一直很保密：希望我们能很快改善这一点。

同时，对于任何对计算机的创造性使用感兴趣的人，你可以在这里关注我们。

• https://twitter.com/innjesst
• https://www.instagram.com/shedrawswithcode/
• https://www.instagram.com/jhm.nz/
• https://www.youtube.com/c/JamesMcVayNZ/videos
• https://twitter.com/orgicus
• https://www.linkedin.com/in/georgeprofenza

▌团队：B-AROL-O

你的项目是什么？简要描述你的问题陈述和建议的解决方案

在工业生产线上，物品（在我们的专业领域是瓶子）遵循一个预定的流程，每一种物品从开始到生产线包装结束都有自己的路径。想象一下，在一条生产线上，不同的物品需要在最后的包装中进行混合。想象一下，这种混合对每个通过网络下订单的最终客户来说都是不同的。

ARNEIS（Automated Recognizer, Network-Enabled, Items Sorter的缩写）是我们为刚才描述的问题提出的解决方案。我们设想，这些来自不同生产线的物品在最后的传送带上混合，ARNEIS系统可以识别所要求的产品并将其分类到正确的包装中。

当然，考虑到我们在BOM和时间上的成本限制，在OpenCV Spatial AI大赛的范围内不可能完全解决所描述的问题；但是我们相信，识别和分类的基本功能可以用简单的嵌入式电子元件、塑料砖和开源代码进行测试。

ARNEIS系统的主要组成部分如下：

• 眼睛和头脑。该项目中的一个重要组成部分是视觉系统和智能，它分析图像以匹配已知的模式。
• OAK相机可以安装在物品运输的传送带附近。摄像机图像必须由一个专门的CPU进行分析。从集成的角度来看，工业项目的最佳解决方案是将该CPU集成在摄像机机箱内。
• 手臂。有几种从运行中的传送带上分拣物品的解决方案；每一种都针对不同的非功能要求进行了优化，如灵活性、速度和成本。

最简单的解决方案是使用一个执行器（意大利语为 “espulsore”），根据PLC发出的指令，将物品同步弹出到一个新的传送带或一个外部传送带。该命令应该是同步的，并考虑到从摄像机捕获画面到执行弹射期间物品在输送机上的行程。这就是我们团队在OpenCV空间人工智能竞赛第二阶段所开发的解决方案。

你的团队起源故事是什么？你们是怎么在一起的？

这B-AROL-O装瓶系统团队以他的名字命名是因为：

• 首先，所有团队成员都在一家专门从事食品和饮料行业包装机械的领先意大利公司有一份全职工作；
• 我们都生活在山麓地区这是意大利最重要的地区之一，以其葡萄园、葡萄酒和烈酒;
• “巴罗洛葡萄酒“是一种优质的红葡萄酒，由生长在我们家乡附近皮埃蒙特的一个小地区的葡萄制成，但却非常有名，其酒瓶出口到世界各地。

总的来说，我们选择了一个标志性的葡萄酒名称，既体现了我们的意大利血统，也体现了我们在包装行业的经验。顺便说一下，“阿奈斯”(白)和“巴罗洛”(红)葡萄酒看起来像阴阳这给了我们在比赛中燃烧的能量！

你是如何决定解决什么问题的？

老实说，我们没有花太多时间来选择问题，也因为我们在第一阶段截止日期前几天才知道OpenCV空间人工智能竞赛。相反，我们选择了我们熟悉的东西，因为我们的日常工作，试图适应材料和项目时间表的项目限制。

#OAKDLiteContest最让你激动的部分是什么？

我们将列出以下内容：

• 技术。OAK-D-Lite是一个很棒的硬件；此外，人工智能和CV是我们在这个项目中工作时有机会学习的令人兴奋的话题。
• 围绕OpenCV的社区以及Luxonis和所有参与方的大力支持
• 玩乐高套装——在这里，Gianpaolo会补充说：不要从我的孩子那里偷走它们 🙂

当得知你被选为决赛选手时，你有什么想法/感觉？

两种相反的感觉：高兴和害怕。

起初，我们无法相信我们做到了，因为我们在准备第一阶段的提交时只有很短的时间。

为什么快乐？这个消息真的很令人兴奋，我们从来没有想到我们会有乐高玩具作为圣诞礼物🙂

此外，在这么多竞争者中被选中意味着我们的想法吸引了OpenCV社区中少数有经验的人——这对我们来说已经是一个很大的成就。

为什么恐惧？我们希望根据以下条件交货ARNEIS项目计划，但是我们知道我们有太多的事情要做，而且我们只有三个人，几乎没有空闲时间。然而，我们相信社区将帮助我们实现我们的目标。顺便说一下，ARNEIS从一开始就是一个开源项目，所以每个人都可以从我们创造的东西中受益。

到目前为止，你看过的其他项目中有什么让你感到惊讶的吗？

当我们向第一阶段提交我们的提案时，幸运的是我们没有过多地挖掘以前版本的OpenCV竞赛中开发的项目，否则我们会感到羞愧，不会提交它😉

自从我们被选中继续进行第二阶段，我们一直在观看视频和阅读博客文章来学习，我们发现那里有如此多的价值和能力，这激励我们尽我们所能做到最好。

你对你的竞争对手有什么话要说吗？

不要怕，我们玩的只是和乐高、OpenCV互相学习、取乐的动机。

我们希望你和我们一样开心！

读者应该跟随你到哪里，才能最好地跟上你的进度？(推特、LinkedIn等)

我们定期会在Twitter上发布关于ARNEIS项目的新闻和每周更新。

如果您对项目的软件方面更感兴趣，您可以订阅https://github.com/B-AROL-O/ARNEIS或者看一看ARNEIS项目路线图。

如果你有任何建议或反馈给我们，请在Twitter上直接私信 @baroloteam，或在GitHub上提交问题或Pull Request。