OAK Series 3介绍
Series 3
OAK Series 3的产品将会搭载在新的RVC3,与上一代RVC2相比:
- 集成了四核ARM A53,可运行YOCTO Linux。
- 立体深度感知将增强。
- 支持神经网络INT8量化。
Series 3保持了向后兼容性,所以为RVC2编写的pipeline仍然可以在RVC3上运行。
计划是在2022年第四季度正式发布Series 3产品,不过可能会因为供应链等问题有所延迟,最新信息请关注OAK中国各个平台。
四核ARM
有一个四核ARM A53 1.5GHz的Neon技术和浮点扩展(运行Yocto 2.71,Linux内核5.3)集成到VPU中,类似于有RVC2 + Raspberry Pi 3B+(四核A53 1.4GHz),这可以使最终项目和产品更加紧凑。
自定义应用程序
用户将能够通过Robothub在S3设备的ARM处理器上执行自定义的容器化应用。这些容器化的应用程序也能与GPIO和通信接口(I2C,UART……)连接,因此客户将能够从自定义传感器中读取数据,或直接从S3 SoM与微处理器进行通信。
OAK S3相机也可以像以前的版本(如OAK-D、OAK-D-Lite)一样使用:通过USB连接到你的电脑,然后启动一个应用程序。有了板载计算能力,程序/应用将能够在设备本身进行完整的模型解码,这将使DepthAI应用更加灵活,延迟更低。
SLAM/VIO
由于OAK S3相机将有板载的四核ARM,它将有可能在OAK相机本身上运行VIO或SLAM。设备上将支持稀疏的SLAM,对于密集的SLAM可能需要额外的主机计算(待定)。
深度性能提升
OAK S3设备的特点是基于CNN计算像素描述符,相比之下,以前的OAK系列正在使用的是census变换。
RVC3参数
VPU时钟 | 500 MHz |
ResNet-50 性能 | 每秒240个推理 |
AI 算力 | 3.0 TOPS |
SHAVE 处理器数 | 12 |
计算机视觉 | 以 1.0 GB/s加速CV/Warp,支持 6DOF |
深度 | 720P@180 FPS |
视频编码 | 最大4K@75FPS, H.264、H.265 、JPEG编码 |
视频解码 | 最大4K@60FPS, 最大10通道:1080P/30FPS, H.264、H.265、JPEG编码 |
图像处理 | ISP,最多支持6个相机,500 MP/s HDR, TNF, 3A, ULL. 4K/60FPS |
接口 | 多个I2C、Quad-SPI、I2S、UART、PCIe Gen4 interfaces、 USB 3.1/2、 1GB 网口、GPIOs |
工作温度 | -40°C ~105°C (与Myriad X一样) |
RAM支持 | 2x 32位 DRAM 1600-2133 MHz |
ResNet-50的性能是在INT8量化和(最大)本地优化以及权重稀疏度为50%的情况下测量的。
本地媒体支持
- GStreamer框架
- 用于计算机视觉的OpenCV(或G-API)
- 视频加速API/英特尔媒体SDK用于编码和解码