当前位置:首页|资讯

树莓派新品 Raspberry Pi AI Camera 现已上市,可直接购买!

作者:上海晶珩电子科技发布时间:2024-10-08

人们几乎从我们开始制造Raspberry Pi产品以来,就一直在用它们构建人工智能项目。随着我们发布越来越强大的设备,我们能够原生支持的应用范围也在增加;但在任何一代产品中,总会有一些工作负载需要外部加速器,比如我们在六月份推出的Raspberry Pi AI套件。

AI套件是一个非常强大的硬件,每秒能够执行十三万亿次操作。但它只与Raspberry Pi 5兼容,并且需要一个单独的摄像头模块来捕获视觉数据。因此,我们非常激动地宣布我们的摄像头产品线新增了一个成员:Raspberry Pi AI摄像头。

Raspberry Pi AI摄像头可以直接在树莓派的经销商进行购买,购买方式:

1.官网在线咨询下单:

https://www.edatec.cn/cn/camera/raspberrypi_ai_camera.html

2.私信联系方式给我们,进行下单购买。

AI摄像头围绕索尼IMX500图像传感器构建,集成了AI加速器。它能够以低功耗和低延迟运行各种流行的神经网络模型,让你的Raspberry Pi处理器可以自由地执行其他任务。

Raspberry Pi AI摄像头的关键特性包括:

- 1200万像素索尼IMX500智能视觉传感器

- 传感器模式:4056×3040分辨率,每秒10帧;2028×1520分辨率,每秒30帧

- 1.55微米×1.55微米单元大小

- 78度视场角,可手动调整焦距

- 集成RP2040用于神经网络和固件管理

AI摄像头可以连接到所有Raspberry Pi型号,包括Raspberry Pi Zero,使用我们的常规摄像头带状电缆。

使用索尼的一系列AI工具,现有的使用TensorFlow或PyTorch等框架的神经网络模型可以转换为在AI摄像头上高效运行。或者,可以设计新模型以利用AI加速器的特定能力。

内部构造

要利用集成的AI加速器,我们首先必须上传一个模型。在旧的Raspberry Pi设备上,这个过程使用I2C协议,而在Raspberry Pi 5上,我们可以使用更快的定制双线协议。链路的摄像头端由板载RP2040微控制器管理;附加的16MB闪存设备缓存最近使用的模型,允许我们在许多情况下跳过上传步骤。

一旦传感器开始流式传输,IMX500就像Raspberry Pi Camera Module 3上的传感器一样,作为一个标准的Bayer图像传感器运行。集成的图像信号处理器(ISP)在传感器帧上执行基本的图像处理步骤(主要是Bayer到RGB的转换和裁剪/缩放),并将处理后的帧直接输入到AI加速器。一旦神经网络模型处理完帧,其输出会与Bayer帧一起通过CSI-2摄像头总线传输到主机Raspberry Pi。

与Raspberry Pi libcamera集成

AI摄像头的一个关键优势是它与我们的Raspberry Pi相机软件堆栈无缝集成。在内部,libcamera使用我们自己的ISP处理Bayer帧,就像它对任何传感器一样。

我们还解析神经网络结果以生成_输出张量_,并将其与处理过的Bayer帧同步。这两个都会在libcamera的请求完成步骤中返回给应用程序。

Raspberry Pi相机框架——Picamera2和rpicam-apps,以及任何基于libcamera的应用程序——都可以检索输出张量,与传感器帧正确同步。这里有一个在rpicam-apps下运行的对象检测神经网络模型(MobileNet SSD)的示例,它在1080p视频上以30fps的速度进行推理。

我应该购买哪个产品?

你应该购买Raspberry Pi AI套件还是Raspberry Pi AI摄像头?AI套件的理论性能高于AI摄像头,并且可以支持更广泛的模型,但只与Raspberry Pi 5兼容。AI摄像头更紧凑,总成本更低,并且与所有型号的Raspberry Pi兼容。

最终,这两种产品都为常见模型提供了出色的加速性能,并且都已优化,可以与我们的相机软件堆栈无缝协作。




Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1