ROS2 + OpenVINO™ 前景和应用
AlxBoard(爱克斯板)是英特尔开发套件中的一款产品,专为入门级人工智能应用和边缘智能设备而设计。它提供了完善的功能,包括人工智能学习、开发、实训和应用等多种场景。
OpenVINO™(Open Visual Inference and Neural Network Optimization)是英特尔开发的一套用于深度学习推理和计算机视觉应用优化的工具套件。它提供了一系列工具和库,可帮助我们在各种硬件平台上实现高性能、低功耗的深度学习推理。
ROS2(Robot Operating System 2)是一个开源的机器人操作系统框架,旨在支持机器人软件开发和运行。
结合两者可以为机器人系统提供强大的感知和决策能力。OpenVINO™ 可以在 ROS2 中使用,将深度学习模型部署到机器人系统中进行推理。这使得机器人可以进行实时的目标检测、姿态估计、人脸识别等任务,从而增强其感知能力。OpenVINO™ 针对英特尔硬件进行了优化,可以提供高效的推理性能。对于需要实时响应的机器人应用非常重要,例如自主导航、物体抓取等。ROS2 提供了灵活的通信机制和模块化的架构,可以与 OpenVINO™ 集成以实现各种机器人应用。
安装步骤
本文将介绍如何在 AlxBoard 上搭建的 ROS-humble + OpenVINO™ 2023.0.1 版本的开发环境。在拿到 AlxBoard 后,先依照官方文档[1],进行系统安装。官方文档提供的是 Ubuntu20.04 的版本,可以通过升级方式改为 22.04 版本。或者通过 Ubuntu 的 ISO 文件可以选择 22.04 版本下载链接[2],安装好 Ubuntu22.04 后,需要安装对应版本的 GPU 驱动程序。本文将依次介绍如何搭建 ROS2 + OpenVINO™ 的开发环境所依赖的软件工具,包括 ROS2,OpenVINO™,VSCode 等软件安装。ROS2 编译测试示例,以及 OpenVINO™ 的模型下载示例,最后介绍 Nomachie 的基本使用方法。
更改 Ubuntu22.04 系统软件源
(1) 软件源备份
sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup
(2) 打开 Sources.list 文件
sudo gedit /etc/apt/sources.list
(3) 打开清华镜像源官网[3]
找到对应版本代码复制到Sources.list,并保存退出。
(4) 更新软件源
sudo apt-get update
GPU 驱动安装
ROS2 安装
(1) 设置编码
ROS2 安装需要有支持 UTF-8 的语言环境,使用 ctrl + alt + T 打开终端,设置语言环境编码如下:
(2) 添加软件源
常见报错处理:
curl(7):Failed to connect to raw.githubusercontent.com
输入命令,打开系统 hosts 文件
$ sudo gedit /etc/hosts
将以下字段复制粘贴进文件中
185.199.108.133 raw.githubusercontent.com
再保存退出,重新执行添加软件源的命令,若依旧有错误,请登录网站:
https://www.ipaddress.com
搜索 raw.githubusercontent.com 最新的 IP 地址
(3) 安装 ROS2
(4) 设置环境变量
当环境变量设置完成后,ROS2 就安装完毕了。
可以在命令行中执行以下简单的命令验证安装,出现如图所示的获取了 ROS2 命令行工具的帮助信息。
$ ros2 -h
(5) ROS2 的编译
工作空间(workspace)是一个用于组织和管理 ROS2 项目的目录结构。工作空间是一个包含多个软件包(package)的目录,每个软件包都是一个独立的功能单元。一个工作空间可以包含多个软件包,需要通过编译才能使用。
创建工作空间
自动安装依赖
编译工作空间
编译成功后,工作空间内会出现 build,install,log 三个目录
配置环境变量
测试
若运行以下命令后,运行发布节点成功,则编译环境测试完成
$ ros2 run examples_rclcpp_minimal_publisher publisher_member_function
OpenVINO™ 安装
OpenVINO™ 可以选择直接在根环境中使用 pip 命令安装,也可以选择依照官方文档中的说明新建一个虚拟环境安装。进入该网站,选择自己系统版本以及所需要安装的深度学习框架等。网站就会给出相应的 pip 命令。下面以 安装 OpenVINO 2023.0.1 为例
https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html?ENVIRONMENT=DEV_TOOLS&OP_SYSTEM=LINUX&VERSION=v_2023_0_1&DISTRIBUTION=PIP
(1) 安装所需要的软件包
(2) 创建虚拟环境
$ python3 -m venv openvino_env
(3) 激活虚拟环境
$ source openvino_env/bin/activate
(4) 更新 pip 版本
$ python -m pip install --upgrade pip
(5) 下载及安装 OpenVINO™
$ pip install openvino-dev[ONNX,pytorch,tensorflow2]==2023.0.1
如果选择在根环境中安装 OpenVINO™,只需要执行第 4,5 步。
安装完成后,执行以下命令验证安装,执行该命令将显示 mo 命令行工具的使用说明和可用选项。
$ mo -h
(6) 模型下载
克隆 OpenVINO™ 工具包的开放模型库
$ git clone --recurse-submodules https://ghproxy.com/https://github.com/openvinotoolkit/open_model_zoo.git
安装依赖包
$ pip install open_model_zoo/demos/common/python
进入模型的下载目录,查看可下载的模型
选择自己需要下载的模型并指定输出目录
$ omz_downloader --name <model_name> -o <models_dir>
(7) 模型测试
安装 git 工具
$ sudo apt install git
选择模型
$ omz_downloader --name person-detection-retail-0013 -o models
下载素材
$ wget https://ghproxy.com/https://github.com/intel-iot-devkit/sample-videos/raw/master/one-by-one-person-detection.mp4
运行演示
$ python open_model_zoo/demos/object_detection_demo/python/object_detection_demo.py -m=models/intel/person-detection-retail-0013/FP32/person-detection-retail-0013.xml -i=one-by-one-person-detection.mp4 -at ssd -d GPU #使用GPU加速
VSCode 下载与安装
Visual Studio Code(简称 VS Code)是一款由微软开发的免费、跨平台的源代码编辑器。它被广泛用于软件开发和编程,支持多种编程语言和框架,并提供了丰富的功能和扩展性。VSCode 提供了丰富的编辑功能,包括语法高亮、智能代码补全、自动格式化、代码导航等。并且可以通过插件扩展来支持更多的语言和框架。相比于其他 IDE(集成开发环境),VSCode 启动速度快,并且占用系统资源较少,因此较为适合在 AIxBoard 上使用。
下载链接:
https://code.visualstudio.com/Download
进入网站后,下载 .deb 安装包
进入安装的目录(一般都是在 Download),打开终端输入命令进行安装,安装包名称可以先打一小段,按 Tab 进行补齐
$ Sudo dpkg -i <包名称>
安装完成后,可以选择自己需要的插件进行安装, VSCode 拥有庞大的插件市场,开发者可以根据自己的需求选择和安装各种插件。
NoMachine 下载与安装
NoMachine 是一种远程桌面软件,它允许用户在不同的计算机之间进行远程连接和访问。它提供了高性能、安全和可靠的远程访问解决方案。NoMachine 可在多种操作系统上运行,包括 Windows、Mac、Linux 和移动设备(iOS 和 Android)。这使得用户可以在不同的设备上轻松地进行远程连接和访问。下面将介绍如何使用 Windows 远程控制 AIxBoard,在 Windows 上下载安装包 https://downloads.nomachine.com/ ,一般下载 64 位的安装包,进行安装。
在开发板的系统中下载 Linux 安装包 https://downloads.nomachine.com/linux/?id=1 ,intel CPU 采用的是 x86 架构,因此选择最后一个安装包。
下载完成后,打开相应下载位置的终端,输入以下命令进行安装:
在打开软件时,记录下欢迎界面的 IP 地址和端口。或者进入设置中的 Server status 查看。
至此,Linux 上 Nomachine 的环境就配置完成了。
接下来回到 Windows 系统下,打开 Nomachine 进行远程控制。如果在同一局域网内,软件能自动扫描到相应的电脑,直接双击进行控制即可。若不在同一局域网,则点击“Add”进行添加。
被添加者的用户名和 IP 地址能用以下命令进行查询:
远程控制
总结
本文详细介绍了在 AIxBoard 上从零开始搭建 ROS2 + OpenVINO™ 的开发环境的过程,大体步骤是系统安装,驱动安装,ROS2、OpenVINO™ 等软件安装。同时介绍了 ROS2 编译和简单的测试,OpenVINO™ 模型下载步骤及测试。在开发工具上,介绍了 VSCode 和 NoMachine 等软件,都能很大程度上方便开发者进行开发和研究。希望本文能对有 ROS2 + OpenVINO™ 环境搭建需求的人有所帮助。
[1] 官方文档:
https://www.xzsteam.com/docs/osinstallation.html
[2] 下载链接:
https://cdimage.ubuntu.com/releases/jammy/release/inteliot/ubuntu-22.04-desktop-amd64+intel-iot.iso
[3] 清华镜像源官网:
https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/
* 本文内容及配图均为“英特尔物联网”的原创内容。该公众号的运营主体拥有上述内容的著作权或相应许可。除在微信朋友圈分享之外,如未经该运营主体书面同意,请勿转载、转帖或以其他任何方式复制、发表或发布上述内容。如需转载上述内容或其中任何部分,请留言联系。
英特尔、英特尔标识、以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。
©英特尔公司版权所有。
* 文中涉及的其它名称及商标属于各自所有者资产