AI服务机器人是一款融合了深度学习神经网络技术的机器人平台。其拥有三轮全向底盘、硬件里程计、激光测距雷达、立体视觉相机、可升降机械臂等一系列硬件配置,运行ROS机器人操作系统,内建TensorFlow和Keras神经网络框架。附带的实验课程从图像采集和标注开始,然后进行卷积神经网络模型训练,最后部署网络模型实现物品识别抓取,完整覆盖一个神经网络从无到有并最终落实到机器人行为的全部过程,是进行人工智能神经网络实验的理想平台。

GPU硬件加速

1.AI服务机器人的主控单元为NVIDIA的Tegra X2,该处理器具备256个GPU核心处理器,采用NVIDIA最新推出的Pascal硬件架构,具有极强的并行计算能力,从硬件上为神经网络的运算提供强劲动力。

2.AI服务的主控制器中运行Google的TensorFlow和Keras神经网络框架,针对Tegra X2硬件平台进行针对性优化,充分发挥Tegra X2的运算性能。

3.AI服务的神经网络训练在专门的GPU计算工作站进行,通过性能更强的GPU计算卡,可以大大加速网络的训练过程,更快得到训练结果。

机械结构

1.AI服务机器人采用模块化可折叠式设计,整个机构可以很方便的收纳和展开。

2.AI服务机器人采用了三轮全向式移动底盘,可以在不改变朝向的情况下往水平面上的任何方向移动,这在进行运动避障和物品抓取时,可以减少机体位置调整的步骤,提高执行效率。

3.AI服务机器人的头部安装了一台RGB-D立体相机,可通过机械旋钮调节俯仰和高度。

4.AI服务机器人安装了可升降折叠机械臂。该机械臂分为折叠和伸展两种状态,不使用时折叠收纳,避免磕碰。需要使用时向前伸展,进行物品抓取。伸展状态时,机械臂具备升降功能,可以在一个连续高度范围内动态调整手爪高度。结合机器人头部立体相机,完成三维空间内的物品识别、定位和抓取等一系列任务。

传感器

1.激光雷达

AI服务机器人的底盘上安装了一枚红外激光雷达,该雷达的扫描角度为360°,能够很高效的检测出周围的障碍物分布,并可以通过SLAM技术进行机器人的自身定位,为机器人的移动导航提供数据基础。

2.姿态测量系统

AI服务机器人内置了一个三轴姿态测量系统,可以实时检测机体的朝向、翻滚及俯仰角度。为机器人的导航及行进提供重要数据,并让机器人在运动过程中发现倾倒风险,及时采取紧急措施。

3.立体相机

AI服务机器人的头部安装了最新一代的RGB-D立体相机,可以输出RGB彩色视频流和Depth深度数据三维点云。借助卷积神经网络技术,可以对目标物进行识别、定位和抓取任务。

整机参数

名称 数量 参数
操作系统 1 ROS
主控器 1 NVIDIA Tegra X2
激光雷达 1 360°无死角、最大距离8米
视觉传感器 1 Kinect 2
伺服电机模块 3 20W伺服电机、内置驱动
轮子 3 3个全向轮
电池 1 24V3.5AH锂离子动力电池

【软件特性】

1.ROS系统——AI服务机器人使用ROS操作系统,系统版本为Kinetic,可使用ROS的大部分功能组件

2.图像采集与标注——AI服务机器人头部装备立体相机,可采集1080P高清图片。使用数据标注工具对采集的图像进行人工标注,为后续的神经网络训练构建原始图像数据集。

3.神经网络训练——标注后的图像数据集在GPU计算工作站上进行卷积神经网络的训练。

4.卷积神经网络应用——AI服务机器人使用训练好的卷积神经网络对物体进行识别,并在RGB平面图像中定位目标物体。

5.识别抓取——AI服务机器人识别出物体目标后,结合立体相机的三维点云换算其空间坐标,可使用机械臂对其进行抓取操作。

教学资源

AI服务机器人配备实验指导书,设计了12个课程实验,所有实验均进行了详细实验步骤图文描述,方便用户老师进行课程编排。

实验一、OpenCV的使用 实验七、卷积神经网络的应用部署
实验二、速度控制的编程实现 实验八、基于卷积神经网络的识别定位
实验三、图像采集的编程实现 实验九、机器人的抓取控制
实验四、图像素材采集 实验十、机器人的SLAM建图
实验五、图像数据标注 实验十一、机器人的Navigation导航
实验六、卷积神经网络的训练模型 实验十二、基于卷积神经网络的导航抓取

产品附赠所有实验的参考课件PPT,助力老师快速开课。