广州云梯车,  广州云梯车出租,  广州云梯车租赁    在实际环境中进行机械臂抓取物体的实验，从不同角度对算法进行性能测试以及对比。真实场景系统本文的实验场景分为３部分： （１）六自由度的ＵＲ５机械臂，（２）相机，（３）服务器。相机把当前状态下拍到的图片输送至智能体，后者基于所接收的图片信息发送行为决策指令给机械臂平台，后者执行指令，移动至目标位置。此外，每次操作所涉及的图像、回报值与动作均通过智能体保存至数据缓存区，用来满足训练模型使其优化所需。

        机械臂平台介绍,   本实验所使用的机械臂是优傲机器人于２０１５年推出的６自由度人机协作型工业机器人一ＵＲ５机器人。通过该机械臂平台，我们可以方便的把实现的算法通过ＵＲ接口来和机械臂进行交互，并根据设计的评价指标来比较各个算法之间的性能优劣。ＵＲ５型机器人除了机械臂之外，还配备了控制箱、软件系统和可视编程控制界面，机械臂包含６个关节，所有关节均为转动关节。①分别为机座、肩部、肘部、腕关节１、腕关节２、腕关节３；为末端器，采用Ｒｏｂｏｔｉｑ二指夹手。ＵＲ５机械臂的工作空间是指机座关节周围８５０ｍｍ范围内的区域。本文中，机械臂根据模型训练得到的策略决策执行动作，需要与ＰＣ端进行交，互，在通过ｓｏｃｋｅｔ与ＰＣ端建立连接后，会发送数据包，即自定义的协议，从第１２位到第１７位，每位是一个８位的ｄｏｕｂｌｅ字节的位置信息，解析后Ｘ、Ｙ、Ｚ表示机械臂末端器的位置，而ＲＸ、ＲＹ、ＲＺ表示机械臂末端器的方向。常用于控制机器人轨迹的指令有：ｍｏｖｅＪ和ｍｏｖｅＬ，这里我们统一采用ｍｏｖｅＪ，系统会自动控制各个关节的运动直到到达指定的终点位置。此移动类型将为机械臂提供一个曲线路径。如果希望机器人手臂在路点之间快速移动，而不用考虑工具在这些路点之间的路径，此移动类型是一个不错的选择。

       其他软硬件环境实验使用的图像采集设备为７０度角７２０Ｐ工业级摄像头，相机被固定在工作台上方，且镜头平面平行于地面。实验算法使用Ｐｙｔｈｏｎ语言在深度学习框架ＴｅｎｓｏｒＦｌｏｗ上实现，部署运行在Ｕｂｕｎｔｕ系统下，服务器被分配拥有８Ｇ内存、１Ｔ硬盘、Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ７－６７００ｋＣＰＵ＠４．００ＧＨｚ单核处理器，并使用显卡ＧＴＸ１０８０ｉ对训练过程进行加速。

     广州云梯车,  广州云梯车出租,  广州云梯车租赁

        实验的设计与实现,   １实验的模型实现模型的实现主要由Ａｇｅｎｔ、Ｅｎｖｉｒｏｎｍｅｎｔ以及ＲｅｐｌａｙＭｅｍｏｒｙ类组成，其类图架构图如下所示。主要实现深度神经网络的各种细节问题，可以手动配置网络的各个参数，包括网络层数，每一层的节点数量，每层的激活函数类型和卷积核大小和数量等内容。同时创建训练方法，实现感知存储信息的过程。  Ｅｎｖｉｒｏｎｍｅｎｔ类负责实现与机械臂平台的交互问题，包括接收下一帧图像信息＞或动作回报值、发送动作指令和初始化机械臂位置。＊ＲｅｐｌａｙＭｅｍｍｙ类负责提供实现经验重放机制的类，这里设计了网络训练过程中用于存储经验队列的数据结构及其采样方法等内容。

      为了确定上述算法训练得到的模型的有效性，在训练周期（ｅｐｏｃｈ）中，每隔１０个周期测试一次，每个训练周期迭代５００００次。假设每一轮的抓取过程为一个ｅｐｉｓｏｄｅ过程，每个ｅｐｉｓｏｄｅ开始于初始化机械臂位置的那一巾贞，结束于检测到抓取过程结束条件。此外，对测试过程做如下几点说明：（１）测试次数为１５０轮，其中将待抓取的水瓶放置在摄像头能拍摄到的范围内，这里在实验台上标记了四个点，水瓶可放置在这四个点所围成的凸四边形内；（２）每一次测试开始时，机械臂会在限定的运动空间中初始化的它的位置；为了评估训练算法的性能，本文设计了以下三个评价指标来判断算法的优劣，具体定义为：（１）平均回报值：每一轮抓取过程中记录总的回报值，计算平均回报值；（２）平均Ｑ值：每一轮抓取过程中记录总的Ｑ值，计算平均Ｑ值；（３）成功率：对于每一轮的抓取过程，如果最后机械臂能够成功地抓取到目标物体，则视为一次成功的感知过程，如果在５０次执行动作之后，仍然没有成功，或者动作执行过程中，机械臂末端器运动超出了机械臂运动范围，例如碰撞到实验平台，则视为一次失败的测试。统计１５０轮中成功的次数，计算成功率。

      广州云梯车,  广州云梯车出租,  广州云梯车租赁