SpireCV 助力在ArduPilot上快速实现二维码检测等视觉功能!内附超详细教程,干货满满

lvxiafu

以下文章来源于：CSDN开发者社区   
作者：干了这碗汤
原文链接：https://blog.csdn.net/weixin_43321489/article/details/134703965?spm=1001.2014.3001.5502

由于篇幅内容过长，本文将分为两期为大家展开介绍，本期主要介绍以下几个方面：

1. APSync

说到机载计算机Companion computer就不得不提另一个关键词APSync；

APSync简化了机载计算机的设置，以便它可以为ArduPilot提供额外的功能，并简化与互联网服务的集成；

提供日志下载和视频流转发到地面站的功能；

机载计算机通过串口与飞控连接，将飞控的log转存到自己的文件系统中，并创建一个网络热点，用于给运行地面站的PC连接，PC连接该热点后可以：1）从机载计算机下载日志；2）查看视频流；3）连接热点后地面站可以通过UDP连接到飞控；

http://10.0.1.128 (Configuration pages)

http://10.0.1.128:8000 (Which shows a video streaming on/off button)

PC连接到网络热点后（网络热点名称为ardupilot，密码也是ardupilot），地面站可通过UDP，port 14550来连接到飞控；

关于下载log：可以用这个脚本来下载机载计算机的日志到PC：apsync-download-logs，或者从机载计算机上拔下SD卡来读取；（https://firmware.ardupilot.org/Companion/apsync/apsync-download-logs-latest.zip）

关于视频流：视频流被发送到请求遥测数据的第一个地面站的IP地址；地面站查看视频流：右击Hub ~> Video ~> Set GSreamer Source;

PC连接热点后可通过SSH工具来远程登录到机载计算机；

飞控的数据如何路由到各种程序的？How flight controller data is routed to various programs：https://ardupilot.org/dev/docs/apsync-intro.html#how-flight-controller-data-is-routed-to-various-programs

Installing APSync and setting the autopilot：https://ardupilot.org/dev/docs/apsync-intro.html#installing-apsync

2. 阿木实验室SpireCV-SDK

参考文献：SpireCV-SDK

(https://docs.amovlab.com/Spire_CV_Amov/#/src/%E9%A1%B9%E7%9B%AE%E4%BB%8B%E7%BB%8D/%E9%A1%B9%E7%9B%AE%E4%BB%8B%E7%BB%8D?id=spirecv-sdk-wiki%E4%BD%BF%E7%94%A8%E6%89%8B%E5%86%8C)
2.1 简介*

主要功能包括吊舱/相机控制、视频保存、推流、目标检测、识别与跟踪等。旨在为智能无人系统开发者提供高性能、高可靠、接口简洁、功能丰富的视觉处理功能。


3. SpireCV-SDK实践历程

编译源码：
cd~/SpireCV/buildsudo make install
查看应用程序名称：

ls ~/SpireCV/build
执行应用程序：
./app-name3.1 新增一个demo，如何修改CMakeLists.txt让编译器编译自己的demo

方法：在VSCode中搜索现有的demo的cpp文件名，看看在哪里使用了这些文件名，你会发现仅在同一目录的CMakeLists.txt中使用了这些cpp文件名，因此只需要修改这些CMakeLists.txt即可。

如：在/home/hyl20/SpireCV/CMakeLists.txt 中添加以下
add_executable(CameraReading2 samples/demo/camera_reading2.cpp)target_link_libraries(CameraReading2 sv_world)
其中camera_reading2.cpp就是新添加的demo的名称。
3.2 更改视觉源输入类型

以视频文件作为输入源

在当前目录下新建一个mp4文件如000.mp4,以camera_reading2.cpp为例，做以下代码修改：
cap.setVideoPath("/home/hyl20/SpireCV/samples/demo/000.mp4");cap.open(sv::CameraType::VIDEO, 0);  // CameraID 0

以RTSP视频流作为输入源

以camera_reading2.cpp为例，做以下代码修改：
cap.setRtspUrl("rtsp://192.168.144.25:8554/main.264");cap.setPort(8554);cap.open(sv::CameraType::RTSP, 0);  // CameraID 0
报错后应该如何解决？



修改代码：

SpireCV/video_io/sv_video_input.cpp中的else if (this->_type == CameraType::RTSP) {…}
//原来的代码sprintf(pipe, "rtspsrc location=%s W=%d H=%d FPS=%d latency=100 ! \               application/x-rtp,media=video ! rtph264depay ! parsebin ! avdec_h264 ! \               videoconvert ! appsink sync=false", this->_rtsp_url.c_str(), this->_width, this->_height, this->_fps);this->_cap.open(pipe, cv::CAP_GSTREAMER);
//修改后的代码：sprintf(pipe, "rtspsrc location=%s latency=100 ! \               application/x-rtp,media=video ! rtph264depay ! parsebin ! avdec_h264 ! \               videoconvert ! \               videorate ! video/x-raw,framerate=%d/1 ! \               videoscale ! video/x-raw,width=%d,height=%d ! \               appsink sync=false", this->_rtsp_url.c_str(), this->_fps, this->_width, this->_height );this->_cap.open(pipe, cv::CAP_GSTREAMER);
//或者改成：sprintf(pipe, "%s",this->_rtsp_url.c_str());this->_cap.open(pipe, cv::CAP_ANY);
其中cv::CAP_ANY会自动检测数据来源类型，opencv会自行调用gstreamer中合适的功能函数。
3.3 相机内参标定

1）采用读取视频文件的方式作为视觉输入源，修改calibrate_camera_charuco.cpp中的代码：
inputVideo.setWH(imW, imH);inputVideo.setFps(fps);inputVideo.open(c_type, camId);//修改为：inputVideo.setVideoPath("/home/hyl20/SpireCV/samples/demo/bd1.mp4"); inputVideo.setWH(imW, imH);inputVideo.setFps(fps); inputVideo.open(sv::CameraType::VIDEO, camId);  // CameraID 02）打印一张标定图案（A4纸）

3）录制一段标定图案的视频保存为：/home/hyl20/SpireCV/samples/demo/bd1.mp4


拍摄注意事项：不同角度、不同距离拍摄；

4）编译代码
cd~/SpireCV/buildsudo make install
5）执行标定程序

./CameraCalibrarion -w=5 -h=7 -sl=0.035 -ml=0.021 -d=6 -ci=0 calib.yaml
6）注意事项

w为标定板一行的格子数，h为标定板一列的格子数，sl为测量黑色实心方块的边长，ml为测量黑色二维码方块的边长，ci为Camera ID数；

标定时需要拍摄不同距离、不同像平面位置、不同倾斜角的多张图像（＞5张）；

标定完成后，标定文件保存在build目录下calib.yaml里；

3.4 二维码检测

认识Aruco二维码


二维码示例文件下载

(https://download.amovlab.com/model/template/6X6_250.zip)

用途：一般用于增强现实、相机姿势估计和相机校准等应用场景，具体如无人机的自主降落地标、机器人定位等。
组成：黑色宽边框 + 二进制矩阵(黑白方形阵列) 黑色边框：有助于其在图像中的快速检测；黑白方形阵列：标识符 (ID) ，用于被识别以及错误检测和校正技术；黑白方形的大小决定了内部矩阵的大小。例如，6×6 的Aruco码大小由 36 位组成；6×6即长宽都是4个方形；

实践：
1）采用读取视频文件的方式作为视觉输入源，修改aruco_detection.cpp中的代码：
  cap.open(sv::CameraType::V4L2CAM, 0);  // CameraID 0  改为：  cap.setVideoPath("/home/hyl20/SpireCV/samples/demo/ac2.mp4");  cap.open(sv::CameraType::VIDEO, 0);  // CameraID 0
2）修改内参文件的路径，使用上一个实验生成的内参：

// 手动导入相机参数，如果使用Amov的G1等吊舱或相机，则可以忽略该步骤，将自动下载相机参数文件  ad.loadCameraParams(sv::get_home() + "/SpireCV/build/calib1.yaml");
3）录制一段aruco二维码图案视频保存为：/home/hyl20/SpireCV/samples/demo/ac2.mp4


拍摄注意事项：不同角度、不同距离拍摄。

4）编译
cd~/SpireCV/buildsudo make install5）运行
./ArucoDetection6）观察终端的打印信息


7）运行ros接口查看ros数据
4. 在wsl2-ubuntu20.04上安装SpireCV

参考：Ubuntu20.04+CUDA11.6安装教程( https://docs.amovlab.com/Spire_CV_Amov/#/src/%E5%BF%AB%E9%80%9F%E4%BD%BF%E7%94%A8/SDK%E5%AE%89%E8%A3%85/Ubuntu20.04+CUDA11.6%E5%AE%89%E8%A3%85%E6%95%99%E7%A8%8B/Ubuntu20.04+CUDA11.6%E5%AE%89%E8%A3%85%E6%95%99%E7%A8%8B)

问题：文档上提供的教程是基于ubuntu20.04 cuda11.6 ，但是本机电脑的cuda版本是12.2的，应该如何安装环境和依赖呢？请看本文的第6小节。

实践依据：分析SpireCV官方教程中的 ubuntu2004-cuda-cudnn-11-6.sh 脚本。

5. Ubuntu20.04安装NVIDIA显卡驱动、cuda、cuDNN、tensorRT

参考文献：

https://blog.csdn.net/JineD/article/details/131201121 https://blog.csdn.net/qq_43515934/article/details/123897435

本期的内容分享就先到这里，下一期我们将为大家介绍如何在wsl2-Ubuntu20.04上安装cuda、cuDNN、tensorRT，以及Gstreamer等软件。如果您在SpireCV开发过程中有其他方面的问题，欢迎给我们留言，共同探讨相关技术~

以下为SpireCV项目相关介绍



项目Github网址：
https://github.com/amov-lab/SpireCV
项目Gitee网址：
https://gitee.com/amovlab/SpireCV

使用手册：

https://www.wolai.com/4qWFM6aZmtpQE6jj7hnNMW