苏州豪米波雷达白杰：未来属于4D毫米波雷达点云
多传感器数据融合的层次与结构
传感器处理层次
- 数据
- 特征
- 决策
局部传感器数据处理结构
集中式
把传感器所有信息送到 域控制器 当中处理。
优点是数据处理的精度高；
缺点是大量数据易造成通信负载过大，对控制器处理的性能要求高。
分布式
每个传感器会将自身目标观测结果在本地进行相关 目标检测与跟踪 处理，送入域控制器的是已经完成多目标跟踪的 局部航迹 信息。
优点是对通信带宽的需求低、计算速度快；
缺点是跟踪的精度远没有集中式高。
混合式
兼具集中式和分布式结构的优点，弥补了两者的不足。
空间匹配
需要进行多个传感器坐标系之间的转换，包括 世界坐标系，需要知道 大地坐标系 还有 车辆坐标系。
在传感器坐标系当中，主要是 图像坐标系、雷达坐标系，还有 激光雷达坐标系。
以相机和毫米波雷达为例，主要是需要标定 相机的内参和外参矩阵。
时钟同步
硬件同步
主要是设置一个硬件多线程触发，例如毫米波雷达和图像处理数据传输的频率或是采样频率不同，雷达采样频率一般要低于视频数据。那么，可以通过雷达检测后，以 硬件触发 方式来获得图像信息。这个方案更适用于以下情况，即 雷达相机一体化 的低成本方案，当然硬件方面比较复杂。
软件同步
目前常用的方案，大部分可以用GPS加入一个 时间戳，如毫米波雷达和相机，采集的数据都有GPS时间戳，后面根据最近匹配或通过差值方法进行 数据补偿，常用的有线性差值、拉格朗日差值法。
相机和雷达融合的经典方法
决策级/目标级融合与数据关联
由传感器分别在控制器中完成目标检测，得到 目标位置信息 和 分类信息 列表，之后统一进行 数据关联，再进行感知结果的 汇总，通过 决策 判断多个信息，获得一个目标的 最佳位置结果。
基于雷达生成图像感兴趣区域
首先把雷达和图像传感器进行 标定，之后把 雷达数据结果投影到相机 中，生成一个 ROI，然后图像在ROI区域中进行 目标检测。新方法可直接找到感兴趣的区域，图像只在这个框内进行目标识别和分类，好处是 节省时间。
二维毫米波雷达 在各大互联网厂商应用中并不十分普遍，大部分是作为 前方预警 的附加功能。
如传感器可以检测到或没有检测到，但是上一时刻是存在的，我们认为是 暂时的量测丢失，但是这个目标并不一定会丢失，所以我们进行了补偿，通过加入一个 衰减函数，针对标签进行补偿。
相机与雷达融合的前沿方法
将图片传入到 CenterNet 特征提取网络中，通过深度学习，得到目标的 热力图、宽高、估计深度、物体 实际中心 离热力点偏移情况、旋转 等信息。
对雷达点云信息进行 支柱扩张 预处理，再通过视锥的关联方法，将雷达点云与相机目标关联起来。雷达能很好的测出目标的 深度、速度 信息，并有 信噪比、雷达散射面积 等特征，将雷达特征与图片特征结合起来。
把新的特征图放于深度学习中，得到最后融合后的目标检测结果。
整个传感器由一个毫米波雷达和 双目相机 组成。双目相机是为了提供更准确的位置估计和3D检测。
未来属于4D毫米波雷达
4D成像雷达可以输出 带有高度的目标点云，反映出目标的轮廓外形，与激光雷达的点云成像的原理不同，仅仅从毫米比雷达的点云并无法准确判断一个目标的外形等特征，但是其点云的 散射特征 具备一定规律。
其机器学习目标分类算法吸取了点云的几个特征：多普勒速度、点云强度分布，与距离有关的关联特征 等。在分类算法数据集中的测试对于行人达 95% 以上，特别是大型车辆分类达到了 99%。
