自动驾驶摄像头布置注意事项
Link:
位置
主要思路都比较成熟，剩下需要考虑的一些问题：
- 与其他传感器的配合：主要是 Lidar，两者的视角是否需要尽量保持一致。
- 气流与自洁能力：摄像头位置上装个雨刷太滑稽，依靠汽车行驶中的气流来自洁是个基本思路。否则雨天挂个水滴在上面，这个摄像头就不可能正常感知了。
- 高度的基本思路：在满足车身美观、强度设计条件的范围内，尽量往上放。太低的位置，容易被遮挡、视角看不远、3D测距更不准。
角度
- 不用特别的追求相机的整个FOV的利用率，正常情况下肯定够用。
- 要预留图像处理的空间，比如：防抖算法会裁剪。
- 焦距比较小的镜头，需要考虑畸变、边缘画质崩溃的情况。
- 摄像头的图像最佳 ROI 应该和任务区间尽量配合。
焦距
焦距是取舍要求比较大的，一个摄像头只有一个镜头可以选（当然，你非配一个变焦…）。 焦距直接影响感知的距离范围，所以结合任务需求和算法能力来决定。比如：
- 低速车，感知距离20m顶天，一个摄像头+选个短点的焦距就差不多了。
- 算力有限，算法处理不了高清，但是又有对中远距离的感知需求。那就再多加个相机+长点的焦距；或者，高清输入截取不同分辨率的ROI。
- 数字变焦可以和分辨率配合。
帧率
- 直接的受限因素就是算力。120hz，相当与车端平台的感知部分全流程处理必须在6ms以内，难度太大。太慢的话，感知出来的结果本身就带来太多延迟，观测不足会对下游任务有负面影响。
- 另外一个考量因素就是 ISP 的需求。如果有些操作需要做多帧的处理，就需要最终的输出能满足要求。比如，HDR 操作直接取3帧合成1帧，算法要求30Hz，相机可能就需要90Hz。
bit率[动态范围]
基本思路越大越好。处理特殊光线场景会有一些优势。副作用是可能会带来带宽需求增加，不过可以从分辨率那里省出来。
分辨率
分辨率的范围是最灵活的，基本思路也是结合任务、算法、算力。
- 比较高的分辨率在单个摄像头上的优势是有更大的数码变焦范围。
- 多摄像头的焦距互补，可以减少对上一点的依赖。
- 分辨率是影响带宽最直接因素。
图像比例
4:3, 16:9 这种，或者其他的定制比例都没有特别大的影响。
- 对感知，一般图像高度都是富余的，所以可以选宽一点的比例。
- 也没说所有摄像头都一定要一个比例，不过一般都是一致的，何苦刁难供应商。
- 算法实际处理的图像比例也没有强制要求要和相机一致，该切图切图，该变比例变比例。
数量
- 首先需要考虑盲区问题，这是安全层面的基本要求。多个相机配合，应该尽量做到0盲区。
- 需要考虑硬件的接口与带宽。如果硬件带宽撑死了8相机，再多就需要牺牲其他部分来省带宽。
附件
- 车内的相机罩要用吸光材质，不然车内反光、外玻璃反光会一直伴随你。
- 固定件要尽量减少相机位置、角度的误差；锁定结构，防止外参因为震动等因素变化。
cmos 尺寸
越大越好，直接影响光线不足情况下的感知能力。更大的尺寸，可以用更小的ISO参数，或者更少的曝光时间。直接带来更少的图像噪点、更小的运动模糊。