1.本发明涉及一种摄像机参数自适应调整方法，属于视频监控技术领域。
背景技术：
2.视频监控系统已被广泛部署在日常生活中，这也带来了海量的图像数据。因此，为了更加智能地处理这些数据，视频监控系统需要不断改进。目前，智能视频监控系统利用目标检测和目标跟踪等计算机视觉技术实现智能化，能够快速地从大量的图像数据中提取有效信息。然而，现有的计算机视觉技术大多使用深度学习算法，而现有的深度学习算法需要大量的数据用于训练，而训练阶段的输入数据之间差异较小。相比之下，实际监控场景复杂多变，与训练场景存在差异，这些差异会使得获取到的数据有限，导致模型性能降低。
技术实现要素：
3.目前，研究者们主要使用域自适应的方法来使得训练场景中训练的模型适应新的场景，但是对于摄像机本身的参数调整考虑不足。实际上，摄像机本身的参数调整对于模型在适应新场景方面具有重要的作用。例如，通过根据背景差异调整成像参数，可以提高图像质量，从而减少背景差异的影响；通过根据目标状态调整运动控制参数，放大场景中的目标，可以获取目标细粒度的特征，从而减少目标差异的影响。考虑到现有技术的上述问题，本发明面向视频监控领域最常见的目标检测任务，提出了一种摄像机参数自适应调整的方法，基于对场景间域差异的准确度量，自适应地调整摄像机参数，以提升模型在新场景下的性能。
4.在此背景下，本发明考虑了对目标检测任务性能的提升作用，从场景域差异度量和摄像机参数自适应调整获取对目标检测任务更加有用且准确的图像数据，进而提出一种摄像机参数自适应调整方法并实现了对应的系统原型，提升目标检测算法的性能在新场景下的性能，对于智能化监控系统来说具有重要意义。
5.本发明通过摄像机参数自适应调整缩小场景间域差异，提升目标检测算法在新场景下的性能，提出了一种摄像机参数自适应调整的方法和系统，其中，首先准确度量场景间的域差异，然后将缩小场景间域差异的问题转换为摄像机参数自适应调整的问题，根据背景差异自适应调整成像参数，根据目标差异自适应调整运动控制参数，获取对目标检测任务更加有用且准确的图像数据，进而提升目标检测算法在新场景下的性能。
6.根据本发明的一个方面，提供了一种摄像机参数自适应调整方法，其特征在于包括：
7.a)通过照度估计、色偏估计和散射估计计算训练场景和应用场景间的背景差异指标，基于训练场景和应用场景间的背景差异指标度量训练场景和应用场景的背景差异，包括：
8.a1)计算训练场景和应用场景的背景差异指标，其中照度估计对每个像素点估计大气光强度，首先将较大邻域内亮度最大值作为初始结果，然后基于像素值、梯度等约束构
建目标函数，并采用迭代方式求解最终照度特征图，最后根据照度特征图计算亮度分布比例。色偏估计利用通道偏色指标来估计场景中图像的色偏程度。散射估计则利用cep椭球先验估计图像的透射率，得到透射率特征图，并基于特征图计算图像的散射水平值，从而衡量图像的散射程度。。
9.a2)在得到应用场景的背景差异指标后，将应用场景的指标与训练场景的指标的统计量进行对比，将训练场景作为正常场景，对应用场景进行分类，主要分为正常场景、强光场景、低照度场景、色偏场景、高动态场景和低能见度场景。正常场景意味着应用场景与训练场景存在的环境差异较小，不需要调整成像参数，而其余场景将触发相应的参数调整过程。
10.b)依据场景间的背景差异，自适应调整曝光参数、宽动态参数、白平衡参数、散射去除参数、照度映射参数和噪声抑制参数，包括：
11.b1)由于梯度标准反应了图像的边界信息，熵反应图像信息多少，而调整增益会影响图像的噪声，因此综合考虑这三个因素，并通过nm(nelder
–
mead)优化模型快速更新增益和曝光时间。
12.b2)以最小化通道偏色指标之和为优化目标，通过nelder
–
mead优化模型，调整白平衡参数红色通道增益和蓝色通道增益。
13.b3)如果当前场景为高动态场景，调用宽动态参数；如果是低照度场景，条用照度映射和噪声抑制参数；如果是低能见度场景，调用散射去除参数。
14.c)在调整完成像参数之后，对获取到的图像运行目标检测、目标跟踪和轨迹预测算法，得到场景中的目标的位置、大小、编号和预测得到的轨迹。
15.d)度量目标差异，包括计算场景间标签偏移、计算场景间特征偏移，并基于标签偏移结果和特征偏移结果度量场景间目标差异。
16.d1)使用图像检测结果中的目标置信度均值作为性能标签，通过ks检验判断训练场景和应用场景间的性能标签分布是否一致，作为应用场景是否发生标签偏移的依据。
17.d2)使用目标检测结果中的目标图像计算目标检测模型的主干网络的特征，并基于目标特征计算信息熵，得到应用场景信息熵分布。对于应用场景中的特征熵分布，采用统计学中对离群值的处理用于判断场景中目标的特征信息是否充分，作为后续触发摄像机参数调整的依据。
18.e)在目标差异感知结果的基础上，通过调整摄像机运动控制参数获取场景中目标的细粒度特征，包括目标状态建模、目标定位和感知顺序优化。
19.e1)基于目标检测、目标跟踪和轨迹预测的结果对目标状态进行建模，得到目标的位置、速度以及轨迹。
20.e2)基于几何模型对目标进行定位，将目标在图像中的坐标转换为摄像机的球面坐标。
21.e3)在排除已感知目标的前提下，以最小化摄像机调整时间为优化函数，求解将场景中多个目标放大到特定尺寸的参数调整序列。
附图说明
22.图1为根据本发明的一个实施例的基于目标差异的摄像机成像参数调整模型的示
意图。
23.图2是根据本发明的一个实施例的基于nm优化模型的白平衡参数调整模型的示意图。
24.图3是根据本发明的一个实施例的基于nm优化模型的曝光参数调整模型的示意图。
25.图4是根据本发明的一个实施例的基于目标差异的摄像机运动控制参数调整方法的示意图。
26.图5是根据本发明的一个实施例的目标状态建模方法的示意图。
27.图6是根据本发明的一个实施例的摄像机几何模型基本假设的示意图。
28.图7是根据本发明的一个实施例的基于多目标感知顺序优化计算运动控制参数序列放示意图。
29.图8是根据本发明的一个实施例的多目标感知顺序结果图。
具体实施方式
30.根据本发明的一个方面，提供了一种摄像机参数自适应调整方法。本发明的方法实现了摄像机参数调整对目标检测算法性能在新场景下的提升。
31.为实现摄像机参数自适应调整以提升目标检测在新场景下的性能，本发明提出了摄像机参数自适应调整及方法，其特征在于包括：
32.a)通过照度估计、色偏估计和散射估计，计算训练场景和应用场景间的背景差异指标，基于训练场景和应用场景间的背景差异指标度量训练场景和应用场景的背景差异，包括：
33.a1)计算训练场景和应用场景的背景差异指标，其中：
34.照度估计包括对每个像素点估计大气光强度，首先将较大邻域内亮度最大值作为初始结果，然后基于像素值、梯度等约束构建目标函数，并采用迭代方式求解最终照度特征图，最后根据照度特征图计算亮度分布比例，
35.色偏估计包括利用通道偏色指标来估计场景中图像的色偏程度，
36.散射估计包括利用cep椭球先验估计图像的透射率，得到透射率特征图，并基于特征图计算图像的散射水平值，从而衡量图像的散射程度，
37.a2)在得到应用场景的背景差异指标后，将应用场景的指标与训练场景的指标的统计量进行对比，将训练场景作为正常场景，对应用场景进行分类，包括：正常场景、强光场景、低照度场景、色偏场景、高动态场景和低能见度场景，其中正常场景意味着应用场景与训练场景存在的环境差异较小，不需要调整成像参数，其余场景将触发相应的参数调整过程，
38.b)依据场景间的背景差异，自适应调整曝光参数、宽动态参数、白平衡参数、散射去除参数、照度映射参数和噪声抑制参数，包括：
39.b1)综合考虑到三个因素：梯度标准反应了图像的边界信息，熵反应了图像信息多少，调整增益会影响图像的噪声，通过nm(nelder
–
mead)优化模型快速更新增益和曝光时间，
40.b2)以最小化通道偏色指标之和为优化目标，通过nm优化模型，调整白平衡参数红
色通道增益和蓝色通道增益，
41.b3)当前场景为高动态场景时调用宽动态参数，当当前场景是低照度场景时调用照度映射和噪声抑制参数，当当前场景是低能见度场景时调用散射去除参数，
42.c)在调整完成像参数之后，对获取到的图像运行目标检测、目标跟踪和轨迹预测算法，得到场景中的目标的位置、大小、编号和预测得到的轨迹，
43.d)度量目标差异，包括计算场景间标签偏移、计算场景间特征偏移，并基于标签偏移结果和特征偏移结果度量场景间目标差异，
44.d1)使用图像检测结果中的目标置信度均值作为性能标签，通过ks检验判断训练场景和应用场景间的性能标签分布是否一致，作为应用场景是否发生标签偏移的依据，
45.d2)使用目标检测结果中的目标图像计算目标检测模型的主干网络的特征，并基于目标特征计算信息熵，得到应用场景信息熵分布，
46.对于应用场景中的特征熵分布，采用统计学中对离群值的处理用于判断场景中目标的特征信息是否充分，作为后续触发摄像机参数调整的依据，
47.e)在目标差异感知结果的基础上，通过调整摄像机运动控制参数获取场景中目标的细粒度特征，包括目标状态建模、目标定位和感知顺序优化，
48.e1)基于目标检测、目标跟踪和轨迹预测的结果对目标状态进行建模，得到目标的位置、速度以及轨迹，
49.e2)基于几何模型对目标进行定位，将目标在图像中的坐标转换为摄像机的球面坐标，
50.e3)在排除已感知目标的前提下，以最小化摄像机调整时间为优化函数，求解将场景中多个目标放大到特定尺寸的参数调整序列。
51.根据本发明的一个进一步的实施例，在上述步骤b)中，基于背景差异调整摄像机成像参数的过程如图1所示，在准确度量背景差异的基础上，调整对应参数，其中成像参数自适应调整模型为：
52.mins
diff
53.s.t.k∈{1，...，k}，f∈{1，...，f}，s
diff
＝s
source-s
target
54.i＝i(t
exp
，k，w，r
gain
，b
gain
，f
sr
，f
im
，f
dn
)
55.t
exp
∈[33,1000]，k∈[0，100]，w∈{0，1}，r
gain
∈[0，100]，b
gain
∈[0，100]
[0056]fsr
∈{0，1}，f
im
∈{0，1}，f
dn
∈{0，1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0057]
其中s
diff
表示训练场景和应用场景的背景差异，f表示帧号，一共f帧，k表示目标编号，一共k个目标，s
source
表示源域场景度量结果，s
target
表示目标域场景度量结果，t
exp
表示曝光时间，，k表示曝光增益，w表示宽动态参数，r
gain
表示红色通道增益，b
gain
表示蓝色通道增益，f
sr
表示散射去除参数，f
im
表示照度映射参数，f
dn
表示噪声抑制参数，i＝i(t
exp
，k，w，r
gain
，b
gain
，f
sr
，f
im
，f
dn
)表示使用上述参数的成像过程，t
exp
∈[33,1000]、k∈[0，100]、w∈{0，1}、r
gain
∈[0，100]、b
gain
∈[0，100]、f
sr
∈{0，1}、f
im
∈{0，1}和f
dn
∈{0，1}表示参数t
exp
，k，w，r
gain
，b
gain
，f
sr
，f
im
和f
dn
的取值范围。由于曝光参数中的曝光时间s
diff
和增益k和白平衡参数中的r
gain
和b
gain
是连续的，为了满足实时性的要求，本发明采用nm(nelder-mead)优化模型快速求解曝光参数和白平衡参数。如图2所示，综合考虑这三个因素：梯度标准反应了图像的边界信息，熵反应图像信息多少，而调整增益会影响图像的噪声，，通过nm优化模型
快速更新增益和曝光时间。如图3所示，本发明通过以最小化通道偏色指标之和为优化目标，通过nm优化模型，调整白平衡参数红色通道增益和蓝色通道增益。
[0058]
根据本发明的一个进一步的实施例，在上述步骤c)中，目标检测部分采用的是yolov5的目标检测模型。目标跟踪部分采用bytetrack的多目标跟踪算法。轨迹预测部分采用的是多项式拟合算法。多项式拟合算法作为一种常用的轨迹拟合算法，其利用一组多项式函数逼近给定的轨迹数据，从而得到一个满足拟合精度要求的多项式曲线。
[0059]
根据本发明的一个进一步的实施例，在上述步骤e)中，所用的设备是固定的ptz摄像机，可以通过调整运动控制参数来获取目标细粒度图像。本发明的实施例中，考虑到目标越清晰，目标检测精度越大，因此优化目标是最大化获取目标在场景中的细粒度图像的数目，其求解公式如下所示。
[0060][0061]
s.t.k∈{1，
…
，k}，
[0062]
f∈{1，
…
，f}
[0063]
i＝i(p，t，z)，
[0064]
p∈[0,360]，t∈[-90，15]，z∈[1，23]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0065]
其中为在图像i中获取到了目标k大于θ尺度的图像的数目。p、t和z分别表示旋转、平移和缩放参数，p∈[0，360]，t∈[-90，15]，z∈[1，23]表示旋转、平移和缩放参数的取值范围。本实施例的摄像机成像参数调整方法如图4所示；其中，首先通过目标检测、目标跟踪和轨迹预测对目标状态进行建模，得到目标的位置、速度以及轨迹；然后基于几何模型对目标进行定位，将目标在图像中的坐标转换为摄像机的球面坐标；最后在排除已感知目标的前提下，以最小化摄像机调整时间为优化函数，求解将场景中多个目标放大到特定尺寸的参数调整序列。
[0066]
根据本发明的一个进一步的实施例，在上述步骤e)中，目标状态建模如图5所示，基于目标检测得到场景中的目标位置、编号、运动速度和方向等信息，然后通过多项式拟合算法对目标的轨迹预测，得到目标位置与帧号之间的函数关系，得到目标的状态si如下所示：
[0067][0068]
其中(xi，yi，wi，hi)表示目标i在场景中的位置和大小，idi使目标i的编号，使目标i在x和y方向的速度，(x
′i(t)，y
′i(t))表示目标i未来的x和y坐标与帧号t的函数。
[0069]
根据本发明的一个进一步的实施例，在上述步骤e)中，建立了摄像机和场景之间的几何模型，构建的几何模型如图6所示，根据摄像机画面的视场角以及目标在从摄像机中的位置与画面中心之间的距离，利用几何模型计算确定摄像机在水平和垂直角度上需要旋转的角度，从而实现摄像机中目标快速准确的定位。本实施例中将目标定位建模为：假设摄像机转动量为(pan，tilt)，如何由摄像机画面坐标(dv，dh)，转化为以摄像机为中心的球面坐标(a，b)：
[0070]
[0071][0072]
其中pan表旋转角度，tilt表示平移角度，dv表示目标图像横坐标，dh表示目标在图像的横坐标，fov表示视场角，imagew表示图像的宽度，a
′
，b’，c，d，a
″
和b
″
是求解过程中的中间角度，上述公式描述的是基于图6构建的几何模型求解将目标在图像中的坐标转换为对准该目标需要转动的旋转角度和平移角度。
[0073]
根据本发明的一个进一步的实施例，在上述步骤e)中，基于多目标感知顺序优化计算运动控制参数序列的方法如图7所示；其中，首先基于将目标放大到固定尺度的原则计算场景中目标的缩放参数z；然后去除无需缩放的目标；最后基于摄像机调整时间最短的原则求解最优感知顺序，并将感知顺序转换为旋转参数t和平移参数p，得到最终的运动控制参数调整序列。本实施例的研究对象是单台ptz摄像机，调整摄像机参数对目标获取细粒度特征图像会丢失全局视野。因此，为了减少丢失全局视野的时间，根据本发明的一个进一步的实施例，在上述步骤e)中，以摄像机参数调整时间最短为优化目标，求解目标感知顺序，一个示例的求解结果如图8所示。对于调整参数时间最短的优化策略，计算从摄像机当前位置与各个目标之间的距离，距离越小的目标，感知的优先级越高，对于同一优先级的目标，利用动态规划的方式计算遍历同一优先级的所有目标花费最小时间的感知顺序。再求解得到感知顺序后，以将目标放入视野中央为原则，求解观察对应目标的旋转参数t和平移参数p。求解公式如下所示：
[0074][0075]
其中表示目标的中心坐标，表示摄像机需要转动的角度，f
xy2pt
表示将中心坐标转换为摄像机需要转动的角度。
[0076]
综上所述，本发明提出了摄像机参数自适应调整方法。该方法和系统在准确度量场景域差异的基础上，将缩小场景域差异的问题转换为参设自适应调整的问题，通过自适应调整摄像机的成像参数和运动控制参数，提高了目标检测任务在新场景下的性能。因此，本发明方法适合多种复杂光照、色偏和散射条件下的降质图像，也可以适合于目标差异变化大的场景，可以作为预处理模块为目标检测算法提供有用且准确的图像数据，供后续的目标检测算法调用，提高目标检测算法的在新场景下的性能。
[0077]
本发明的优点和/或有益效果包括：
[0078]
本发明所提供的摄像机参数自适应调整的方法，对现有监控系统在适应新场景的
问题构成了实质性的显著改进。与现有技术相比，本发明首次说明了自适应调整的理论依据，即需要通过背景域差异和目标域差异来分别调整成像参数和运动控制参数；此外本发明准确度量了背景差异和目标差异，并使用上述差异作为目标函数，构建摄像机参数自适应调整模型，能够获取高质量且包含目标细粒度特征的图像，提升了目标检测算法在新场景中的性能，除此之外，相比于现有的目标定位方法，本文构建的基于几何模型的目标定位方法能够快速且准确的定位目标。本发明的有益效果体现在面向场景域差异自适应调整摄像机参数为目标检测任务提供了更有价值的图像数据，显著提升了目标检测算法在新场景下的性能。