技术领域
本发明涉及相机标定技术领域,特别涉及一种相机的外参标定方法、装置、系统及存储介质。
背景技术
由于相机自身内部器件的安装偏差,在相机使用前均需要对其进行标定,从而保证其拍摄的内容的准确;相机标定参数决定了空间点与图像平面上像点之间的对应关系。通常相机参数分为内参和外参,内参为相机自身的参数,外参为相机相对参考坐标系的位姿状态,如滚动角、俯仰角、偏航角等。
而现有技术中在对相机进行标定时,由于需要利用特制标定板,还需要特殊场地的布置,使得其具有标定场地占用大和灵活性差的缺点。
发明内容
本发明要解决的是外参标定场地占用大和灵活性差的技术问题。
为解决上述技术问题,本申请在一方面公开了一种相机的外参标定方法,其包括以下步骤:
获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集基于相机采集到的,该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体;
根据该初始外参、该第一位置坐标集和该第二位置坐标集确定出旋转外参的角度误差值;
根据该初始外参和该角度误差值确定出该相机的外参。
可选的,该外参包括旋转外参;
该初始外参包括初始旋转外参;
该根据该初始外参、该第一位置坐标集和该第二位置坐标集确定出旋转外参的角度误差值,包括:
获取第一转换规则;该第一转化规则基于该初始外参和相机内参确定;
基于该第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到第一图像坐标集;
获取第二转换规则;
基于该第二转换规则,将该每个参考点在相机像素坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到第二图像坐标集;
根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值。
可选的,该旋转外参包括滚转外参、俯仰外参和偏航外参;
该根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值,包括:
基于该第一图像坐标集和该第二图像坐标集确定出该滚转外参的滚转角度误差值;
根据该第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第一图像坐标;
根据该第二图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第二图像坐标;
根据该第一图像坐标和该第二图像坐标确定出该俯仰外参的俯仰角度误差值和该偏航外参的偏航角度误差值;
基于该滚转角度误差值、该俯仰角度误差值和该偏航角度误差值确定出该旋转外参的角度误差值。
可选的,该获取第一转换规则,包括:
获取将该世界坐标系转换为相机三维坐标系的第三转换规则;
获取将该相机三维坐标系转换为该相机图像坐标系的第四转换规则;
基于该第三转换规则和该第四转换规则确定出该第一转换规则;
该根据该第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第一图像坐标,包括:
基于该滚转角度误差值、该初始外参和该第三转换规则确定出更新第三转换规则;
基于该更新第三转换规则和该第四转换规则确定出更新第一转换规则;
基于该更新第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到更新第一图像坐标集;
根据该更新第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的更新第一图像坐标。
可选的,该根据该第一图像坐标和该第二图像坐标确定出该俯仰外参的俯仰角度误差值和该偏航外参的偏航角度误差值,包括:
基于该第四转换规则,将该中心点在相机图像坐标系下的更新第一图像坐标转换为该中心点在相机三维坐标系下的第一三维坐标;
基于该第四转换规则,将该中心点在相机图像坐标系下的第二图像坐标转换为该中心点在相机三维坐标系下的第二三维坐标;
根据该第一三维坐标和该第二三维坐标确定出该偏航角误差值;
基于该滚转角度误差值、该偏航角度误差值、该初始外参和该第三转换规则确定出再更新第三转换规则;
基于该再更新第三转换规则和该第四转换规则确定出再更新第一转换规则;
基于该再更新第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到再更新第一图像坐标集;
根据该再更新第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的再更新第一图像坐标;
基于该第四转换规则,将该中心点在相机图像坐标系下的再更新第一图像坐标转换为该中心点在相机三维坐标系下的更新第一三维坐标;
根据该再更新第一三维坐标和该第二三维坐标确定出该俯仰角误差值。
可选的,该初始外参还包括平移外参;
该获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和第二位置坐标集,包括:
获取该车辆预设范围内的高精度地图信息;
从该高精度地图信息中获取该第一位置坐标集和惯性传感器在世界坐标系下的坐标;
获取该惯性传感器和该相机之间的相对位置信息;
基于该惯性传感器在世界坐标系下的坐标和该相对位置信息确定出该相机在世界坐标系下的坐标;
基于该相机在世界坐标系下的坐标和该第一位置坐标集确定出该平移外参;
获取初始旋转外参;
基于该初始旋转外参和该平移外参确定出该初始外参;
获取该第二位置坐标集;该获取高精度地图信息的时刻与该获取该第二位置坐标集的时刻相同。
可选的,该根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值,包括:
根据该第一图像坐标集与该第二图像坐标集确定出误差值集;该误差值集包括该每个参考点的第一图像坐标与第二图像坐标之间的误差值;
若该误差值集中的每个参考点的误差值大于预设阈值,则根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值。
本申请在另一方面还公开了一种相机的外参标定装置,其包括:
参数获取模块,用于获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集基于相机采集到的,该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体;
误差值确定模块,用于根据该初始外参、该第一位置坐标集和第二位置坐标集确定出旋转外参的角度误差值;
外参确定模块,用于根据该初始外参和该角度误差值确定出该相机的外参。
本申请在另一方面还公开了一种相机的外参标定系统,其包括连接的相机和处理器;
该相机用于采集多边形道路物体的第二位置坐标集,并将该第二位置坐标集发送给该处理器;
该处理器用于获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和该第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体;根据该初始外参、该第一位置坐标集和第二位置坐标集确定出旋转外参的角度误差值;根据该初始外参和该角度误差值确定出该相机的外参。
本申请在另一方面公开了一种计算机存储介质,该计算机存储介质中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序由处理器加载并执行以实现上述的外参标定方法。
采用上述技术方案,本申请提供的外参标定方法具有如下有益效果:
本申请提供的该外参标定方法具体包括以下内容,获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集基于相机采集到的,该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体;根据该初始外参、该第一位置坐标集和该第二位置坐标集确定出旋转外参的角度误差值;根据该初始外参和该角度误差值确定出该相机的外参。从而使得本申请可以以信号灯的顶点作为参考点,来实现后续的外参标定,该信号灯是汽车行驶过程中常见的物体,便于当车辆在行驶过程中的相机参数发生偏差时,可以是实时对其进行动态标定,具有标定场地占用小、标定效率高和灵活性高的优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种应用场景图;
图2为本申请提供的第一种可选的外参标定方法的流程示意图;
图3为本申请提供的第二种可选的外参标定方法的流程示意图;
图4为多种坐标之间的关系示意图;
图5为本申请第一种可选的第一图像坐标集和所述第二图像坐标集中的参考点之间的位置关系示意图;
图6为本申请提供的第三种可选的外参标定方法的流程示意图;
图7为本申请第二种可选的第一图像坐标集和所述第二图像坐标集中的参考点之间的位置关系示意图;
图8为本申请一种可选的世界坐标系和相机三维坐标系的位置关系示意图;
图9为本申请提供的第四种可选的外参标定方法的流程示意图;
图10为本申请可选的再更新第一图像坐标集和所述第二图像坐标集中的参考点之间的位置关系示意图;
图11为相机三维坐标系、惯性传感器的坐标系和地球坐标系之间的位置示意图;
图12为本申请一种可选的外参标定装置的结构示意图;
图13是本申请实施例提供的一种相机的外参标定方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语 " 第一 " 、 " 第二 " 等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语 " 包括 " 和 " 具有 " 以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,图1为本申请提供的一种应用场景图。该场景包括车辆10和外参标定系统20;该外参标定系统20设于车辆10中,该外参标定系统20包括相机201和处理器202;该相机201与该处理器202连接;该相机201用于采集多边形道路物体的第二位置坐标集,并将该第二位置坐标集发送给该处理器202;该处理器202用于获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和该第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体;根据该初始外参、该第一位置坐标集和第二位置坐标集确定出旋转外参的角度误差值;根据该初始外参和该角度误差值确定出该相机的外参。从而能够有效提高该车辆上的相机标定的便捷度和效率,且本申请仅需要车辆自带的硬件系统以及常见的信号灯即可完成对相机的外参标定,可见对场地要求低,降低了相机201进行外参标定的成本。
以下介绍本申请一种相机的外参标定方法的具体实施例,图2为本申请提供的第一种可选的外参标定方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集基于相机采集到的,该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体。
可选的,该多边形道路物体可以是信号灯、路牌或者指示牌等多边形的物体,便于将其的顶点作为参考定进行后续标定。
可选的,本申请实施例将以信号灯为例进行阐述,可选的,该信号灯为矩形,包括四个顶点,则对应的参考点的个数为4;这4个参考点分别为第一参考点A1、第二参考点A2、第三参考点A3和第四参考点A4,且其可以依次连接形成矩形;为了便于理解,可以将第一位置坐标集对应的四个参考点分别记为A1,A2,A3,A4;将第二位置坐标集对应的四个参考点分别记为A1′,A2′,A3′,A4′。
需要说明的是,该信号灯还可以是正方形、梯形、菱形等四边形;当然,也可以不限于四边形,还可以是六边形、八边形等,可以将其对应的顶点全部设为参考点,也可以将部分顶点设为参考点,在此不做限定。
可选的,该外参包括旋转外参R和平移外参T;该初始外参包括初始旋转外参R0和平移外参T。
可选的,该平移外参可以是初始设置的外参,也可以是上述同一时刻下确定出的平移外参;可选的,平移外参可以基于如下方法确定出:获取该车辆预设范围内的高精度地图信息;从该高精度地图信息中获取该第一位置坐标集和惯性传感器在世界坐标系下的坐标;获取该惯性传感器和该相机之间的相对位置信息;基于该惯性传感器在世界坐标系下的坐标和该相对位置信息确定出该相机在世界坐标系下的坐标;基于该相机在世界坐标系下的坐标和该第一位置坐标集确定出该平移外参。可选的,由于惯性传感器一般安装于后轮之间的连接轴的中部,其与相机的位置可以基于车辆坐标系确定,从而可以确定出该惯性传感器与相机的相对位置信息。
为了避免由于车辆行驶过程造成相机与参考点之间的距离的不断变化而造成的平移外参的变化,进行使得标定结果不准确性的情况;可选的,该获取高精度地图信息的时刻与该获取该第二位置坐标集的时刻相同,从而能够有效保证标定的时间。
S202:根据该初始外参、该第一位置坐标集和该第二位置坐标集确定出旋转外参的角度误差值。
需要说明的是,若该初始外参中的平移外参为初始平移外参,则后续还需要基于上述确定平移外参的方法来确定出当前平移外参,并用其替换初始平移外参,得到具有当前平移外参的初始外参。
可选的,如图3所示,图3为本申请提供的第二种可选的外参标定方法的流程示意图。步骤S202可以具体阐述为:
S2021:获取第一转换规则;该第一转化规则基于该初始外参和相机内参确定。
在本实施例中,为了更好地描述本申请中涉及到的不同坐标系下的坐标转换关系,以下将对四种坐标之间的转换关系进行简要描述,可以参阅图4,图4为多种坐标之间的关系示意图;上述或者下文将涉及到以下四种坐标系,即世界坐标系:Xw、Yw、Zw;相机三维坐标系:Xc、Yc、Zc;相机图像坐标系:x、y;相机像素坐标系:u、v(反映了相机CCD芯片中像素的排列情况);相机三维坐标系与相机图像坐标系之间的距离为焦距f,即图中O点到Oc点的距离;Oc为镜头光心处,Z轴为镜头光轴;O1为相机像素坐标的原点。
由图4可以看出,相机像素坐标系与相机相机图像坐标系之间的关系如下:
其中,记为K1。
相机三维坐标系与相机图像坐标系的关系如下:
其中,记为K2。
将公式(1)和公式(2)联立可以得到相机像素坐标系与相机三维坐标系的关系如下:
则K1*K2即为相机的内参,记为K。
而将相机三维坐标系转换到世界坐标系可以由旋转矩阵R,即上述旋转外参;和平移向量T,即上述平移外参组成的齐次坐标矩阵来表示,该齐次坐标矩阵表示如下:
则根据公式(4),该相机三维坐标系与世界坐标系的关系如下:则即为相机的外参,记为M。
由上述描述可知,则下文涉及的第三转换规则可以是公式(5);下文涉及的第四转换规则可以是公式(2);上述的第一转换规则可以是由公式(5)和公式(2)联立得到的计算公式。
S2022:基于该第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到第一图像坐标集。
可选的,参阅图5,图5为本申请第一种可选的第一图像坐标集和所述第二图像坐标集中的参考点之间的位置关系示意图;第一图像坐标集包括参考点A1,A2,A3,A4。
S2023:获取第二转换规则。
可选的,该第二转换规则可以是公式(1)。
可选的,该第二转换规则可以是预先设置好的,存储于处理器;也可以是从服务器获取到的数据;还可以是标定出的。
S2024:基于该第二转换规则,将该每个参考点在相机像素坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到第二图像坐标集。
可选的,参阅图5,第二图像坐标集包括参考点A1′,A2′,A3′,A4′。
S2025:根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值。
为了在保证标定的准确性的基础上,提高标定效率,避免重复标定。于一种可选的实施例中,步骤S2025可以具体阐述为:根据该第一图像坐标集与该第二图像坐标集确定出误差值集;该误差值集包括该每个参考点的第一图像坐标与第二图像坐标之间的误差值;若该误差值集中的每个参考点的误差值大于预设阈值,则根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值。
于一种可选的实施例中,该旋转外参包括滚转外参R1、俯仰外参R2和偏航外参R3,分别对应Z、X、Y。
为了提高该标定方法的灵活性,参阅图6,图6为本申请提供的第三种可选的外参标定方法的流程示意图。于一种可选地实施方式中,步骤S2025可以具体阐述为:
S601:基于该第一图像坐标集和该第二图像坐标集确定出该滚转外参的滚转角度误差值。
可选地,参阅图5,接上述实施例,第一图像坐标集包括A1(x1,y1),A2(x2,y2),A3(x3,y3),A4(x4,y4);第二图像坐标集包括A1′(x1′,y1′),A2′(x2′,y2′),A3′(x3′,y3′),A4′(x4′,y4′);由于该A1′A2′A3′A4′依次连接形成矩形,且A1′A2′连接形成的直线平行于y轴;A2′A3′连接形成的直线平行于x轴;选择外参的角度误差值Δθ可以是如下公式(6)-(8)中的任意一种计算出的数值:
当然,若还有多组参考点数据,可以以上述同样的方式进行处理,当基于公式(8)进行处理时,可以对多组参考点数据之和求平均。
S602:根据该第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第一图像坐标。
可选的,参阅图7,图7为本申请第二种可选的第一图像坐标集和所述第二图像坐标集中的参考点之间的位置关系示意图。可以将第一图像坐标集确定出的该多个参考点对应的中心点记为A5。
为了提高标定的旋转外参的准确性;于一种可选的实施方式中,步骤S602可以具体阐述为:
基于该滚转角度误差值、该初始外参和该第三转换规则确定出更新第三转换规则;基于该更新第三转换规则和该第四转换规则确定出更新第一转换规则;基于该更新第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到更新第一图像坐标集;根据该更新第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的更新第一图像坐标。后续可以基于该更新的第一图像坐标继续迭代确定出俯仰外参和偏航外参。
可选的,上述滚转外参R1、俯仰外参R2和偏航外参R3分别满足以下公式:
R=(R2*R3*R1)T……公式(12)
其中,θ-滚转角;α-俯仰角;β-偏航角;且θ、α、β分别满足以下公式:
θ=θ0+Δθ……公式(13),其中,θ0-初始旋转外参中初始滚转角外参的初始滚转角;Δθ-滚转角误差值。
α=α0+Δα……公式(14),其中,α0-初始旋转外参中初始俯仰角外参的初始俯仰角;Δα-俯仰角误差值。
β=β0+Δβ……公式(15),其中,β0-初始旋转外参中初始偏航角外参的初始偏航角;Δβ-偏航角误差值。
可选的,参阅图8,图8为本申请一种可选的世界坐标系和相机三维坐标系的位置关系示意图;从图中可以看出,从世界坐标系到相机三维坐标系之间按照ZYX的顺序进行旋转,则其旋转参数为(-90°,90°,0°),由于滚转外参与Z轴对应、偏航外参与Y轴对应、俯仰外参与X轴对应;即该上述θ0=-90°;β0=90°;α0=0°。
基于上述描述,上述确定更新第三转换规则的方式可以具体阐述为:通过将计算出的Δθ代入公式(13)中,从而可以得到滚转角θ,再将θ代入公式(9)中,从而计算出更新的R1;将更新的R1代入公式(12)中即可得到更新的R,则将更新R代入公式(5)中,即可得到更新第三转换规则。
S603:根据该第二图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第二图像坐标。
可选的,参阅图7,可以将第二图像坐标集确定出的该多个参考点对应的中心点记为A5′。
S604:根据该第一图像坐标和该第二图像坐标确定出该俯仰外参的俯仰角度误差值和该偏航外参的偏航角度误差值。
于一种可选的实施例中,参阅图9,图9为本申请提供的第四种可选的外参标定方法的流程示意图。步骤S604可以具体阐述为:
S901:基于该第四转换规则,将该中心点在相机图像坐标系下的更新第一图像坐标转换为该中心点在相机三维坐标系下的第一三维坐标。
可选的,将更新第一图像坐标代入公式(2),可以得到第一三维坐标,记为(Xc5,Yc5,Zc5)。
S902:基于该第四转换规则,将该中心点在相机图像坐标系下的第二图像坐标转换为该中心点在相机三维坐标系下的第二三维坐标。
可选的,将第二图像坐标代入公式(2),可以得到第二三维坐标,记为(Xc5′,Yc5′,Zc5′)。
S903:根据该第一三维坐标和该第二三维坐标确定出该偏航角误差值。
可选的,设Zc=1,则Zc5=Zc5′=1;
参阅图4和图7,可以确定出:
偏航角误差值Δα=tan-1(Xc5’)-tan-1(Xc5)……公式(16)
S904:基于该滚转角度误差值、该偏航角度误差值、该初始外参和该第三转换规则确定出再更新第三转换规则。
可选的,基于上述例子,利用上述计算更新第三转换规则同样的方式即可计算出该再更新第三换换规则。
S905:基于该再更新第三转换规则和该第四转换规则确定出再更新第一转换规则。
可选的,可以利用上述公式(2)和再更新公式(5)确定该再更新第一转换规则。
S906:基于该再更新第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到再更新第一图像坐标集。
S907:根据该再更新第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的再更新第一图像坐标。
可选的,参阅图10,图10为本申请可选的再更新第一图像坐标集和所述第二图像坐标集中的参考点之间的位置关系示意图。可以将再更新第一图像坐标集确定出的该多个参考点对应的中心点记为A5″。
S908:基于该第四转换规则,将该中心点在相机图像坐标系下的再更新第一图像坐标转换为该中心点在相机三维坐标系下的更新第一三维坐标。
可选的,将更新第一图像坐标代入公式(2),可以得到第一三维坐标,记为(Xc5″,Yc5″,Zc5″)。
S909:根据该再更新第一三维坐标和该第二三维坐标确定出该俯仰角误差值。
可选的,设Zc=1,则Zc5″=Zc5′=1;
参阅图4和图10,可以确定出:
俯仰角误差值Δβ=tan-1(Yc5’)-tan-1(Yc5″)……公式(17)
S605:基于该滚转角度误差值、该俯仰角度误差值和该偏航角度误差值确定出该旋转外参的角度误差值。
S203:根据该初始外参和该角度误差值确定出该相机的外参。
可选的,当上述基于高精度地图信息确定出的第一位置坐标集中的世界坐标系为惯性传感器的坐标所在的世界坐标系,即可基于上述步骤S201-S203确定出相机的外参,该相机的外参实际上也可以表示为惯性传感器的坐标系到相机三维坐标系的转换矩阵;可选的,当述两种世界坐标系是不同的时,即需要进行旋转、平移变换,才能将两种坐标系变换为同一坐标系,则上述步骤S203可以具体阐述为:根据该初始外参和该角度误差值确定出该相机的第一外参;获取第二外参;根据该第一外参和第二外参确定出该相机的外参;该第一外参为惯性传感器的坐标系到相机三维坐标系的转换矩阵;第二外参为地球坐标系到惯性传感器的坐标系的转换矩阵,参阅图11,图11为相机三维坐标系、惯性传感器的坐标系和地球坐标系之间的位置示意图;其中,惯性传感器的坐标系为:Xw′、Yw′、Zw′;地球坐标系为:Xw、Yw、Zw。可选的,第二外参可以直接基于惯性传感器输出确定,其可以是一个定值。
可选的,可以通过将上述Δθ、Δα和Δβ分别代入公式(13)、(14)和(15)中,继而再将求出的θ、α、β分别代入公式(9)、(10)和(11)中,得到R1、R2和R3,再将R1、R2和R3代入公式(12)中即可得到R;后续基于公式(4)即可确定出外参。
综上所述,本申请在确定相机的外参过程中,需要先确定出Δθ、Δα和Δβ;在一种可选的实施例中,例如上述步骤S801-S809的方式来求解出,即迭代更新的方式来确定,可以进一步提高标定结果的准确性;当然,为了提高标定效率,即上述步骤S601和S602-S604这两个过程是可以同步运行的,也就是说,可以直接基于步骤S602和S603确定出的A5和A5′将其分别代入公式(16)和公式(17)求解出Δα和Δβ;为了进一步提高标定效率,可选的,确定Δα和Δβ的过程也可以是同步进行的。
参阅图12,图12为本申请一种可选的外参标定装置的结构示意图。本申请在另一方面还公开了一种相机的外参标定装置,其包括:
参数获取模块1201,用于获取初始外参、同一时刻下的多边形道路物体的第一位置坐标集和第二位置坐标集;该第一位置坐标集包括多个参考点中的每个参考点在世界坐标系下的坐标;该第二位置坐标集基于相机采集到的,该第二位置坐标集包括该多个参考点中的每个参考点在相机像素坐标系下的坐标;该多边形道路物体包括多个顶点;该每个参考点对应一个顶点;该多边形道路物体为车辆行驶中确定的道路物体;
误差值确定模块1202,用于根据该初始外参、该第一位置坐标集和第二位置坐标集确定出旋转外参的角度误差值;
外参确定模块1203,用于根据该初始外参和该角度误差值确定出该相机的外参。
于一种可选的实施例中,该外参包括旋转外参;该初始外参包括初始旋转外参;
误差值确定模块,用于获取第一转换规则;该第一转化规则基于该初始外参和相机内参确定;基于该第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到第一图像坐标集;获取第二转换规则;基于该第二转换规则,将该每个参考点在相机像素坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到第二图像坐标集;根据该第一图像坐标集和该第二图像坐标集确定出该旋转外参的角度误差值。
于一种可选的实施例中,该旋转外参包括滚转外参、俯仰外参和偏航外参;误差值确定模块,用于基于该第一图像坐标集和该第二图像坐标集确定出该滚转外参的滚转角度误差值;根据该第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第一图像坐标;根据该第二图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的第二图像坐标;根据该第一图像坐标和该第二图像坐标确定出该俯仰外参的俯仰角度误差值和该偏航外参的偏航角度误差值;基于该滚转角度误差值、该俯仰角度误差值和该偏航角度误差值确定出该旋转外参的角度误差值。
于一种可选的实施例中,该误差值确定模块包括规则获取子模块和第一图像坐标确定子模块,该规则获取子模块,用于获取将该世界坐标系转换为相机三维坐标系的第三转换规则;获取将该相机三维坐标系转换为该相机图像坐标系的第四转换规则;基于该第三转换规则和该第四转换规则确定出该第一转换规则;
该第一图像坐标确定子模块,用于基于该滚转角度误差值、该初始外参和该第三转换规则确定出更新第三转换规则;基于该更新第三转换规则和该第四转换规则确定出更新第一转换规则;基于该更新第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到更新第一图像坐标集;根据该更新第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的更新第一图像坐标。
于一种可选的实施例中,该误差值确定模块,用于基于该第四转换规则,将该中心点在相机图像坐标系下的更新第一图像坐标转换为该中心点在相机三维坐标系下的第一三维坐标;基于该第四转换规则,将该中心点在相机图像坐标系下的第二图像坐标转换为该中心点在相机三维坐标系下的第二三维坐标;根据该第一三维坐标和该第二三维坐标确定出该偏航角误差值;基于该滚转角度误差值、该偏航角度误差值、该初始外参和该第三转换规则确定出再更新第三转换规则;基于该再更新第三转换规则和该第四转换规则确定出再更新第一转换规则;基于该再更新第一转换规则,将该每个参考点在世界坐标系下的坐标转换为该每个参考点在相机图像坐标系下的坐标,得到再更新第一图像坐标集;根据该再更新第一图像坐标集确定出该多个参考点对应的中心点在相机图像坐标系下的再更新第一图像坐标;基于该第四转换规则,将该中心点在相机图像坐标系下的再更新第一图像坐标转换为该中心点在相机三维坐标系下的更新第一三维坐标;根据该再更新第一三维坐标和该第二三维坐标确定出该俯仰角误差值。
于一种可选的实施例中,该初始外参还包括平移外参;参数获取模块,用于获取该车辆预设范围内的高精度地图信息;从该高精度地图信息中获取该第一位置坐标集和惯性传感器在世界坐标系下的坐标;获取该惯性传感器和该相机之间的相对位置信息;基于该惯性传感器在世界坐标系下的坐标和该相对位置信息确定出该相机在世界坐标系下的坐标;基于该相机在世界坐标系下的坐标和该第一位置坐标集确定出该平移外参;获取初始旋转外参;基于该初始旋转外参和该平移外参确定出该初始外参;获取该第二位置坐标集;该获取高精度地图信息的时刻与该获取该第二位置坐标集的时刻相同。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图13是本申请实施例提供的一种相机的外参标定方法的服务器的硬件结构框图。如图13所示,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Centra l Process i ng Un its,CPU)1310(中央处理器1310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1330,一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中,存储器1330和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1310可以设置为与存储介质1320通信,在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300还可以包括一个或一个以上电源1360,一个或一个以上有线或无线网络接口1350,一个或一个以上输入输出接口1340,和/或,一个或一个以上操作系统1321,例如Wi ndows ServerTM,MacOS XTM,Un i xTM,Li nuxTM,FreeBSDTM等等。
输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中,输入输出接口1340包括一个网络适配器(Network I nterface Contro l l er,N I C),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1340可以为射频(Radi o Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图13所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1300还可包括比图13中所示更多或者更少的组件,或者具有与图13所示不同的配置。
本申请的实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的相机的外参标定方法。
本申请的实施例还提供了一种存储介质,该存储介质可设置于服务器之中以保存用于实现方法实施例中一种相机的外参标定方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述相机的外参标定方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-On l y Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
一种相机的外参标定方法、装置、系统及存储介质
展开 >