1.本发明涉及火源检测技术领域，目双特别是波段涉及一种三目双波段图像的对齐方法、该对齐方法应用于的图像对齐装置、基于该对齐方法设计的齐方火源检测与定位方法、以及该火源检测与定位方法应用于的法火法装火源检测与定位装置。
背景技术：
2.视觉火源检测与定位通常包含两大模块：火源检测、源检火源定位。测定前者旨在通过视觉传感器在图像坐标中排除背景干扰、位方辨识火源。目双常见的波段视觉传感器有：可见光相机、红外相机、图像红外热成像仪等。齐方后者则用于获取已检测的法火法装火源在真实3d坐标系中的位置。
3.在复杂的源检背景中，单纯依赖可见光图像或红外图像进行火源检测，测定都具有局限性：可见光容易对颜色、形状等与火焰相近的物体误检；红外容易对正常高温物体误检。而且可见光图像与红外图像来源于不同的图像传感器，即使可以通过内参归一化使两者成像的内参统一，但是由于两个设备的间距（又称“基线”或“基线距离”）在火源较近时无法忽略，对同一火源两幅图片存在视差，使双波段图像无法对齐。
4.若采用红外-可见光双目设计，会引出以下问题：热成像仪由于产生的图像分辨率低，无法进行精确定位；红外相机产生的图像由于与可见光图像风格差异较大，图像匹配算法效果较差。
技术实现要素：
5.基于此，有必要针对现有红外-可见光双波段图像对齐难度大的问题，提供了一种三目双波段图像的对齐方法、该对齐方法应用于的对齐装置、基于该对齐方法设计的火源检测与定位方法、以及该火源检测与定位方法应用于的火源检测与定位装置。
6.本发明采用以下技术方案实现：第一方面，本发明公开了三目双波段图像的对齐方法，用于将作用于相同位置的三个图像采集设备所采集的可见光图像和红外图像进行对齐，包括以下步骤：步骤一，获取三个图像采集设备的内参和外参；三个图像采集设备包括可见光相机一、可见光相机二、红外成像设备；可见光相机一用于采集可见光图像i1，可见光相机二用于采集可见光图像i2，红外成像设备用于采集红外图像i3；步骤二，对i1、i2进行图片对极矫正，将可见光相机一、可见光相机二的内参统一，并得到矫正后图像i1’、i2’；步骤三，将i1’、i2’进行立体匹配，得到包含深度数据的深度图d’；步骤四，建立i1’或i2’与i3的像素位置对应关系；步骤五，将i3的像素依据像素位置对应关系挪移到相应的i1’或i2’图像空间中，得到双波段对齐图i3’。
7.其中，步骤四中建立对应关系的方法包括：将i1’或i2’在其图片坐标系的像素坐标[u’,v’]根据d’进行像素逆投影，得到在
三维空间中的位置坐标[x,y,z]；再将[x,y,z]依据红外成像设备的内参和外参，投影到i3图片坐标系中得到位置坐标[u,v]；[u,v]与[u’,v’]相互对应。
[0008]
该三目双波段图像的对齐方法的实现根据本公开的实施例的方法或过程。
[0009]
第二方面，本发明公开了三目双波段图像的对齐装置，包括图像采集部、图像处理部。
[0010]
图像采集部包括导轨、可见光相机一、可见光相机二、红外成像设备。可见光相机一、可见光相机二设置在导轨上，用于采集双目的可见光图像i1、i2。红外成像设备也设置在导轨上，并挨着可见光相机一或可见光相机二设置，用于采集红外图像i3。图像处理部用于依据第一方面公开的三目双波段图像的对齐方法对图像采集部采集的图像进行处理得到双波段对齐图i3’。
[0011]
该三目双波段图像的对齐装置的实现根据本公开的实施例的方法或过程。
[0012]
第三方面，本发明公开了火源检测与定位方法，包括：获取根据第一方面公开的三目双波段图像的对齐方法所得到的双波段对齐图i3’、深度图d’、及相应的矫正后图像i1’或i2’；融合多波段信息；提取出候选火源像素；查找火源深度、并计算火源三维坐标。
[0013]
本发明还公开了火源检测与定位装置，包括第二方面公开的三目双波段图像的对齐装置、测定装置。三目双波段图像的对齐装置用于得到双波段对齐图i3’、深度图d’、及相应的矫正后图像i1’或i2’。测定装置依据上述的火源检测与定位方法得到火源三维坐标。
[0014]
与现有技术相比，本发明具备如下有益效果：本发明基于三目设计，使用了两个可观光相机、一个红外成像设备，先对两路可见光图像进行对极矫正，并进行立体匹配获取深度信息，再建立矫正后可见光图像与红外图像的像素位置对应关系，进而将红外图像的像素挪移到相应的可见光图像空间中，实现红外-可见光图像的对齐，实现可见光与红外信息的深度融合，可用于实现基于可见光和红外双波段线索的火源检测与定位。
附图说明
[0015]
图1为本发明实施例1提出的三目双波段图像的对齐装置的结构图；图2为本发明实施例1提出的三目双波段图像的对齐方法的整体流程图；图3为图2中的具体流程图；图4为本发明实施例1提出的进行火源检测与定位的整体流程图；图5为图4中进行火源检测与定位的具体方案图。
[0016]
附图中，各标号所代表的部件列表如下：1、可见光相机一，2、可见光相机二，3、红外成像设备，4、导轨，5、图像处理部。
具体实施方式
[0017]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0018]
需要说明的是，当组件被称为“安装于”另一个组件，它可以直接在另一个组件上
或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。当一个组件被认为是“固定于”另一个组件，它可以是直接固定在另一个组件上或者可能同时存在居中组件。
[0019]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
[0020]
实施例1
[0021]
参看图1，图1为本发明提出的三目双波段图像的对齐装置的结构图。三目双波段图像的对齐装置，包括图像采集部、图像处理部5。
[0022]
图像采集部包括导轨4、可见光相机一1、可见光相机二2、红外成像设备3。可见光相机一1、可见光相机二2装在导轨4上，用于采集双目的可见光图像i1、i2。红外成像设备3也装在导轨4上，并挨着可见光相机一1或可见光相机二2设置，用于采集红外图像i3。
[0023]
其中，可见光相机一1、可见光相机二2滑动连接在导轨4上，两者的基线距离为b1。b1可以固定也可以是可调节设计：若是可调节设计，必须设定多个调节预置位，每个预置位提前完成外参标定。红外成像设备3挨着可见光相机一1或可见光相机二2设置，红外成像设备3也滑动连接在导轨4上。一般的，红外成像设备3不装在两个可见光相机之间，而是位于可见光相机一1、可见光相机二2外围。
[0024]
本实施例1中将红外成像设备3挨着可见光相机一1安装，两者的基线距离为b2。其中，b2越小，视差就越小，装置使用效果优势越大。当然，若红外成像设备3挨着可见光相机二2安装，也应当保证两者的基线距离尽量小。
[0025]
图像处理部5用于依据三目双波段图像的对齐方法对图像采集部采集的图像进行处理得到双波段对齐图i3’。
[0026]
图像处理部5分为五个模块：相机标定模块、对极矫正模块、立体匹配模块、坐标转换模块、图片对齐模块。其中，相机标定模块用于获取三个图像采集设备的内参和外参。对极矫正模块用于对i1、i2进行图片对极矫正，将可见光相机一、可见光相机二的内参统一，并得到矫正后图像i1’、i2’。立体匹配模块用于将i1’、i2’进行立体匹配，得到包含深度数据的深度图d’。坐标转换模块用于建立i1’或i2’与i3的像素位置对应关系。图片对齐模块用于将i3的像素依据像素位置对应关系挪移到相应的i1’或i2’图像空间中，得到双波段对齐图i3’。
[0027]
总的来说，三目双波段图像的对齐方法就是使用双目可见光相机（记为c1、c2）进行高精度立体匹配，获得具有深度信息的图像（记为rgb-d图片）；再利用位置变换建立关系，根据深度信息，将来源于红外成像设备3（记为c3）的红外图像（记为infred原图）映射到rgb-d图像空间中，得到infred变形图，进而可构成rgb-infred-d图片。
[0028]
其中，对双可见光图像（即i1、i2）进行立体匹配，由于可见光图像实现超高分辨率，可保证定位精度。并且双可见光图像立体匹配较可见光-红外图像立体匹配技术更加成熟，精度更高。而红外图像作为火源检测的辅助信息，即使分辨率低也不影响定位精度。
[0029]
请参看图2，图2为本发明公开的三目双波段图像的对齐方法的流程图，用于实现三目双波段图像的对齐。其中的“三目”指的是作用于相同位置的三个图像采集设备：可见
光相机一1（简称为c1）、可见光相机二2（简称为c2）、红外成像设备3（简称为c3）。其中的“双波段图像”指的是可见光相机一1采集的可见光图像i1、可见光相机二2采集的可见光图像i2、红外成像设备3采集的红外图像i3。本实施例1中，c1、c2采用高分辨率（可达5000*3000），c3采用红外相机、热红外成像仪等。
[0030]
结合图3的具体流程图，三目双波段图像的对齐方法包括：步骤一，获取三个图像采集设备的内参和外参。
[0031]
本步骤采用通用相机标定流程，例如采用张正友标定法，获取到三个图像采集设备的内参和外参。
[0032]
其中：c1的内参为k1、外参为e1，提供的可见光图像为i1（又称rgb1图片）；c2的内参为k2、外参为e2，提供的可见光图像为i2（又称rgb2图片）；c3的内参为k3、外参为e3，提供的红外图像为i3（又称infred原图）。
[0033]
步骤二，对i1、i2进行图片对极矫正，将可见光相机一、可见光相机二的内参统一，并得到矫正后图像i1’、i2’。
[0034]
本步骤的目的是缩小后续图像匹配的搜索空间。这是因为，即使两个可见光相机是同型号，两者的内参也会有细微差异，因此，需要将两个可见光相机的内参统一，才能看作两个完全相同的相机。再将两个可见光相机“摆正姿态”（也就是使两相机的光轴同向且平行，且与两相机光心的连线垂直且共面），即完成对极矫正。
[0035]
对极矫正采用立体匹配领域中的标准步骤进行：一般的，先采用opencv工具箱中的stereorectify工具，对两个可见光相机的内参、外参进行矫正统一，得到统一后的内参。两路可见光图像使用initundistortrectifymap产生重映射map，进而进行像素移动得到矫正后的图像。
[0036]
这样，c1对应得到一个虚拟相机c1’、c2对应得到一个虚拟相机c2’。c1’的内参为k1’、外参为e1’。c2’的内参为k2’、外参为e2’。i1经过矫正得到i1’，i2经过矫正得到i2’，i1’、i2’的对应点在同一行，即在水平方向上是对齐的。
[0037]
步骤三，将i1’、i2’进行立体匹配，得到包含深度数据的深度图d’。
[0038]
依据背景技术可知，基于可见光的火源检测容易受复杂背景颜色、纹理、形状的干扰；基于红外图像的火源检测由于缺乏细节纹理、视觉上下文信息，容易将高温物体误检测为火源。因此，利用红外-可见光的信息互补是实现可靠火源检测的重要手段。然而，已有方法都忽略了红外成像与可见光成像间的视差问题。
[0039]
发明人经过分析后得出，两种图像的视差取决于设备的内参、外参以及物体的深度。内参、外参都可以通过设备的标定获取，因此计算成像物体的深度是获取红外-可见光图片的视差的关键。
[0040]
本步骤的目的就是为了获取到成像的深度信息。由于两路的双可见光图片具有相同的成像风格，可以适用端到端深度学习立体匹配方法，因此保证了立体匹配的效果，极大地降低了开发成本。具体的，将i1’、i2’经过端到端深度学习网络模型（例如crestereo模型、dispnet模型、aanet模型等）计算，输出视差，并结合内参k1’、外参e1’得到深度、并组成深度图d’。i1’和d’即可组成rgb-d图片。
[0041]
当然，也可使用其他传统立体匹配方法，但效果不如端到端深度学习立体匹配方法。
[0042]
步骤四，建立i1’或i2’与i3的像素位置对应关系。
[0043]
本步骤目的在于建立映射关系。一般来说，在选取i1’还是i2’时，优先选用红外成像设备3挨着安装的那个可见光相机所对应的图像。本实施例1由于将c3挨着c1安装，因此，建立i1’与i3的像素位置对应关系：具体的，先将i1’在i1’图片坐标系的像素坐标[u’,v’]根据d’进行像素逆投影，得到在三维空间中的位置坐标[x,y,z]。由于已经获取到了d’，其包含了深度信息，因此可将i1’逐像素按照d’逆投影，从而求取每个像素在三维空间中的位置坐标[x,y,z]。
[0044]
再将[x,y,z]依据c3的内参k3和外参e3，投影到i3图片坐标系中得到位置坐标[u,v]。
[0045]
每个像素对应一组[u’,v’]、[x,y,z]、[u,v]，[u,v]与[u’,v’]相互对应，即建立了像素位置对应关系。
[0046]
当然，若选取了i2’建立像素位置对应关系，操作方式也是相同的。
[0047]
步骤五，将i3的像素依据像素位置对应关系挪移到相应的i1’或i2’图像空间中，得到双波段对齐图i3’。
[0048]
由于步骤四已经建立了像素位置对应关系，那么本步骤即可依据该像素位置对应关系，将i3逐像素地挪移位置进行映射。一般采用opencv工具箱的remap工具即可实现。
[0049]
本实施例1中将i3的像素挪移到i1’图像空间中，进行图像变形，得到双波段对齐图i3’（又称infred变形图）。i3’与i1’对应点在同一行、同一列，即已实现完全对齐。这样，i1’、i3’、d’可组成rgb-infred-d图片。
[0050]
参看图4，本实施例还同步公开了火源检测与定位方法，其就是基于上述的三目双波段图像的对齐方法，进行下一步的火源检测与定位。
[0051]
参看图5，火源检测与定位方法包括以下步骤：获取根据三目双波段图像的对齐方法所得到的双波段对齐图i3’、深度图d’、及相应的矫正后图像i1’或i2’；然后融合多波段信息，再提取出候选火源像素，最后查找火源深度、并计算火源三维坐标。
[0052]
首先，融合多波段信息。一般的，使用深度学习网络结构进行多波段信息融合。具体的，本实施例1的i3’对应于i1’，因此对i3’与i1’采用数据融合，即将i1’与i3’在通道维度上串联，再经过深度神经网络提取特征。也可以采用特征融合的方式，即i1’与i3’经过深度神经网络分别提取特征一、特征二，然后对两种特征在通道维度上串联融合。
[0053]
然后，提取候选火源像素。可采用两种方案：一种是分割方案，即深度学习模型直接预测火源像素级分割结果，只要用阈值筛选分割像素，即可获得火源所在像素。另一种是目标检测方案，仅仅输出火源在图片上的矩形框位置，而矩形框内部既包含火源像素，又包含背景像素，因此需要将火源像素筛选出来，比如可以采用火源的显著性检测算法，基于人工设计的特征和先验知识，分割出火源的像素。
[0054]
最后，查找火源深度，并计算火源三维坐标。具体的，得到候选火源像素后，直接查询d’中的深度值，即可得到火源在相机坐标系中的深度；再根据相机外参e1’解出火源像素在三维坐标系中的坐标，即得到火源的三维坐标。
[0055]
本实施例也同步公开了火源检测与定位装置，包括测定装置、和上述的三目双波
段图像的对齐装置。三目双波段图像的对齐装置用于得到双波段对齐图i3’、深度图d’、及相应的矫正后图像i1’或i2’。测定装置依据上述火源检测与定位方法得到火源三维坐标。
[0056]
实施例2
[0057]
本实施例2公开了第一种可读存储介质。第一种可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行实施例1公开的三目双波段图像的对齐方法。
[0058]
本实施例2还公开了第二种可读存储介质。第二种可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行实施例1公开的火源检测与定位方法。
[0059]
实施例1的方法在应用时，可以软件的形式进行应用，如设计成计算机可读存储介质可独立运行的程序，计算机可读存储介质可以是u盘，设计成u盾，通过u盘设计成通过外在触发启动整个方法的程序。
[0060]
实施例3
[0061]
发明人对实施例1的方法进行了实验验证，在某日的晚间架设了三目双波段图像的对齐装置。两个可见光相机均采用海康mv-ce200-10uc，配50mm定焦镜头，一左一右设置，b1=1.188m。红外成像设备3采用海康mv-ce200-10um，配50mm定焦镜头及950纳米高通滤光片。红外成像设备3挨着左相机安装，b2=0.36m。可见光相机、红外成像设备3均拍摄相同位置的图像。
[0062]
火源距离左相机60.56米，采用0.13*0.13m2的正庚烷火盆，真实坐标采用激光测定为[53.4244,2447.4139,60510]，单位mm。
[0063]
使用本三目双波段图像的对齐装置依照实施例1的对齐方法实施：先对三个照相设备进行了标定，再对两个可见光相机的可见光图像进行对极矫正，即得到的矫正后图像。为了说明效果，本实施例2将两张矫正后图像左右相邻设置：其中，左部分为左相机拍摄的图像经过矫正得到的i1’，右部分即为右相机拍摄的图像经过矫正得到的i2’，并绘制横向的辅助网格线，表明两者在水平方向上是对齐的。
[0064]
然后，对矫正后图像进行立体匹配，得到包含深度数据的深度图d’。
[0065]
之后，选用i1’，建立与红外成像设备3的红外图像i3的像素位置对应关系。具体操作不再赘述。然后，将i3的像素依据像素位置对应关系挪移到i1’图像空间中，得到双波段对齐图i3’。为了说明效果，本实施例2将i1’置于左上位置，将i3’置于i1’的右侧、下侧，并绘制横向、纵向的辅助网格线，表明i1’、i3’已完全对齐，即说明红外图像、可见光图像实现了对齐。
[0066]
接着，基于上面得到i1’、i3’、d’，进一步按照实施例1的火源检测与定位方法计算火源三维坐标，具体过程不再赘述，最后得到火源计算坐标为[53.1218,2434.0098,60179.0959]，单位mm。与真实坐标相比，本方法的误差为330mm左右，说明本方法可达到较佳的计算准确度。
[0067]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0068]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。