1.本技术涉及自动化设备领域，整平且更为具体的机的及涉及一种整平机的控制系统及其控制方法。
背景技术：
2.整平机是控制控制将不平整的金属板材，通过上下轧辊将一定厚度的系统带材或板材进行挤压，从而达到平整的流程效果。一般整平机具有多辊轴，整平例如，机的及三轴辊整平机，控制控制采用较大的系统轴径施工效率较高，平整度较好，流程但表面浆体比较容易离析，整平浆较薄。机的及采用较小的控制控制轴径，提浆效果较好，系统但轴易变形，流程应注意校正。
3.因此，期待一种整平机的控制系统，其能够基于被操作对象的表面状况来选择具有合适直径的辊轴来提高整平效果。
技术实现要素：
4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种整平机的控制系统及其控制方法，其基于待整平材料的表面状况来自适应选择合适直径的辊轴来提高整平效果。具体地，在本技术的技术方案中，考虑到这本质上是一个分类的问题，也就是，例如对于三轴辊整平机来言，采用基于深度学习的人工智能算法来从待整平材料的表面图像中提取长距离上下文语义关联信息和中距离上下文语义关联信息，并以此融合特征信息来进行三轴辊的类型标签分类。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。
5.根据本技术的一个方面，提供了一种整平机的控制系统，其包括：待整平材料表面图像采集单元，用于获取待整平材料的表面图像；图像划分单元，用于将所述待整平材料的表面图像分成二维图像块序列；图像块向量化单元，用于将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列；第一尺度上下文编码单元，用于将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量；级联单元，用于将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量；第二尺度上下文编码单元，用于将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；多尺度融合单元，用于融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量；向量校正单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；以及整平控制结果生成单元，用于将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。
6.在上述整平机的控制系统中，所述图像划分单元，进一步用于将所述待整平材料的表面图像进行均匀划分得到的所述二维图像块序列。
7.在上述整平机的控制系统中，所述图像块向量化单元，进一步用于使用所述线性嵌入层以可学习嵌入矩阵对所述二维图像块序列中各个二维图像块进行线性投影以得到
所述图像块特征向量的序列。
8.在上述整平机的控制系统中，所述第一尺度上下文编码单元，进一步用于：将所述图像块特征向量的序列排列为输入向量；将所述输入向量分别通过可学习嵌入矩阵转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；以及，将所述自注意力特征矩阵与所述图像块特征向量的序列中的各个图像块特征向量分别进行相乘以得到所述多个图像块语义特征向量。
9.在上述整平机的控制系统中，所述多尺度融合单元，进一步用于：以如下公式融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到所述分类特征向量；其中，所述公式为：其中，表示所述长距离依赖图像特征向量，表示所述中距离依赖图像特征向量，表示级联函数。
10.在上述整平机的控制系统中，所述向量校正单元，进一步用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；其中，所述校正公式为：，其中，是所述分类特征向量，和是特征集合的均值和方差，是所述分类特征向量的转置向量，表示向量的二范数的平方，表示矩阵的frobenius范数，是所述分类特征向量的第个位置的特征值，是所述校正后分类特征向量的第个位置的特征值。
11.在上述整平机的控制系统中，所述整平控制结果生成单元，进一步用于：使用所述分类器以如下公式对所述校正后分类特征向量进行处理以生成所述分类结果；其中，所述公式为：，其中为输出结果向量， 和分别为第个分类对应的权重和偏置向量，表示向量的指数运算，所述向量的指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。
12.在上述整平机的控制系统中，还包括用于对所述线性嵌入层、所述基于转换器的上下文编码器、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块。
13.在上述整平机的控制系统中，所述训练模块，包括：训练待整平材料表面图像采集单元，用于获取训练数据，所述训练数据包括待整平材料的训练表面图像，以及，所述辊轴的类型标签的真实值；训练图像划分单元，用于将所述待整平材料的训练表面图像分成训练二维图像块序列；训练图像块向量化单元，用于将所述训练二维图像块序列中各个训练二维图像块分别通过所述线性嵌入层以得到训练图像块特征向量的序列；训练第一尺度上下文编码单元，用于将所述训练图像块特征向量的序列通过所述基于转换器的上下文编码器以得到多个训练图像块语义特征向量；训练级联单元，用于将所述多个训练图像块语义特征向量进行级联以得到训练长距离依赖图像特征向量；训练第二尺度上下文编码单元，
用于将所述训练图像块特征向量的序列通过所述双向长短期记忆神经网络模型以得到训练中距离依赖图像特征向量；训练多尺度融合单元，用于融合所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量以得到训练分类特征向量；分类损失函数值计算单元，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；分类模式消解抑制损失函数值计算单元，用于计算所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的分类模式消解抑制损失函数值；以及，训练单元，用于以所述分类模式消解抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述线性嵌入层、所述基于转换器的上下文编码器、所述双向长短期记忆神经网络模型和所述分类器进行训练。
14.在上述整平机的控制系统中，所述分类模式消解抑制损失函数值计算单元，进一步用于：以如下公式计算所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的所述分类模式消解抑制损失函数值；其中，所述公式为：，其中和分别是所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量，且和分别是所述分类器对于所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的权重矩阵， 表示向量的二范数的平方，表示矩阵的frobenius范数，表示按位置减法，表示指数运算。
15.根据本技术的另一方面，还提供了一种整平机的控制方法，其包括：获取待整平材料的表面图像；将所述待整平材料的表面图像分成二维图像块序列；将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列；将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量；将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量；将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量；对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；以及将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。
16.与现有技术相比，本技术提供的整平机的控制系统及其控制方法，其基于待整平材料的表面状况来自适应选择合适直径的辊轴来提高整平效果。具体地，在本技术的技术方案中，考虑到这本质上是一个分类的问题，也就是，例如对于三轴辊整平机来言，采用基于深度学习的人工智能算法来从待整平材料的表面图像中提取长距离上下文语义关联信息和中距离上下文语义关联信息，并以此融合特征信息来进行三轴辊的类型标签分类。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。
附图说明
17.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、
特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
18.图1图示了根据本技术实施例的整平机的控制系统的框图。
19.图2图示了根据本技术实施例的整平机的控制系统的系统架构图。
20.图3图示了根据本技术实施例的整平机的控制系统中训练模块的框图。
21.图4图示了根据本技术实施例的整平机的控制方法的流程图。
22.图5图示了根据本技术实施例的整平机的控制方法中训练阶段的流程图。
具体实施方式
23.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
24.申请概述：如上所述，整平机是将不平整的金属板材，通过上下轧辊将一定厚度的带材或板材的挤压作用，从而达到平整的效果。一般整平机具有多辊轴，例如，三轴辊整平机，采用较大的轴径施工效率较高，平整度较好，但表面浆体比较容易离析，浆较薄。采用较小的轴径，提浆效果较好，但轴易变形，应注意校正。因此，期待一种整平机的控制系统，其能够基于被操作对象的表面状况来选择具有合适直径的辊轴来提高整平效果。
25.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
26.近年来，深度学习以及神经网络的发展为整平机的辊轴智能选择提供了新的解决思路和方案。
27.相应地，在本技术的技术方案中，考虑到对于不同类型的辊轴选取需要根据被操作对象的表面状况来进行，也就是，基于待整平材料的表面状况来自适应选择合适直径的辊轴来提高整平效果。具体地，在本技术的技术方案中，考虑到这本质上是一个分类的问题，也就是，例如对于三轴辊整平机来言，采用基于深度学习的人工智能算法来从待整平材料的表面图像中提取长距离上下文语义关联信息和中距离上下文语义关联信息，并以此融合特征信息来进行三轴辊的类型标签分类。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。
28.具体地，在本技术的技术方案中，首先，获取待整平材料的表面图像。接着，将所述待整平材料的表面图像分成二维图像块序列。也就是，对所述待整平材料的表面图像进行分块操作可以得到不重叠且尺寸固定的图像块，其中，各个图像块表示待整平材料的各个局部区域的表面状态。
29.然后，将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以将所述各个二维图像块转化为一维嵌入向量以得到图像块特征向量的序列，这里，所述线性嵌入层通过可学习嵌入矩阵将所述二维图像块序列中各个二维图像块线性投影为一维嵌入向量，所述一维嵌入向量表示待整平材料的各个局部区域的表面状态的嵌入向量表示。也就是，在本技术的技术方案中，线性嵌入层位于网络前端，对缺陷图像进行分块操作，可以得到不
重叠且尺寸固定的图像块，将其映射为嵌入向量，再添加类别向量和位置编码。
30.进一步地，就可以将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量，并将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述图像块特征向量的序列中各个图像块特征向量进行基于全局的上下文语义编码以得到以所述图像块特征向量的序列的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述多个图像块语义特征向量。应可以理解，在本技术的技术方案中，通过所述基于转换器的上下文编码器可以捕捉所述待整平材料的各个局部区域的表面状态特征相对于所述待整平材料的整体表面状态特征的长距离上下文语义关联特征表示。
31.接着，将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量，也就是，利用所述双向长短期记忆神经网络模型来捕捉中距离上下文依赖的特性。应可以理解，在本技术的技术方案中，通过所述双向长短期记忆神经网络模型可以捕捉所述待整平材料的各个局部区域的表面状态特征相对于所述待整平材料的其他局部区域的表面状态特征的中距离上下文语义关联特征表示。
32.然后，再融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量，以得到所述待整平材料的表面状态整体特征分布信息，从而得到分类特征向量。进一步地，将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。也就是，以所述分类特征向量来进行分类处理，就能够得到用于表示辊轴的类型标签的分类结果。
33.特别地，在本技术的技术方案中，由于所述分类特征向量是融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量得到的，在对模型进行训练中，当计算损失函数的梯度并从分类器向模型进行反向传播时，梯度会分别通过得到所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型，这时，可能会由于异常的梯度分支而导致所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型所提取的特征模式的消解。
34.由此，在分类损失函数之外，进一步引入分类模式消解抑制损失函数以解决提取的特征模式的消解，具体地，所述分类模式消解抑制损失函数表达为：，和分别是所述长距离依赖图像特征向量和所述中距离依赖图像特征向量，且和分别是分类器对于和的权重矩阵，表示向量的二范数的平方。
35.也就是，通过引入分类模式消解抑制损失函数，将分类器权重的伪差异推向所述长距离依赖图像特征向量和所述中距离依赖图像特征向量的真实的特征分布差异，从而保证梯度反向传播时的定向导数在梯度分支点附近得到正则化，也就是，将梯度在所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型之间进行过加权，从而对特征的分类模式消解进行抑制，以提高所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型的分类特征的提取能力，从而相应地提高所述分类特征向量的分类结果的准确性。
36.特别地，在推断阶段，在融合所述长距离依赖图像特征向量和所述中距离依赖图
像特征向量得到所述分类特征向量时，为了充分利用图像特征向量的长距离依赖信息和中距离依赖信息，优选地通过直接级联所述长距离依赖图像特征向量和所述中距离依赖图像特征向量得到所述分类特征向量，但是在直接级联的情况下，所述长距离依赖图像特征向量和所述中距离依赖图像特征向量各自的特征分布的显式差异仍会导致所述分类特征向量的整体特征分布存在离散化的问题，从而使得所述分类特征向量在通过分类器进行分类回归时相对于预定目标类概率的收敛性差，这样，就会影响分类器的训练速度和分类结果的准确性。
37.因此，在本技术的技术方案中，对所述分类特征向量，例如记为进行正定赋范空间的几何约束重参数化，具体为：，和是特征集合的均值和方差，表示向量的二范数的平方，是所述分类特征向量的转置向量，表示矩阵的frobenius范数，和分别是校正前和校正后的所述分类特征向量的第个位置的特征值，且是行向量形式。
38.这里，所述分类特征向量的正定赋范空间的几何约束重参数化可以基于贝塞尔不等式的投影模长度量关系，通过以内积形式表示的向量范数平方在向量自身的关联集合空间内的投影，来使得向量的分布集合在具有正定性的赋范空间的几何度量子空间内具有模长约束性，以基于特征分布的几何约束来将分布空间重参数化到具有闭子空间的有界正定赋范空间。这样，就提高所述分类特征向量整体的特征分布在分类域内相对于目标类概率值的收敛性，从而提升了分类器的训练速度和分类结果的准确性。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。
39.基于此，本技术提出了一种整平机的控制系统，其包括：待整平材料表面图像采集单元，用于获取待整平材料的表面图像；图像划分单元，用于将所述待整平材料的表面图像分成二维图像块序列；图像块向量化单元，用于将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列；第一尺度上下文编码单元，用于将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量；级联单元，用于将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量；第二尺度上下文编码单元，用于将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；多尺度融合单元，用于融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量；向量校正单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；以及，整平控制结果生成单元，用于将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。
40.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
41.示例性系统：图1图示了根据本技术实施例的整平机的控制系统的框图。如图1所示，根据本技术实施例的整平机的控制系统100，包括：待整平材料表面图像采集单元110，用于获取待整平材料的表面图像；图像划分单元120，用于将所述待整平材料的表面图像分
成二维图像块序列；图像块向量化单元130，用于将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列；第一尺度上下文编码单元140，用于将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量；级联单元150，用于将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量；第二尺度上下文编码单元160，用于将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；多尺度融合单元170，用于融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量；向量校正单元180，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；以及，整平控制结果生成单元190，用于将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。
42.图2图示了根据本技术实施例的整平机的控制系统的系统架构图。如图2所示，在该系统架构中，首先获取待整平材料的表面图像，并将所述待整平材料的表面图像分成二维图像块序列。接着，将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列。然后，将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量，并将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量。进而，将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量。接着，融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量，并对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；然后，将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。
43.在上述整平机的控制系统100中，所述待整平材料表面图像采集单元110，用于获取待整平材料的表面图像。整平机是将不平整的金属板材，通过上下轧辊将一定厚度的带材或板材的挤压作用，从而达到平整的效果。例如，lmc2中薄板专用三合一伺服送料整平机，能够处理厚度为0.3~3.2mm的待整平材料，可配液压剪下待整平材料，可用于家电、汽车、空调铂金等行业。
44.一般整平机有多辊轴，例如，三轴辊整平机，采用较大的轴径施工效率较高，平整度较好，但表面浆体比较容易离析，浆较薄。采用较小的轴径，提浆效果较好，但轴易变形，应注意校正。因此，期待一种整平机的控制系统，其能够基于被操作对象的表面状况来选择具有合适直径的辊轴来提高整平效果。目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。近年来，深度学习以及神经网络的发展为整平机的辊轴智能选择提供了新的解决思路和方案。
45.相应地，在本技术的技术方案中，考虑到对于不同类型的辊轴选取需要根据被操作对象的表面状况来进行，也就是，基于待整平材料的表面状况来自适应选择合适直径的辊轴来提高整平效果。具体地，在本技术的技术方案中，考虑到这本质上是一个分类的问题，也就是，例如对于三轴辊整平机的控制系统来言，采用基于深度学习的人工智能算法来从待整平材料的表面图像中提取长距离上下文语义关联信息和中距离上下文语义关联信息，并以此融合特征信息来进行三轴辊的类型标签分类。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。具体地，在本技术的技术
方案中，首先，获取待整平材料的表面图像。其中，所述待整平材料的表面图像可以由部署于整平机的控制系统上的摄像头采集。
46.在上述整平机的控制系统100中，所述图像划分单元120，用于将所述待整平材料的表面图像分成二维图像块序列。也就是，对所述待整平材料的表面图像进行分块操作可以得到不重叠且尺寸固定的图像块，其中，各个图像块表示待整平材料的各个局部区域的表面状态。这样，为待整平材料图像的中长距离依赖图像的特征提取做准备。
47.具体地，在本技术实施例中，所述图像划分单元120，进一步用于将所述待整平材料的表面图像进行均匀划分得到的所述二维图像块序列。
48.在上述整平机的控制系统100中，所述图像块向量化单元130，用于将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列。也就是，将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以将所述各个二维图像块转化为一维嵌入向量以得到图像块特征向量的序列，这里，所述线性嵌入层通过可学习嵌入矩阵将所述二维图像块序列中各个二维图像块线性投影为一维嵌入向量，所述一维嵌入向量表示待整平材料的各个局部区域的表面状态的嵌入向量表示。也就是，在本技术的技术方案中，线性嵌入层位于网络前端，对缺陷图像进行分块操作，可以得到不重叠且尺寸固定的图像块，将其映射为嵌入向量，再添加类别向量和位置编码。
49.具体地，在本技术实施例中，所述图像块向量化单元130，进一步用于使用所述线性嵌入层以可学习嵌入矩阵对所述二维图像块序列中各个二维图像块进行线性投影以得到所述图像块特征向量的序列。
50.在上述整平机的控制系统100中，所述第一尺度上下文编码单元140，用于将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述图像块特征向量的序列中各个图像块特征向量进行基于全局的上下文语义编码以得到以所述图像块特征向量的序列的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述多个图像块语义特征向量。应可以理解，在本技术的技术方案中，通过所述基于转换器的上下文编码器可以捕捉所述待整平材料的各个局部区域的表面状态特征相对于所述待整平材料的整体表面状态特征的长距离上下文语义关联特征表示。
51.具体地，在本技术实施例中，所述第一尺度上下文编码单元140，进一步用于：将所述图像块特征向量的序列排列为输入向量；将所述输入向量分别通过可学习嵌入矩阵转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；以及，将所述自注意力特征矩阵与所述图像块特征向量的序列中的各个图像块特征向量分别进行相乘以得到所述多个图像块语义特征向量。
52.在上述整平机的控制系统100中，所述级联单元150，用于将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量。也就是，将所述多个图像语义特征向量进行级联，以整合各个局部区域的表面状态特征相对于所述待整平材料的整体表面状态特征的长距离上下文语义关联特征表示。
53.在上述整平机的控制系统100中，所述第二尺度上下文编码单元160，用于将所述
图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量。也就是，利用所述双向长短期记忆神经网络模型来捕捉中距离上下文依赖的特性。应可以理解，在本技术的技术方案中，通过所述双向长短期记忆神经网络模型可以捕捉所述待整平材料的各个局部区域的表面状态特征相对于所述待整平材料的其他局部区域的表面状态特征的中距离上下文语义关联特征表示。其中，双向长短期记忆神经网络（bilstm）是长短期记忆神经网络（lstm）的细胞（cell）结构采用双向连接的形式后来的，既解决了传统循环神经网络（rnn）的梯度消失问题，又保证了提取信息的完整性。
54.在上述整平机的控制系统100中，所述多尺度融合单元170，用于融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量。这样，融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量，以得到所述待整平材料的表面状态整体特征分布信息，从而得到分类特征向量。
55.具体地，在本技术实施例中，所述多尺度融合单元170，进一步用于：以如下公式融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到所述分类特征向量；其中，所述公式为：，其中，表示所述长距离依赖图像特征向量，表示所述中距离依赖图像特征向量，表示级联函数。
56.在融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量得到所述分类特征向量时，为了充分利用图像特征向量的长距离依赖信息和中距离依赖信息，优选地通过直接级联所述长距离依赖图像特征向量和所述中距离依赖图像特征向量得到所述分类特征向量，但是在直接级联的情况下，所述长距离依赖图像特征向量和所述中距离依赖图像特征向量各自的特征分布的显式差异仍会导致所述分类特征向量的整体特征分布存在离散化的问题，从而使得所述分类特征向量在通过分类器进行分类回归时相对于预定目标类概率的收敛性差，这样，就会影响分类器的训练速度和分类结果的准确性。
57.在上述整平机的控制系统100中，所述向量校正单元180，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量。
58.具体地，在本技术实施例中，所述向量校正单元180，进一步用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；其中，所述校正公式为：，其中，是所述分类特征向量，和是特征集合的均值和方差，是所述分类特征向量的转置向量，表示向量的二范数的平方，表示矩阵的frobenius范数，是所述分类特征向量的第个位置的特征值，是所述校正后分类特征向量的第个位置的特征值。
59.这里，所述分类特征向量的正定赋范空间的几何约束重参数化可以基于贝塞尔不等式的投影模长度量关系，通过以内积形式表示的向量范数平方在向量自身的关联集合空间内的投影，来使得向量的分布集合在具有正定性的赋范空间的几何度量子空间内具有模长约束性，以基于特征分布的几何约束来将分布空间重参数化到具有闭子空间的有界正定赋范空间。这样，就提高所述分类特征向量整体的特征分布在分类域内相对于目标类概率值的收敛性，从而提升了分类器的训练速度和分类结果的准确性。
60.在上述整平机的控制系统100中，所述整平控制结果生成单元190，用于将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。也就是，以所述分类特征向量来进行分类处理，就能够得到用于表示辊轴的类型标签的分类结果。
61.具体地，在本技术实施例中，所述整平控制结果生成单元190，进一步用于：使用所述分类器以如下公式对所述校正后分类特征向量进行处理以生成所述分类结果；其中，所述公式为：，其中为输出结果向量， 和分别为第个分类对应的权重和偏置向量，表示向量的指数运算，所述向量的指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。
62.在上述整平机的控制系统100中，还包括用于对所述线性嵌入层、所述基于转换器的上下文编码器、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块200。
63.图3图示了根据本技术实施例的整平机的控制系统中训练模块的框图。如图3所示，所述训练模块200，包括：训练待整平材料表面图像采集单元210，用于获取训练数据，所述训练数据包括待整平材料的训练表面图像，以及，所述辊轴的类型标签的真实值；训练图像划分单元220，用于将所述待整平材料的训练表面图像分成训练二维图像块序列；训练图像块向量化单元230，用于将所述训练二维图像块序列中各个训练二维图像块分别通过所述线性嵌入层以得到训练图像块特征向量的序列；训练第一尺度上下文编码单元240，用于将所述训练图像块特征向量的序列通过所述基于转换器的上下文编码器以得到多个训练图像块语义特征向量；训练级联单元250，用于将所述多个训练图像块语义特征向量进行级联以得到训练长距离依赖图像特征向量；训练第二尺度上下文编码单元260，用于将所述训练图像块特征向量的序列通过所述双向长短期记忆神经网络模型以得到训练中距离依赖图像特征向量；训练多尺度融合单元270，用于融合所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量以得到训练分类特征向量；分类损失函数值计算单元280，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；分类模式消解抑制损失函数值计算单元290，用于计算所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的分类模式消解抑制损失函数值；以及，训练单元300，用于以所述分类模式消解抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述线性嵌入层、所述基于转换器的上下文编码器、所述双向长短期记忆神经网络模型和所述分类器进行训练。
64.特别地，在本技术的技术方案中，由于所述分类特征向量是融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量得到的，在对模型进行训练中，当计算损失函数的梯度并从分类器向模型进行反向传播时，梯度会分别通过得到所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型，这时，可能会由于异常的梯度分支而导致所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型所提取的特征模式的消解。由此，在分类损失函数之外，进一步引入分类模式消解抑制损失函数以解决提取
的特征模式的消解。
65.具体地，在本技术实施例中，所述分类模式消解抑制损失函数值计算单元290，进一步用于：以如下公式计算所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的所述分类模式消解抑制损失函数值；其中，所述公式为：，其中和分别是所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量，且和分别是所述分类器对于所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的权重矩阵， 表示向量的二范数的平方，表示矩阵的frobenius范数，表示按位置减法，表示指数运算。
66.也就是，通过引入分类模式消解抑制损失函数，将分类器权重的伪差异推向所述长距离依赖图像特征向量和所述中距离依赖图像特征向量的真实的特征分布差异，从而保证梯度反向传播时的定向导数在梯度分支点附近得到正则化，也就是，将梯度在所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型之间进行过加权，从而对特征的分类模式消解进行抑制，以提高所述基于转换器的上下文编码器和所述双向长短期记忆神经网络模型的分类特征的提取能力，从而相应地提高所述分类特征向量的分类结果的准确性。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。
67.综上，根据本技术实施例的所述整平机的控制系统100被阐明，其基于待整平材料的表面状况来自适应选择合适直径的辊轴来提高整平效果。具体地，在本技术的技术方案中，考虑到这本质上是一个分类的问题，也就是，例如对于三轴辊整平机来言，采用基于深度学习的人工智能算法来从待整平材料的表面图像中提取长距离上下文语义关联信息和中距离上下文语义关联信息，并以此融合特征信息来进行三轴辊的类型标签分类。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。
68.示例性方法：图4图示了根据本技术实施例的整平机的控制方法的流程图。如图4所示，根据本技术实施例的所述整平机的控制方法，包括步骤：s110，获取待整平材料的表面图像；s120，将所述待整平材料的表面图像分成二维图像块序列；s130，将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列；s140，将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量；s150，将所述多个图像块语义特征向量进行级联以得到长距离依赖图像特征向量；s160，将所述图像块特征向量的序列通过双向长短期记忆神经网络模型以得到中距离依赖图像特征向量；s170，融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量；s180，对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；以及，s190，将所述校正后分类特征向量通过分类器以得到分类结果，所述分类结果用于表示辊轴的类型标签。
69.在一个示例中，在上述整平机的控制方法中，所述将所述待整平材料的表面图像分成二维图像块序列，包括：将所述待整平材料的表面图像进行均匀划分得到的所述二维
图像块序列。
70.在一个示例中，在上述整平机的控制方法中，所述将所述二维图像块序列中各个二维图像块分别通过线性嵌入层以得到图像块特征向量的序列，包括：使用所述线性嵌入层以可学习嵌入矩阵对所述二维图像块序列中各个二维图像块进行线性投影以得到所述图像块特征向量的序列。
71.在一个示例中，在上述整平机的控制方法中，所述将所述图像块特征向量的序列通过基于转换器的上下文编码器以得到多个图像块语义特征向量，包括：将所述图像块特征向量的序列排列为输入向量；将所述输入向量分别通过可学习嵌入矩阵转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；以及，将所述自注意力特征矩阵与所述图像块特征向量的序列中的各个图像块特征向量分别进行相乘以得到所述多个图像块语义特征向量。
72.在一个示例中，在上述整平机的控制方法中，所述融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到分类特征向量，包括：以如下公式融合所述长距离依赖图像特征向量和所述中距离依赖图像特征向量以得到所述分类特征向量；其中，所述公式为：，其中，表示所述长距离依赖图像特征向量，表示所述中距离依赖图像特征向量，表示级联函数。
73.在一个示例中，在上述整平机的控制方法中，对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量，包括：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化，以得到校正后分类特征向量；其中，所述校正公式为：，其中，是所述分类特征向量，和是特征集合的均值和方差，是所述分类特征向量的转置向量，表示向量的二范数的平方，表示矩阵的frobenius范数，是所述分类特征向量的第个位置的特征值，是所述校正后分类特征向量的第个位置的特征值。
74.在一个示例中，在上述整平机的控制方法中，所述将所述校正后分类特征向量通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述校正后分类特征向量进行处理以生成所述分类结果；其中，所述公式为：，其中为输出结果向量， 和分别为第个分类对应的权重和偏置向量，表示向量的指数运算，所述向量的指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。
75.在一个示例中，在上述整平机的控制方法中，还包括对所述线性嵌入层、所述基于转换器的上下文编码器、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练阶段。
76.图5图示了根据本技术实施例的整平机的控制方法中训练阶段的流程图。如图5所示，所述训练阶段，包括步骤：s210，获取训练数据，所述训练数据包括待整平材料的训练表面图像，以及，所述辊轴的类型标签的真实值；s220，将所述待整平材料的训练表面图像分成训练二维图像块序列；s230，将所述训练二维图像块序列中各个训练二维图像块分别通过所述线性嵌入层以得到训练图像块特征向量的序列；s240，将所述训练图像块特征向量的序列通过所述基于转换器的上下文编码器以得到多个训练图像块语义特征向量；s250，将所述多个训练图像块语义特征向量进行级联以得到训练长距离依赖图像特征向量；s260，将所述训练图像块特征向量的序列通过所述双向长短期记忆神经网络模型以得到训练中距离依赖图像特征向量；s270，融合所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量以得到训练分类特征向量；s280，将所述训练分类特征向量通过所述分类器以得到分类损失函数值；s290，计算所述训练长距离依赖图像特征向量和所述训练中距离依赖图像特征向量的分类模式消解抑制损失函数值；以及，s300，以所述分类模式消解抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述线性嵌入层、所述基于转换器的上下文编码器、所述双向长短期记忆神经网络模型和所述分类器进行训练。
77.综上，根据本技术实施例的所述整平机的控制方法被阐明，其基于待整平材料的表面状况来自适应选择合适直径的辊轴来提高整平效果。具体地，在本技术的技术方案中，考虑到这本质上是一个分类的问题，也就是，例如对于三轴辊整平机来言，采用基于深度学习的人工智能算法来从待整平材料的表面图像中提取长距离上下文语义关联信息和中距离上下文语义关联信息，并以此融合特征信息来进行三轴辊的类型标签分类。这样，能够基于被操作对象的表面实际状况来自适应地选择具有合适直径的辊轴，以提高整平效果。