基于多源系统融合的结构形态感知技术

孙静，林雪竹，郭丽丽，刘悦，闫东明，李丽娟

（长春理工大学 光电工程学院，长春 130022）

数字孪生技术发展背景下，航空航天装配产品数字化、智能化测量程度越来越高［1］。大型零部件装配是实现产品性能的基础，装配精度是保证产品质量的重要指标［2］。蒙皮装配过程中随装配状态变化存在结构变形问题，致使薄壁类零件间出现干涉现象，强迫定位将影响产品结构稳定性及安全性。因此，实时感知结构形变，不仅满足数字孪生预装配模型动态更新的特点，而且对实现产品高精度装配具有重要意义。

数字孪生技术具有多源、异构、海量、实时等特点［3］。孪生模型汇聚了采集、读取和融合等方式获得的所有数据［4］，因此，测量感知产品结构获取零部件真实状态信息尤为重要。结构形变信息多通过接触式或非接触式测量采集得到［5］，目前激光跟踪仪、视觉测量系统等先进数字化设备在信息感知、辅助产品装配中应用广泛，非视觉测量中光纤传感结构状态监测获得广泛研究［6-9］。WANG Q［10］结合激光跟踪及扫描系统获取机翼壁板结构数据，对装配模型配合间隙进行评估。张微［11］针对结构复杂装配产品，利用激光扫描技术实现产品变形检测，将其用于装配干涉研究。郭飞燕［12］对数字孪生驱动下装配工艺现状进行分析，以蒙皮为例采用结构光扫描技术检测曲面形变偏差，构建孪生工艺模型。殷礼鑫［13］针对应变场等因素引起的曲面变形问题，基于光纤传感展开插值曲面重构，该方法可用于飞行器结构实时监测。上述测量系统中激光跟踪系统站位布置灵活，对大尺寸测量坐标系建立具有独特优势，但对于产品面型数据获取，该系统测点密度及测量效率具有局限性。视觉测量系统由双目立体视觉相机及激光扫描仪组成，通过三维激光扫描快速获取产品高密度点云数据，但当装配状态或装配空间变化时，需重复扫描被测产品用以检测产品结构形变情况，扫描工作量较大。光纤传感具有实时感知产品形变的性能，为产品全生命周期提供数据支撑，但光纤传感监测借助应变拟合插值等方法得到产品变形量，有限的测点数量限制了产品特征信息全面性。

综上所述，当前对三维激光检测形变及光纤传感监测结构健康状态的研究较多，但对于多源系统融合感知产品形态，基于实测数据实时预测高保真度形变数据的研究较少。本文针对产品形态实时感知及测量场大型化等特点，结合激光跟踪、视觉测量及光纤监测系统不同的测量优势，展开多源系统融合测量模型构建。多源系统融合的结构形态感知技术基于光纤传感，具有实时监测的特点，不受装配状态限制，可有效减少视觉测量形变频次，所得高保真度数据可为孪生装配模型构建提供参考。

实际装配现场基于多源系统测量设备生成数字化信息，作为孪生模型中的数据信息来源。多源系统由激光跟踪系统、视觉测量系统及光纤监测系统组成。激光跟踪系统测得空间点坐标数据；
视觉测量系统由双目立体视觉相机配合激光扫描仪测得产品点云数据；
光纤监测系统经解调后以波形数据表示应变。因数据来源具有显著差异，且数据结构具有不等价性，因此，模型中测量数据信息具有“多源异构”的特点。

多源系统融合信息感知框架由物理层、交互层及虚拟层组成。如图1所示，物理层中由数字化系统及光纤监测系统进行产品信息感知，主要感知受应力等因素产生的结构形态变形信息。交互层为控制单元，包括有线或无线传输方式，便于数据传递及存储。虚拟层中将感知信息以点云或波形数据显示，可实现多源异构数据融合模型构建，以实时方式输出结构形变模型。下面将针对结构形变信息感知建立多源系统融合测量模型。

图1 多源系统融合信息感知框架Fig.1 Illustration of the information perception framework of multi-source system fusion

1.1 多源系统多站位坐标统一模型

多源数据采集主要集中在物理层完成，为感知薄壁类构件高精度形变数据，需搭建多源感知测量场，完成系统间坐标统一。测量场中一般包括测量坐标系、产品坐标系、全局坐标系，测量坐标系主要为仪器自身坐标系，包括激光跟踪系统、视觉测量系统；
产品坐标系为被测构件自身所定义，代表被测件在空间的位置姿态，其光纤监测数据在产品坐标系下；
全局坐标系是测量场中的基础坐标系，具有唯一性。因此，测量场中各个独立坐标系可在全局坐标系下统一表示。

利用多站位激光跟踪系统建立全局坐标系，将全局坐标系设为参考基准，通过在测量空间布置公共基座点即转站点，实现坐标系间关系建立。激光跟踪系统基于基座点与目标靶球配合，视觉测量系统与高反光半球合作，光纤监测系统通过激光跟踪实现监测点定位布置于产品表面，从而保证不同系统间协同工作，实现多源系统测量网络融合。

将视觉系统及光纤监测系统视为局部坐标系，空间网络数据配准采取多次转站的形式确定各局部坐标系与全局坐标系关系。设全局坐标系为OG−XGYGZG，系统多站位局部坐标系为OMt−XMtYMtZMt(t=1，2，…，b)，公共点在全局坐标系下记为Qg，Qg=(Xg，Yg，Zg)T，在局部坐标系下记为Qm，Qm=(Xm，Ym，Zm)T。此时，OMt−XMtYMtZMt至OG−XGYGZG变换过程可表示为

通过求解f可得各站位间最佳转换关系，使空间坐标分量误差最小，实现多站位局部坐标系到全局坐标系的最优转换。其多源系统坐标统一如图2所示。

图2 多源系统多站位坐标统一示意图Fig.2 Unity diagram of multi-station coordinates of multi-source system

1.2 多源异构数据融合模型

1.2.1 光纤监测波长与空间点坐标异构数据统一

异构数据统一是数据融合的前提。基于曲面插值重构思想，从若干条曲线集合可形成曲面方向考虑，将应变曲面模型建立转化为空间网格曲线构建问题［14-16］，由此将光纤监测波形转换为空间点坐标形式表示，完成不同系统下异构数据统一，同时实现动态形变测量。

光纤布拉格光栅（Fiber Bragg Grating，FBG）为无源器件，其体积小、可靠性高、对环境适应力强，且可以通过单根光纤串联若干个FBG形成分布式传感阵列［17-18］，适用于产品应变载荷监测。因此，选用FBG传感阵列监测薄壁结构应变。

当光源通过光纤传输，符合Bragg中心波长的光将被反射，其余光源将被透射，中心波长λB表达式为

式中，neff表示有效折射率，Λ表示光栅周期。当外界温度恒定时，光纤测点处中心波长变化量ΔλB与应变ε满足

式中，Pe≈0.216，为有效弹光系数。将封装后FBG通过表面粘贴方式置于微元段中心，在曲面上截取长为L，厚度为a的微元段，受载荷影响时中性层区域长度保持不变，若曲率半径为r，微元长度变化量为ΔL，圆弧对应圆心角为θ，此时

由曲率k与波长关系得

为保证形变曲面连续性，需对曲率进行线性插值处理，则曲率k与弧长L之间关系为

式中，S为相邻两曲率点间斜率，M为截距，若两相邻点曲率值为kc和kc+1，则插值方程式记为

两点间斜率与截距值为

则任意两点间曲率与弧长关系式为

基于微分思想建立空间曲线运动坐标系，由坐标系推导空间曲线点坐标。选取固定约束边为起点，建立坐标系。如图3所示，p0，p1，p2分别为空间曲线上三点，k0为正交曲率分量ku0，kv0合成矢量，与w0轴构成密切平面M0，θ0为p0p1弧段对应圆心角，α0为kv0与k0夹角，由于该弧段为曲线微元段，扭曲状态忽略不计。以p0为原点，正交曲率分量ku0，kv0所在直线为x轴和y轴建立固定坐标系p0−xyz。p0点运动坐标系为p0−u0v0w0，起始状态下与固定坐标系重合。p1点运动坐标系为p1−u1v1w1，依次类推，建立曲线段上其余运动坐标系。

由图3中几何关系，固定坐标系p0−xyz下p1点坐标为

图3 基于曲率信息空间点坐标推导示意图Fig.3 Diagram of spatial point coordinate derivation based on curvature information

令θn表示pn点所对应该弧段圆心角，αn表示曲率矢量间夹角，kn为pn点曲率值，则pn在对应运动坐标系空间点坐标为

若将运动坐标系记为Hn，固定坐标系记为F，将Hn中pn点转换到F中，齐次变换矩阵为Tn，则转换关系可记为

假设第pn−1点到第pn点坐标系递推已知，那么pn+1点在F中坐标为

Hn+1动坐标系中原点为pn+1点，在Hn坐标系中坐标为(han，hbn，hcn)，pn+1点w轴方向为该点处切线方向，设pn到pn+1的齐次变换矩阵为tn+1，则

其中，tn+1由以下步骤变换完成：

1）将Hn绕wn旋 转αn，得到新的坐标轴un1、vn1、wn1，un1轴与合成曲率kn方向一致，其变换矩阵为R(wn，αn)；

2）将un1、vn1、wn1绕vn1旋转γn，生成新坐标轴un2、vn2、wn2，使wn2平行于pn+1点切线方向，γn为该圆弧段所对应圆心角，其变换矩阵记为R(vn，γn)；

3）新坐标继续绕wn2旋转−ζn得到un3、vn3、wn3，ζn为曲率分量与合成曲率间夹角，得到对应变换矩阵R(wn，ζn)；

4）最后经平移，得到平移向量tn+1。令Rn+1=R(wn，ζn)R(vn，γn)R(wn，αn)，则

设F到Hn+1的变换为Tn+1，即

pn+1在固定坐标系点坐标为

重复转换步骤，则能推出曲线上各个点在固定坐标系中的坐标值。由此，将光纤波长数据以空间点坐标表示，为高斯过程数据融合提供先验条件。

1.2.2 基于高斯过程的多源数据融合算法

选取光纤粘贴位置变形前后离散点坐标，进行高斯过程训练，融合光纤监测及视觉系统测量数据，基于实测数据预测高密度高精度形变点云。光纤监测变形离散点为接触式直接测量得到，代表高精度低密度形变数据集，视觉测量系统通过三维激光扫描采集产品高密度点云数据，由高斯过程原理定义函数表达式，即

其中预测值后验分布为

式中，GP代表高斯过程，m(xi)表示在xi位置的均值函数，K(xi，xj)为测量数据的协方差矩阵，该矩阵可由协方差函数确定，s为实际测量过程中的噪声信号，因此，数据处理过程中无需引入随机噪声。

记光纤监测数据为(X1，D1)，视觉测量系统扫描数据为(X2，D2)，基于高斯过程融合方法可表示为

式中，D={D1，D2}为光纤及视觉系统测量数据，X={X1，X2}为测量数据不同位置，与是系统测量数据超参数，I为单位矩阵，f＇与x＇代表待求值及其相应位置，由边缘分布性质得

和cov(f＇)代表融合后均值及协方差值，令则

经分析可知，基于高斯过程数据融合建模由核函数（Kernel）提供任意数据输出间关系［19-20］，由此实现光纤监测形变空间点与视觉扫描未变形点云融合，得到高保真度形变点云数据模型。

有理二次核函数（Rational Quadratic，RQ）表达式为

径向基核函数（Radial Basis Function，RBF）表达式为

式中，σi代表不同核函数中的超参。RQ核函数由不同的无限可微函数组合，适合于多尺度的光滑特征；
当p趋近于正无穷时，RQ可等价于平方指核函数；
RBF为沿某径向对称的标量径向基核函数。单个核函数进行相加或相乘操作可以得到复合核函数，复合核函数可将不同核函数性能最优化，处理高维数据特征。针对实验变形曲面特征及各自核函数特点主要选择RQ及RBF两类核函数，即

核函数对于融合点云预测起到主要作用，关系着预测模型的准确性。高斯过程中丰富的核函数选取及各类不同组合方式提高了多源数据融合的灵活性。

1.3 测量模型精度评价

假设存在Q个转站公共点，多源系统多站位坐标统一后，全局坐标系下转站公共点集合为Qg(Xg，Yg，Zg)，局部测量坐标系下对应公共点集合为Qm(Xm，Ym，Zm)，则转站后公共点各点位间空间坐标分量误差σx、σy、σz可表示为

空间误差合成表达式为

多站位坐标统一时，若第Mt站位被测点集合协方差为V，则该站位权阵ωt可以表示为

测量空间数据融合后，被测点集合协方差矩阵为

通过式（31）可知，数据融合后协方差Vf小于任何独立站位Mt下协方差V，因此，多源系统多站位坐标统一后，全局坐标系下被测点空间坐标值精度高于每一站位下独立测量值。

基于坐标基准统一后，高精度测量场下得到异构数据融合模型，为了科学地评价形变预测模型性能，以绝对误差Δ、相对误差γ、均方根误差RMS作为精度评价指标，其表达式为

式中，xd为测量值，x0为真值，N为样本数。基于多站位坐标统一及异构数据融合模型精度评价指标，可以全方位地实现多源系统融合结构形态测量模型精度评价。

为验证测量模型可行性，分别从全局坐标系建立、融合算法及形变监测点定位三方面进行仿真分析，因激光跟踪系统公共点标定决定全局测量网精度，因此通过公共点融合前后空间坐标分量误差仿真，验证全局坐标系建立精度；
将融合算法形变量、插值算法所得形变量与实际形变量三者之间对比，验证融合模型精度；
基于ANSYS仿真分析确定监测点位置选取。其仿真过程示意图如图4所示。

图4 仿真过程Fig.4 Simulation process

采用LeciaAT960激光跟踪系统，设计四个不同测量站位，在10 m×8 m×4 m测量空间内选取8个转站公共点进行仿真分析，如图5所示。该设备精度为(15+6) μm/m，测量空间每增加1 m，其仪器误差增加6 μm。将第二站、第三站及第四站测量数据分别转换到第一站位下，每次转站过程中可得出相应坐标x、y、z方向误差值，经坐标统一后，将各个测量站位下公共点数据进行加权融合，权重ω值设为1，对比融合前后转站点空间坐标方向误差，仿真结果如图6所示。

图5 公共点分布图示Fig.5 Common points distribution diagram

由图6可知，单站测量时，各个站位间公共点空间坐标方向误差分布在±0.120 mm之间；
全局坐标系建立后，三个方向误差值分布为±0.060 mm之间。由仿真分析证明，全局坐标系的建立提高了测量场精度，为采集高精度产品结构数据奠定基础。

图6 多站位坐标统一公共点数据融合前后误差仿真Fig.6 Error simulation diagram before and after data fusion of unified common points with multi-station coordinates

高斯过程融合为基于实测数据预测形变点云，融合后形变点云数量与输入原始扫描点云数量相等，点云信息特征细节表征更趋向于实际。图7为预测点云。

图7 融合预测点云Fig.7 Fusion prediction point cloud diagram

仿真过程中，将实际形变测量值、融合算法及插值算法所得形变量进行对比，从而验证融合方法的可行性。通过模拟装配受力的过程，对被测薄壁样件施加载荷20 N、50 N、80 N、100 N，能够涵盖所有可能出现的受力情况，不同受力下采用30个随机样本检验测试集正确性。如图8所示，图中红色符号为实际形变量输出，蓝色为融合算法预测输出，紫色为插值算法形变量输出。仿真结果表明，融合算法所得形变量与实际形变相差较小，两者在同一量级，其误差值小于插值算法形变误差，证明了融合算法优于插值算法。

图8 不同载荷下形变量仿真结果对比Fig.8 Comparison of simulation results of shape variables under different loads

因光纤监测系统实时测量为数字孪生模型动态数据感知起到承接作用，因此对于光纤分布有较高要求。通过应变仿真分析为光纤分布及监测点选取提供依据。选取机翼蒙皮为薄壁结构待测件，以实验室蒙皮为例，通过ANSYS对其进行仿真分析，该蒙皮尺寸为1 200×640 mm，弹性模量为71 GPa，泊松比为0.33，为了解蒙皮表面受力变形，对待测蒙皮中心点600×320 mm处施加不同载荷，由仿真分析可知蒙皮表面形变趋势。

采取单边固定约束时所得蒙皮表面应变分布如图9所示。施加载荷为50 N与80 N时，最大形变值分别为0.199 mm和0.319 mm。由应变趋势可知，随着表面受力增加，变形量逐渐增大。由固定端至自由端形变量呈递增趋势，且蒙皮自由端拐角处为形变量最大点。根据图中应变分布，可确定光纤位置粘贴及监测点位置。

图9 蒙皮表面形变仿真Fig.9 Simulation diagram of skin surface deformation.

3.1 实验过程

针对物理层，该实验系统由激光跟踪、视觉测量及光纤监测系统组成，如图10所示。由测量现场条件确定测量系统站位布置。基于光纤波分复用技术，选用FBG光纤阵列正交分布于蒙皮表面，根据仿真应变趋势，选择光纤等间距粘贴。因高斯过程融合预测整个型面特征信息，所以蒙皮表面选择光纤全部覆盖的方式，并依次选取a、b、c、d四处作为形变检验点。

图10 多源系统融合测量示意图Fig.10 Schematic diagram of multi-source system fusion measurement

恒温条件下建立多源系统测量场，完成各个系统坐标系统一。在10×8×4 m的全局测量网中共布置14个基座点，其中Q1～Q6为公共转站点，实验现场激光跟踪系统选用Lecia-AT960，视觉测量系统选用C-Track，共设置四站，用于全局基座点标定。经空间网络加权融合后得到最优空间位置点坐标，因此，全局测量网精度可被有效控制。基于全局坐标系进行视觉扫描，初始状态下，蒙皮表面中心点处无压力施加，此时，获取蒙皮未变形点云数据。

选取FBG光纤传感器，根据仿真应变趋势进行粘贴布置，胶粘影响忽略不计。实验中光纤解调性能由其内置光源决定，可调谐光源波长范围为1 527～1 568 nm，光源输出功率≥10 dBm，解调波长分辨率为0.1 pm。将光纤接入解调系统后，调整中心波长为0，对蒙皮中心点开始施压，记录20、50、80、100 N时中心波长变化量。基于曲面插值重构思想完成波长量到空间点坐标数据转换，得到光纤监测点数据。经高斯过程融合光纤监测数据及视觉扫描未变形点云数据，实现实时变形点云预测。实验现场如图11所示。

图11 实验现场Fig.11 Experiment site diagram

3.2 实验分析

利用Spatial Analyzer 软件进行公共点测量，如图12所示。基于加权最小二乘原理进行各站位数据融合，得到最优空间位置点坐标，融合前单点测量误差最大值为0.113 mm，融合后公共点误差最大值为0.062 mm。多站位数据融合后其测量精度有所提高，参与融合站位数据越多时，由权重比分配，其融合精度越高。表1为融合前单站测量下公共点最大误差与多站位数据融合后公共点误差值对比。

图12 全局坐标系空间点标定Fig.12 Global coordinate space point calibration diagram

表1 转站公共点融合前后误差对比Table 1 Comparison of errors before and after fusion of common points in transfer stations

实验中全局测量网精度为0.062 mm，基于高精度测量网采集蒙皮未变形数据及不同压力下蒙皮变形数据，以蒙皮实际变形作为形变真值，将ANSYS仿真形变量、插值算法重构曲面形变量及融合算法实时预测点云形变值与实际变形值对比，对融合效果进行误差分析，以绝对误差Δ、相对误差γ评估融合算法实时预测形变准确性。

表2～5为不同载荷下监测点形变量值对比，ANSYS仿真形变与实际变形间存在差异。仿真分析主要为理想状态下进行，无环境等因素干扰，实际扫描中由于噪音或操作误差致使表面特征出现杂点等现象，经数据预处理后，其实际变形与仿真形变之间存在偏差。基于高斯过程预测形变点云数据时，其误差主要受光纤传感数目、光纤粘贴位置变形前后点坐标及核函数选取的影响。

表2 20 N时形变误差分析结果Table 2 Deformation error analysis results at 20 N

表3 50 N时形变误差分析结果Table 3 Deformation error analysis results at 50 N

表4 80 N时形变误差分析结果Table 4 Deformation error analysis results at 80 N

表5 100 N时形变误差分析结果Table 5 Deformation error analysis results at 100 N

随着结构中心载荷增大，融合预测形变点云绝对误差及均方根误差为增长趋势，融合算法预测形变点云，监测点形变量绝对误差保持在0.016 mm之内，相对误差均保持在6.71%，平均相对误差为4.66%，相较于插值算法所得变形数据平均相对误差减小了4%左右。不同载荷下均方根误差分布如图13所示，经插值所得结构形变均方根误差在0.105～0.155 mm之间，而融合算法所得形变均方根误差在0.075～0.090 mm，采用插值算法与融合算法与实际变形对比可知，融合算法所得形变量更接近于实际变形，所得型面特征优于插值计算效果。

图13 均方根误差对比Fig.13 RMS error comparison

实验中为获取整个型面信息采用等间距光纤分布，测点间隔及测点数量影响融合模型精度。基于视觉扫描点云预测形变点时，需保证输入未变形点云位于光纤监测范围之内，对于边缘处点云，由于光纤点数量限制，其融合误差呈递增趋势。当偏差允许范围为±0.1时，位于该区间点云占比在90%左右，随着后续光纤布设位置及变形前后点坐标优化，融合预测点云占比将逐渐递增。融合预测点云与变形后实际测量点云偏差对比如图14所示。

图14 不同载荷下融合预测点云与实际变形偏差比较Fig.14 Comparison of deformation deviation between fusion predicted point cloud and actual point cloud under different loads

多源系统融合的结构形态感知技术，基于高精度测量场融合异构数据预测形变模型。形变点云包含零件物理属性信息，使表面细节反应更为完整。多源系统融合的测量方式实现了结构变形实时监测，且测量数据具有高保真度的特性。数字孪生模型由实时数据进行交互映射，经测量调整实现对航空航天等精密产品装配过程的状态监控及预测，最终实现高质量装配。高保真度信息感知是构建孪生预装配模型的关键，因此，基于多源系统融合的结构形态感知技术可为孪生模型建立提供支撑。

针对薄壁类零件，以蒙皮为研究对象，建立多源系统融合结构形态测量模型，包括多站位坐标统一模型及异构数据融合模型，实现测量网统一。基于光纤曲面插值重构思想，得到形变后曲率离散点，完成异构数据统一。基于高斯过程融合光纤监测及视觉扫描高密度点云数据，由实测点云预测高密度高精度形变点云。对插值算法及融合算法进行对比验证，结果表明，融合方法所得数据其绝对误差保持在0.016 mm，平均相对误差为4.66%，相较于插值算法所得变形数据平均相对误差减小了4%左右。多源数据融合提高了形变数据精度及结构信息的全面性，简化了视觉测量方式，具有实时监测结构形变的特点。该测量方法对零件形变监测提出新思路，可用于动态演变孪生模型构建中。

猜你喜欢蒙皮站位坐标系提高政治站位 对标国内一流今日农业(2021年8期)2021-11-28客车侧围蒙皮电热张拉工艺技术研究安徽科技(2021年7期)2021-08-31建党百年说“站位”水上消防(2021年3期)2021-08-21运载火箭框桁蒙皮结构铆接壳段多余物分析与控制军民两用技术与产品(2021年5期)2021-07-28客车侧围蒙皮生产工艺现状及未来发展趋势安徽科技(2021年2期)2021-03-05提升站位讲政治 创新担当争出彩人大建设(2019年5期)2019-10-08提高政治站位 勇于担当作为 以从严要求开创人大工作新局面人大建设(2019年3期)2019-07-13飞机蒙皮上的幽默航空世界(2018年12期)2018-07-16解密坐标系中的平移变换中学生数理化·七年级数学人教版(2018年4期)2018-06-28坐标系背后的故事数学大世界(2018年1期)2018-04-12