一种基于机器学习的三维地质体纹理贴图方法

本发明涉及地质体贴图技术领域，具体为一种基于机器学习的三维地质体纹理贴图方法。

随着三维可视化技术的迅速发展，地质体建模技术日益成熟，与之相关的三维建模软件也呈现出百花争鸣的盛况。但工作人员过于关注地质体建模，对于三维地质体贴图的研究少之又少，三维地质体模型大多通过不同的颜渲染进行分别不同的地质体，虽然能够很好的区分不同的地质体，但无法很好的表达地质体的真实感。即使在一些三维软件中实现了基本的纹理贴图，但存在着真实感较差等问题。三维贴图发展迅速，尤其在游戏领域，人物景的模型非常逼真，但在地质领域还是无法很好的表达出地质体的真实感。俗话说“三分模型，七分贴图”，建好三维地质体模型固然重要，但通过贴图表现出真实感更加重要。

本发明解决的技术问题在于以煤系地层建模及精细化表达为研究对象，建立基于机器学习可扩充的纹理样本库范例为建模贴图基础，选择适用于煤系地层的建模方法及精细化贴图算法，实现煤系地层复杂地质体的真实体现，为今后标准化三维地质体建模贴图的一体化过程、矿山科学化开采、煤层结构详细分析提供技术支持。

为实现上述目的，本发明提供如下技术方案：一种基于机器学习的三维地质体纹理贴图方法，包括以下几个方面：

一、构建基础纹理样本库，并提出一种补充纹理样本库的方法其具体包括以下两个方面：

(1)为直观放映岩石的纹理特征，本发明采用真实的岩石图片创建岩性纹理，形成基础纹理样本库；

(2)岩石复杂多样，基础纹理样本库难以将岩性纹理穷尽，因此本发明采用机器学习的方法扩充纹理样本库。

二、Delaunay三角剖分提高三维地质体模型精度

在复杂地质体模型的纹理贴图过程中，网格质量的优劣直接影响贴图的效果，本发明提出一种Delaunay三角剖分的方法进行三角剖分以提高三维地质体模型的质量；

三、切线法线贴图进行纹理贴图

切线空间法线贴图应用较广泛，既可以适用于不变形的模型，对于变形较严重的模型也可适用，使用切线法线贴图时，将已准备完成的低模与高模导入同一个场景，准高模与低模对应的接触面，对应转换法线坐标；

四、边界图像融合技术

在三维地质体贴图过程中针对面积较大地质体需要重复纹理图案，容易造成纹理单元之间的接边问题，主要有过渡不自然、缝隙等问题；

本发明不仅比较纹理接缝两侧像素值，而且对纹理接缝平滑项函数进行重新选取，改进后的方法能够给出纹理在接缝方向上的位移量，通过相应的平移操作，可以消除局部纹理的几何不连续。

优选的，对于构建基础纹理样本库，本发明结合Bilinear-CNN 模型，提出一种提升岩性图像分类的改进的细粒度Bilinear-CNN模型，将卷积神经网络中的全局特征和LBP(Local Binary Pattern，局部二值模式)局部特征通过Bilinear-CNN模型进行了空间位置上的交互融合。

优选的，对于Bilinear-CNN模型，其网络的各层参数如下设置：

(1)第一层输入数据为原始图像的200*200*3的图像，图像被 10*10*3(3代表深度，RGB的3通道)的卷积核进行卷积，卷积核将对应矩阵上的值相乘；

卷积核的步长为4个像素，分别朝着横向和纵向这两个方向进行卷积。由此生成新的像素，新产生的像素的尺寸的大小＝(原始图像尺寸-卷积核尺寸)/步长+1；

第一层中生成新的像素的尺寸是50像素，第一层有96个卷积核，最终形成50*50*96像素层，共分为2组数据50*50*48，作为后面层数的卷积操作的输入；

池化处理：对第一步计算出来新的像素进行池化下采样运算，池化运算的尺度是预设的，本次预设为3*3，池化的步长为2，则池化后的图像的尺寸＝(像素尺寸-池化窗口尺寸)/步长+1。经过计算得到池化后的像素尺寸为25*25。经过下采样处理后的像素规模为25*25*96；

局部响应归一化层(LRN)：最后进行LRN操作，将像素的数值进行归一化运算，归一化向量的尺度为5*5。在经过第一层卷积、池化的操作结束后形成的输出图像的尺寸大小为25*25*96，生成96个新的卷积核，这96层数据分为2组，每组48个像素层；

(2)第二层输入数据是第一层输出的25*25*96的像素层。将其分为2组像素层，每组像素数据层被5*5*48的卷积核进行卷积的运算，同理按照第一层的方式进行：(25-5+2*2)/1+1＝25个像素，一共有256个卷积核，生成25*25*128两组像素层；

池化处理运算后的图像尺寸为(25-3)/2+1＝12，即池化后像素的规模为2组13*13*128的像素层；

局部响应归一化层(LRN)：最后经过归一化处理，将像素的数值进行归一化运算，归一化向量的尺度为5*5，将生成256个新的卷积核，这156个数据分为2组，每组128个像素层；

(3)第三层输入数据是第二层输出的两组12*12*128的像素层，分为2组像素数据层，每组像素数据被3*3的卷积核进行卷积运算，同理按照第一层的方式进行：(12-3+1*2)/1+1＝12个像素，一共有 384个卷积核，生成12*12*192两组像素层；

(4)第四层输入数据为第三层输出的两组12*12*192的像素层，为了方便后续处理，分为2组像素数据层。每组像素数据被3*3*192 的卷积核卷积，得到(12-3+1*2)/1+1＝12个像素，一共有384个卷积核，生成12*12*192两组像素层；

(5)第五层输入数据为第四层输出的两组12*12*192的像素层，分为2组像素数据层。每组像素数据被3*3*192的卷积核卷积，同理按照第一层的方式进行：(12-3+1*2)/1+1＝12个像素，一共有256 个卷积核，生成12*12*128两组像素层；

池化层：进过池化运算，池化后像素的尺寸为6，即池化后像素层的尺寸变成了两组6*6*128的像素层，共6*6*256＝9216规模的像素层；

(6)第六层就是全连接的第一层，AlexNet卷积得到的9216维的向量，经过hog特征提取得到的是11664维，经过lbp得到的是 26维，输入到全连接网络，全连接一共是三层，第一层输出是512，第二层输出是256，第三层输出是19；

第六层输入数据是上一层的输出6*6*256，设置512个神经元输出作为结果，然后通过ReLU激活函数以和dropout操作，最后的输出尺寸是512*1，有512个样本的输出卷积神经网络的计算值；

(7)第七层也是全连接层，将第六层输出的512个数据与第7 层的256个数据全连接操作，同第六层的处理方法，通过ReLU激活函数和dropout操作，最后的输出尺寸是256*1，有256个样本的输出卷积神经网络的计算值；

(8)第八层是全连接的最后一层，由上一层的256个数据与19 个节点全连接，输出最后的数值。

优选的，对于Bilinear-CNN模型的网络参数设置，在激活函数的选择上，将ReLU(Rectified Linear Units)作为卷积神经网络中的激活函数，他是一种非线性函数保持神经元工作的非激活状态，这样也能节省一部分的工作量；

f(x)＝max(0，x)

训练过程中，采用epochs的训练方式，对网络进行迭代学习，根据每批次的参数来更新网络中的参数，运用梯度下降的算法，使参数不断的收敛。

优选的，对于一种Delaunay三角剖分的方法，其具体包括以下步骤：

(1)首先建立一个大的三角形或多边形，把所有的数据点包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形；

(2)然后逐个对它们进行空外接圆检测，同时用Lawson设计的的局部优化过程LOP进行优化，即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。

优选的，对于切线法线贴图，其具体包括以下步骤：

(1)将法线N当作切线空间坐标系的一个坐标轴：

在每次调用顶点着器时只获取当前顶点的信息，三角形面上的其他两个顶点无法获取，三角形面上的法线并不是插值计算得到的法线，法线N是指垂直于面的方向向量。着器对当前顶点提供一个法线信息，表示在顶点处的切线方向，将顶点的切线方向作为切线空间坐标系的第二个坐标轴T。切线空间坐标系的第三个坐标轴根据T与 N的叉积B＝T×N来获取。

(2)切线空间坐标系的三个坐标轴都得到确定后，可以方便地构建模型空间坐标系到切线空间坐标系的矩阵TBN：

将向量T、B、N单位化，分别作为切线空间坐标系的x、y、z轴。根据三个坐标基构造矩阵TBN：

切线空间坐标系到世界空间坐标系转换：

Vw＝TBN×VT

式中Vw——世界空间坐标系中的坐标向量

VT——切线空间坐标系中的坐标向量

世界空间坐标系到切线空间坐标系转换：

VT＝TBN-1×Vw

式中TBN-1——TBN的逆矩阵

高模模型空间坐标系中顶点的法线向量通过乘以转换矩阵即可获得在切线空间坐标系中的法线向量，再将得到的法线向量映射到纹理的RGB空间，最终保存为纹理贴图。

优选的，对于边界图像融合技术，接缝平滑项函数选取策略如下：

(1)将接缝处颜取值存入两个数组A[n]，B[n]，n表示接缝处像素数目，A、B中每个元素A[i]、B[j]分别表示相应像素的颜值为3元标量(R，G，B)；

(2)对上述两个数组颜值进行灰度化得a[n]，b[n]，取 c[n]＝a[2n/3]-a[n/3]，把接缝处纹理排成一排，以每个像素的灰度信息作为纵轴，则左右两侧像素带如图所示关系：分别沿两个方向平移其中一条曲线Lb，使之与第二条曲线最大程度重合，即可得到一致的纹理；

(3)根据k值将两侧纹理对齐；

(4)选取Lb移动前后曲线所围成的面积的绝对值作为平滑项：

本发明采用一种兼顾几何错位与颜偏差的纹理接缝优化方法。首先分析了引起纹理接缝不一致现象的可能原因，并采用局部彩段匹配的方法来求解纹理局部平移量以及颜补偿量，取代标签集扩充方法。利用匹配结果可以给出纹理在接缝处的错位信息，同时对接缝纹理颜进行相应补偿。从而保证了各个纹理块之间接缝处纹理的平滑过渡。

与现有技术相比，本发明的有益效果是：

1、本发明技术方法既可以解决纹理贴图真实感表达不足、贴图效果瑕疵大等贴图技术问题，也可实现效率提高、错误率大大减少，为今后关于三维地质体纹理贴图表现力技术方法的仿真性、真实性、美观度的研究提供可参考的理论方法；

2、本发明提出一种基于机器学习的纹理样本库补充的方法，可以实现不断完善的纹理样本库，网格剖分可使不同精度的三维地质体模型的精度大幅度提高以达到精细化模型的目的，法线贴图可解决纹理贴图真实感表达不足的问题等，图像融合技术可解决贴图缝隙、过渡不自然等问题；

3、本发明以煤系地层建模及精细化表达为研究对象，建立基于机器学习可扩充的纹理样本库范例为建模贴图基础，选择适用于煤系地层的建模方法及精细化贴图算法，实现煤系地层复杂地质体的真实体现，为今后标准化三维地质体建模贴图的一体化过程、矿山科学化开采、煤层结构详细分析提供技术支持；

4、本发明以某煤矿地层模型为研究对象，建立基础纹理样本库并提出了一种基于机器学习的纹理样本库扩充方法，采用Delaunay 三角剖分技术对三维地质体进行重构，提高了网格模型质量，并选用切线空间法线贴图与边界无缝处理技术进行三维地质体贴图研究；

5、本发明不仅比较纹理接缝两侧像素值，而且对纹理接缝平滑项函数进行重新选取，改进后的方法能够给出纹理在接缝方向上的位移量，通过相应的平移操作，可以消除局部纹理的几何不连续；

6、本发明采用一种兼顾几何错位与颜偏差的纹理接缝优化方法。首先分析了引起纹理接缝不一致现象的可能原因，并采用局部彩段匹配的方法来求解纹理局部平移量以及颜补偿量，取代标签集扩充方法，利用匹配结果可以给出纹理在接缝处的错位信息，同时对接缝纹理颜进行相应补偿。从而保证了各个纹理块之间接缝处纹理的平滑过渡。

图1为本发明方法的技术流程图；

图2为本发明中岩性图像识别分类的改进细粒度Bilinear-CNN 模型示意图；

图3为本发明中Delaunay三角剖分方法的示意图；

图4为本发明中的像素带关系图。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种基于机器学习的三维地质体纹理贴图方法，包括以下几个方面：

一、构建基础纹理样本库，并提出一种补充纹理样本库的方法其具体包括以下两个方面：

(1)为直观放映岩石的纹理特征，本发明采用真实的岩石图片创建岩性纹理，形成基础纹理样本库；

(2)岩石复杂多样，基础纹理样本库难以将岩性纹理穷尽，因此本发明采用机器学习的方法扩充纹理样本库；

对于构建基础纹理样本库，本发明结合Bilinear-CNN模型，提出一种提升岩性图像分类的改进的细粒度Bilinear-CNN模型，将卷积神经网络中的全局特征和LBP(LocalBinary Pattern，局部二值模式)局部特征通过Bilinear-CNN模型进行了空间位置上的交互融合；

对于Bilinear-CNN模型，其网络的各层参数如下设置：

(1)第一层输入数据为原始图像的200*200*3的图像，图像被 10*10*3(3代表深度，RGB的3通道)的卷积核进行卷积，卷积核将对应矩阵上的值相乘；

卷积核的步长为4个像素，分别朝着横向和纵向这两个方向进行卷积。由此生成新的像素，新产生的像素的尺寸的大小＝(原始图像尺寸-卷积核尺寸)/步长+1；

第一层中生成新的像素的尺寸是50像素，第一层有96个卷积核，最终形成50*50*96像素层，共分为2组数据50*50*48，作为后面层数的卷积操作的输入；

池化处理：对第一步计算出来新的像素进行池化下采样运算，池化运算的尺度是预设的，本次预设为3*3，池化的步长为2，则池化后的图像的尺寸＝(像素尺寸-池化窗口尺寸)/步长+1。经过计算得到池化后的像素尺寸为25*25。经过下采样处理后的像素规模为25*25*96；

局部响应归一化层(LRN)：最后进行LRN操作，将像素的数值进行归一化运算，归一化向量的尺度为5*5。在经过第一层卷积、池化的操作结束后形成的输出图像的尺寸大小为25*25*96，生成96个新的卷积核，这96层数据分为2组，每组48个像素层；

(2)第二层输入数据是第一层输出的25*25*96的像素层。将其分为2组像素层，每组像素数据层被5*5*48的卷积核进行卷积的运算，同理按照第一层的方式进行：(25-5+2*2)/1+1＝25个像素，一共有256个卷积核，生成25*25*128两组像素层；

池化处理运算后的图像尺寸为(25-3)/2+1＝12，即池化后像素的规模为2组13*13*128的像素层；

局部响应归一化层(LRN)：最后经过归一化处理，将像素的数值进行归一化运算，归一化向量的尺度为5*5，将生成256个新的卷积核，这156个数据分为2组，每组128个像素层；

(3)第三层输入数据是第二层输出的两组12*12*128的像素层，分为2组像素数据层，每组像素数据被3*3的卷积核进行卷积运算，同理按照第一层的方式进行：(12-3+1*2)/1+1＝12个像素，一共有 384个卷积核，生成12*12*192两组像素层；

(4)第四层输入数据为第三层输出的两组12*12*192的像素层，为了方便后续处理，分为2组像素数据层。每组像素数据被3*3*192 的卷积核卷积，得到(12-3+1*2)/1+1＝12个像素，一共有384个卷积核，生成12*12*192两组像素层；

(5)第五层输入数据为第四层输出的两组12*12*192的像素层，分为2组像素数据层。每组像素数据被3*3*192的卷积核卷积，同理按照第一层的方式进行：(12-3+1*2)/1+1＝12个像素，一共有256 个卷积核，生成12*12*128两组像素层；

池化层：进过池化运算，池化后像素的尺寸为6，即池化后像素层的尺寸变成了两组6*6*128的像素层，共6*6*256＝9216规模的像素层；

(6)第六层就是全连接的第一层，AlexNet卷积得到的9216维的向量，经过hog特征提取得到的是11664维，经过lbp得到的是26维，输入到全连接网络，全连接一共是三层，第一层输出是512，第二层输出是256，第三层输出是19；

第六层输入数据是上一层的输出6*6*256，设置512个神经元输出作为结果，然后通过ReLU激活函数以和dropout操作，最后的输出尺寸是512*1，有512个样本的输出卷积神经网络的计算值；

(7)第七层也是全连接层，将第六层输出的512个数据与第7 层的256个数据全连接操作，同第六层的处理方法，通过ReLU激活函数和dropout操作，最后的输出尺寸是256*1，有256个样本的输出卷积神经网络的计算值；

(8)第八层是全连接的最后一层，由上一层的256个数据与19 个节点全连接，输出最后的数值；

对于Bilinear-CNN模型的网络参数设置，在激活函数的选择上，将ReLU(Rectified Linear Units)作为卷积神经网络中的激活函数，他是一种非线性函数保持神经元工作的非激活状态，这样也能节省一部分的工作量；

f(x)＝max(0，x)

训练过程中，采用epochs的训练方式，对网络进行迭代学习，根据每批次的参数来更新网络中的参数，运用梯度下降的算法，使参数不断的收敛。

二、Delaunay三角剖分提高三维地质体模型精度

在复杂地质体模型的纹理贴图过程中，网格质量的优劣直接影响贴图的效果，本发明提出一种Delaunay三角剖分的方法进行三角剖分以提高三维地质体模型的质量；

对于一种Delaunay三角剖分的方法，其具体包括以下步骤：

(1)首先建立一个大的三角形或多边形，把所有的数据点包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形；

(2)然后逐个对它们进行空外接圆检测，同时用Lawson设计的的局部优化过程LOP进行优化，即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。

三、切线法线贴图进行纹理贴图

切线空间法线贴图应用较广泛，既可以适用于不变形的模型，对于变形较严重的模型也可适用，使用切线法线贴图时，将已准备完成的低模与高模导入同一个场景，准高模与低模对应的接触面，对应转换法线坐标；

对于切线法线贴图，其具体包括以下步骤：

(1)将法线N当作切线空间坐标系的一个坐标轴：

在每次调用顶点着器时只获取当前顶点的信息，三角形面上的其他两个顶点无法获取，三角形面上的法线并不是插值计算得到的法线，法线N是指垂直于面的方向向量。着器对当前顶点提供一个法线信息，表示在顶点处的切线方向，将顶点的切线方向作为切线空间坐标系的第二个坐标轴T。切线空间坐标系的第三个坐标轴根据T与 N的叉积B＝T×N来获取。

(2)切线空间坐标系的三个坐标轴都得到确定后，可以方便地构建模型空间坐标系到切线空间坐标系的矩阵TBN：

将向量T、B、N单位化，分别作为切线空间坐标系的x、y、z轴。根据三个坐标基构造矩阵TBN：

切线空间坐标系到世界空间坐标系转换：

Vw＝TBN×VT

式中Vw——世界空间坐标系中的坐标向量

VT——切线空间坐标系中的坐标向量

世界空间坐标系到切线空间坐标系转换：

VT＝TBN-1×Vw

式中TBN-1——TBN的逆矩阵

高模模型空间坐标系中顶点的法线向量通过乘以转换矩阵即可获得在切线空间坐标系中的法线向量，再将得到的法线向量映射到纹理的RGB空间，最终保存为纹理贴图。

四、边界图像融合技术

在三维地质体贴图过程中针对面积较大地质体需要重复纹理图案，容易造成纹理单元之间的接边问题，主要有过渡不自然、缝隙等问题；

本发明不仅比较纹理接缝两侧像素值，而且对纹理接缝平滑项函数进行重新选取，改进后的方法能够给出纹理在接缝方向上的位移量，通过相应的平移操作，可以消除局部纹理的几何不连续；

对于边界图像融合技术，接缝平滑项函数选取策略如下：

(1)将接缝处颜取值存入两个数组A[n]，B[n]，n表示接缝处像素数目，A、B中每个元素A[i]、B[j]分别表示相应像素的颜值为3元标量(R,G,B)；

(2)对上述两个数组颜值进行灰度化得a[n]，b[n]，取 c[n]＝a[2n/3]-a[n/3]，把接缝处纹理排成一排，以每个像素的灰度信息作为纵轴，则左右两侧像素带如图所示关系：分别沿两个方向平移其中一条曲线Lb，使之与第二条曲线最大程度重合，即可得到一致的纹理；

(3)根据k值将两侧纹理对齐；

(4)选取Lb移动前后曲线所围成的面积的绝对值作为平滑项：

本发明采用一种兼顾几何错位与颜偏差的纹理接缝优化方法。首先分析了引起纹理接缝不一致现象的可能原因，并采用局部彩段匹配的方法来求解纹理局部平移量以及颜补偿量，取代标签集扩充方法。利用匹配结果可以给出纹理在接缝处的错位信息，同时对接缝纹理颜进行相应补偿。从而保证了各个纹理块之间接缝处纹理的平滑过渡。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。