基于ImagePy工具的岩块图像二值化分割研究

看到自己一年前在知乎提的问题了，忍不住回答下。

(a)全屏界面
(a) Full screen interface

(b)独立窗口界面
(b) Independent window interface

(c)导航栏
(c) Navigation Bar interface
图1 界面模式
Fig. 1 Pattern of interface

导航栏中红框选中区域就是图1a）中大图显示区域。

1.2 插件拓展
扩展ImagePy的形式有：增加菜单项Menus，增加工具Tools，增加桌面部件Widgets。编写独立的功能脚本，放置到特定的位置，然后启动时由Loader加载，就能解析成对应界面位置的插件[7]。只需要指明参数以及对应的交互方式，ImagePy参数对话框自动生成器即可生成所支持的各种参数类型。参数交互类型如图2所示。

图2 参数交互类型
Fig. 2 Parameters type of interaction

利用ImagePy便捷的插件拓展能力，可以在原软件框架上进行二次开发，添加双边滤波器功能。该滤波器有3个输入参数，通过调整输入参数，可以对需处理的图像进行动态调整。双边滤波参数对话框如图3所示。

图3 双边滤波参数对话框
Fig. 3 Bilateral filtering parameters dialog box

为保证全文逻辑统一，下节结合数字图像处理理论对数字图像预处理方法进行说明。

2 图像预处理方法
通过ImagePy二次开发插件很容易解决孤立岩块的数字图像的二值化操作，二值化操作结果如图4所示。而实际爆破后爆堆的岩块是紧密相连、相互重叠覆盖的堆积体，如图5所示。对于这样黏连的岩块图像，相连岩块分割较为复杂。为了得到黏连重叠岩块的二值图，结合数字图像处理理论，进行下列操作。

(a)孤立岩块原图
(a)Origin image of isolated rock fragmentations

(b)孤立岩块二值图
(b)Binary image of isolated rock fragmentations
图4 孤立岩块图像处理
Fig.4 Image process of isolated rock fragmentations

2.1 灰度变换
在岩块数字图像中，可以利用灰度值的不同区分目标岩块和背景。从彩色空间到灰度空间有多种算法，将灰度空间的线性亮度计算为彩色空间三个线性强度值R(红色)、G(绿色)、B(蓝色)的加权和，权重系数如式（1）：

这三个特定系数典型的表示了人类对光线的强度（亮度）感知情况。人类视觉对绿色最为敏感，因此这个系数值（0.7152）最大，对蓝色最不敏感，因此这个系数（0.0722）最小[8]。灰度变换结果如图5所示。

(a)黏连岩块原图
(a) Origin image of adhesion rock fragmentations

(b)黏连岩块灰度图
(b) Grayscale image of adhesion rock fragmentations
图5 黏连岩块图像处理
Fig.5 Image process of adhesion rock fragmentations

2.2 双边滤波器
双边滤波在保持其边缘的同时平滑输入图像。每个像素被其邻域的加权平均值替换。每个邻域被远像素的空间分量惩罚加权，而不同强度像素的距离分量也惩罚加权。这两个分量的组合确保只有附近相似的像素对最终结果作出贡献。显示的权重适用于中心像素(箭头下)，双边滤波示意图如图6所示[9]。

图6 双边滤波示意图
Fig. 6 Bilateral filtering schematic

双边滤波器将输入图像(A)转换为平滑版(B)。它去除了大部分纹理、噪声和细节，但保留了大而锐利的边缘而不模糊。ImagePy工具内使用二次开发的双边滤波器，输入参数（30,11,11）得到黏连岩块的双边滤波结果，如图7所示。

图7 黏连岩块双边滤波结果图
Fig. 7 Bilateral filtering results image of adhesion rock fragmentations

2.3 自适应阈值化
阈值化通过将强度值高于阈值的所有像素设置为前景值，并将所有剩余像素设置为背景值来分割图像。传统阈值算子对所有像素使用全局阈值，而自适应阈值则在图像上动态地改变阈值，从而可以适应图像中改变的照明条件，例如，那些由于强照明梯度或阴影而发生的照明差异[10]。
黏连的岩块图像如图5 a），对其阈值化处理时，首先灰度变换得到其灰度图像如图5b），在灰度图上，运用二次开发的双边滤波器进行平滑处理，平滑结果如图7所示，从而全局上平滑了图像噪点，又保护了岩块边缘不被破坏。对图7使用自适应阈值化功能，ImagePy的自适应阈值参数对话框中选定（31,3）参数进行图像自适应阈值处理，得到的黏连岩块自适应阈值化结果如图8所示。

图8 黏连岩块自适应阈值化结果图
Fig. 8 Adaptive thresholding results image of adhesion rock fragmentations

2.4 二值图形态学运算
图像处理中形态学运算是图像与其中形状或形态特征元素集合的相关运算。由于纹理和图像噪声等原因，二值图像通常包含大量杂点，表现为白色岩块背景中有黑色杂点，黑色分割边缘中存在白色杂点（见图9）。这些杂点通常是不需要的，其存在会影响最终的分析和统计，因此在岩块识别分析前必须去除图像中的杂点。开运算是一种常用去杂点方法，可以有效地去除图像中小于结构元素的杂点[11]，定义如下：

A☉B＝(AΘB)⊕B (2)

形态学运算中的开运算分为腐蚀和膨胀两个步骤。开运算通过腐蚀，将图像中宽度小于2r的元素全部清除。而大于2r的元素留下，经过膨胀操作后，大于2r的元素能还原到原来大小，而原来小于2r的元素没有残留而不能膨胀还原。
假设A 为岩块，B 为腐蚀结构元素，这里B结构元素边长为2r的正方形。B^表示B 集合的反射，A 被B 腐蚀在集合论里的定义为[11]：

AΘB={z | (B^)z∩A=B} (3)

AΘB={z | (B) z∩A=B} (4)

式（3）从直观上可以这样理解：将B 的中心移到z 点时，如果B与A有交集，则z 点设为黑色。通过腐蚀，岩块A 向内收缩了r。腐蚀操作后，除了独立的噪点被消除外，岩块边缘也受腐蚀。因此需要通过膨胀来弥补这种情况。
膨胀在集合论中的定义为[11]：

A⊕B={z | (B) z∩A≠φ} (5)

使用结构元素B对岩块A的闭运算表示为A·B，定义如下[11]：

A·B＝(A⊕B)ΘB (6)

经过反复调整结构算子的边长参数2r，形态学运算过滤后得到了黏连岩块形态学运算结果，如图9所示。

图9 黏连岩块形态学运算结果图
Fig. 9 Morphological operations results image of adhesion rock fragmentations

2.5 分水岭算法
分水岭算法通过选取特征种子点，对包含种子点的各个岩块区域的灰度值及其灰度变化梯度进行流域标记[12]。通过种子迭代寻找到高低灰度间的山脊线般的分割线，将分割线两端的低灰度区域分割成不同的流域，即不同的岩块区域。
由于初步二值化后，部分岩块黏连成团，进一步的识别中，系统会将多个岩块团识别为一个岩块或者一个岩块识别为多个岩块，因此必须对这种分割进行修正。通过分水岭算法对岩块区域进行过分割和欠分割的修正，得到了较好的分割效果。黏连岩块分水岭算法结果如图10所示。

图10 黏连岩块分水岭算法结果图
Fig. 10 Watershed algorithm results image of adhesion rock fragmentations

3 实例分析
3.1 现场图片采集要点
1）为了获得代表整个爆堆的样品图片，除了从爆破后的堆垛表面拍摄至少30张照片之外，数据收集时可在下面两种情况中各收集至少30张照片以反映爆堆内部情况：爆堆岩块装载到一半时、爆堆岩块装载快结束时[13~14]。
2）指定固定点的位置拍摄图像样本，该点应便于得到整个爆破区域相关的碎裂岩块尺寸分布的代表性图像。
3）为避免透视误差，相机镜头相对于被采样表面的角度应垂直放置。出于这个原因，直径为24.6厘米的一个球（篮球）被放置在照片中，作为合适的尺寸标注物来参考尺寸。
4）当露天条件具有足够均匀的照明以获得适当的对比度和清晰度的图片时，拍摄照片。为了避免碎片重叠的错误，在几个固定点对每个爆堆的不同部分拍摄图像。
5）质量差的照片（如灰尘遮盖）以及通常不符合标准的照片放弃不用。
照片由一台有效像素2432万的尼康D750数码相机拍摄。对于拍摄的所有照片，选定的不同位置到相机的距离大致相同。拍摄的照片内包括超过500个可见的岩块碎片，露天采集的岩块原图如图11所示。

图11 露天采集的岩块原图
Fig. 11 Rock fragmentations image collected in the open air

3.2 图像标定
ImagePy测量得到选定红色篮球标记物直径D（单位为像素个数：piexls），用篮球实际直径d（即24.6厘米）除以D，计算其比值K为d/D，即为实际岩块尺寸和图像中岩块磁村之间对应换算比例。图像二值化分割得到的岩块区域面积是用像素个数计量的，图中岩块区域面积与比值平方即K2相乘可得实际岩块区域面积。ImagePy可以自动完成这个单位过程转换。篮球标记物标定如图12所示。

图12 篮球标记物标定图
Fig. 12 Basketball marker calibration

(a) 二值分割结果图
(a)Binary segmentation result image

(b)分割结果与原图叠加效果图
(b) Segmentation result image

(c)三维可视化图
(c) 3D visualization image
图13 黏连岩块图像处理结果
Fig.13 Image process results of adhesion rock fragmentations

肉眼直观评价，该图分割效果较好，否则可通过ImagePy手动描画分割线，提高局部分割结果准确性。如果整体分割效果不佳，需要将整张图片切割成几块，将分开的图中小块区域放大以利于精确分割。对放大比例图测量后需再换算回到原来的比例，以得到精确的分割结果[15]。变异系数（CV）指标评价是否需要对小岩块区域放大图像进行分割：

SD是岩块尺寸标准偏差，Mean为岩块尺寸均值。变异系数CV大，则岩块尺寸差异大，意味着需要对小岩块区域靠近放大拍摄更多照片或者对该区域的小岩块放大后进行分割，变异系数CV越大，获得岩块尺寸代表性平均值所需的图像就越多[13]。

4 结语
（1）通过对ImagePy框架进行拓展，开发了基于ImagePy的双边滤波插件，明确了露天黏连岩块图像预处理的分析方法和岩块图像采集要点，处理后得到了良好的二值化效果。证明开源图像处理框架ImagePy拓展插件能够解决爆堆岩块图像预处理问题。
（2）本流程通过多人人眼主观来评价图像处理分析效果，下一步需要结合多种粒径参数来量化评价。后续研究中待扩大岩块图像采集规模，构建专家标记的公开岩块图像数据集，以利于快速客观的对分割效果进行评价。

参考文献(References)
[1] 吴亮, 鲁帅, 许锋, 等.矿岩爆破破碎机理、块度分布与测量技术研究动态[J]. 金属矿山,2016(7):47-53.
WU Liang, LU Shuai, XU Feng, et al.Research trends about the mechanism of ore rock blasting fragmentation,the distribution of block size and measurement technique[J].Metal L Mine,2016(7):47-53.（in Chinese）
[2] 刘春, 王宝军, 施斌,等.基于数字图像识别的岩土体裂隙形态参数分析方法[J]. 岩土工程学 ,2008(9):1383-1388.
LIU Chun, WANG Bao-jun, SHI Bin, et al. Analytic method of morphological parameters of cracks for rock and soil based on image processing and recognition[J]. Chinese Journal of Geotechnical Engineering,2008(9):1383-1388.（in Chinese）
[3] 史秀志, 黄丹, 盛惠娟,等.矿岩爆破图像二值化分割技术的研究与选择[J]. 爆破, 2014, 31(1):47-50.
SHI Xiu-zhi, HUANG Dan, SHENG Hui-juan, et al.Study and optimization of rock blasting imagesegmentation technology based on binaryzation[J].Blasting, 2014, 31(1):47-50.（in Chinese）
[4] 荆永滨, 王公忠, 毕林,等.基于块体形状分类的爆堆块度三维几何参数估算[J]. 爆破, 2018,35(1):35-41.
JING Yong-bin,WANG Gong-zhong, BI Lin, et al.Estimation of 3D Geometric Parameters of Blasting Fragmentation based on Block Shape Classification[J]Blasting,2018,35(1):35-41.（in Chinese）
[5] 宋克英,刑占利,谢君琦,等.图像处理技术在矿岩块度统计中的应用[J]. 矿业快 ,2006(1):26-28.
SONG Ke-ying, XING Zhan-li, XIE Jun-qi, et al.Application of image processing technology in rock fragmentation statistics[J].Express Information of Mining Industry,2006(1):26-28.（in Chinese）
[6] 璩世杰, 刘际飞, 许文耀. 爆堆矿岩块度分布的计算机图像自动处理系统[J]. 金属矿山, 2013, 42(6):1-4.
QU Shi-jie,LIU Ji-fei ,XU Wen-yao.Computer image automatic processing system for fragmentationdistribution of blasting lumps and rocks[J].Metal L Mine, 2013, 42(6):1-4.（in Chinese）
[7] WANG An-liang, YAN Xiao-long, WEI Zhi-jun. ImagePy: an open-source, Python-based and platform-independent software package for bioimage analysis[J]. Bioinformatics, 2018,313(1):1-2
[8] IEC 61966-2-1 (1999-10) Multimedia Systems And Equipment – Colour Measurement And Management – Part 2-2: Colour Management – Extended Rgb Colour Space – Scrgb[S].
[9] F Durand，J Dorsey.Fast bilateral filtering for the display of highdynamic-range images[J].ACM Transactions on Graphics, 2002(21)：257–266 .
[10] 王娟,王萍,刘敏.复杂光照下DPM图像自适应多阈值分割方法研究[J].计算机工程与应用,2018,54(9):194-200.
[10] WANG Juan, WANG Ping, LIU Min. Adaptive multi-thresholds segmentation of DPM barcode image in complex
Illumination[J]. Computer Engineering and Applications, 2018, 54(9):194-200.
[11] GONZALEZ RC,WOODS RE.Digital image processing second edition[M]. Beijing: Publishing House of Electronics Industry, 2006.
[12] WANG X P, ZHAO J J, PENG M A, et al. Watershed segmentation based on hierarchical multi-scale modification of morphological gradient[J]. Journal of Measurement Science and Instrumentation,2017,8(01):60-67.
[13] BADRODDIN, MOSTAFA, KHOSHROU, et al. Efficiency of standardized image processing in the fragmentation;prediction in the case of Sungun open-pit mine[J]. Arabian Journal of Geosciences,2013, 6(9)：3319-3329.
[14] FARAMARZI F, MANSOURI H, FARSANGI M A E.A rock engineering systems based model to predict rock fragmentation by blasting[J]. International Journal of Rock Mechanics & Mining Sciences,2013, 60(8)：82-94.
[15] KERMENY J M. Analysis of rock fragmentation using digital image processing[J]. Journal of Geotechnical Engineering,1993, 119(7)：1144-1160.

基于ImagePy工具的岩块图像二值化分割研究

相关推荐