计算机视觉，图像处理，OpenCV，跨平台视觉和机器学习的软件库

计算机视觉，图像

图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉。“图”是物体反射或透射光的分布，“像“是人的视觉系统所接受的图在人脑中所形成的印象或认识。照片、绘画、剪贴画、地图、书法作品、手写汉学、传真、卫星云图、影视画面、X光片、脑电图、心电图等都是图像。

模拟图像和数字图像

图像，起源于于1826年前后法国科学家Joseph Nicéphore Niépce发明的第一张可永久保存的照片，属于模拟图像。模拟图像又称连续图像，它通过某种物理量（如光、电等）的强弱变化来记录图像亮度信息，所以是连续变换的。模拟信 的特点是容易受干扰，如今已经基本全面被数字图像替代。

在第一次世界大战后，1921年美国科学家发明了Bartlane System，并从伦敦传到纽约传输了第一幅数字图像，其亮度用离散数值表示，将图片编码成5个灰度级，通过海底电缆进行传输。在发送端图片被编码并使用打孔带记录，通过系统传输后在接收方使用特殊的打印机恢复成图像。

1950年左右，计算机被发明，数字图像处理学科正式诞生。

数字图像的表示，位数

计算机采用0/1编码的系统，数字图像也是利用0/1来记录信息，平常接触的图像都是8位数图像，包含：0～255灰度，其中0，代表最黑，1，表示最白。

人眼对灰度更敏感一些，在16位到32位之间。

数字图像的分类，二值图像、灰度图和彩色图

二值图像：

一幅二值图像的二维矩阵仅由0、1两个值构成，“0”代表黑色，“1”代白色。由于每一像素（矩阵中每一元素）取值仅有0、1两种可能，所以计算机中二值图像的数据类型通常为1个二进制位。二值图像通常用于文字、线条图的扫描识别（OCR）和掩膜图像的存储。

灰度图：

每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度，尽管理论上这个采样可以任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑色与白色两种颜色；但是，灰度图像在黑色与白色之间还有许多级的颜色深度。灰度图像经常是在单个电磁波频谱如可见光内测量每个像素的亮度得到的，用于显示的灰度图像通常用每个采样像素8位的非线性尺度来保存，这样可以有256级灰度（如果用16位，则有65536级）。

彩色图：

每个像素通常是由红（R）、绿（G）、蓝（B）三个分量来表示的，分量介于（0，255）。RGB图像与索引图像一样都可以用来表示彩色图像。与索引图像一样，它分别用红（R）、绿（G）、蓝（B）三原色的组合来表示每个像素的颜色。但与索引图像不同的是，RGB图像每一个像素的颜色值（由RGB三原色表示）直接存放在图像矩阵中，由于每一像素的颜色需由R、G、B三个分量来表示，M、N分别表示图像的行列数，三个M x N的二维矩阵分别表示各个像素的R、G、B三个颜色分量。RGB图像的数据类型一般为8位无符 整形，通常用于表示和存放真彩色图像。

OpenCV：Open Source Computer Vision Library

OpenCV

OpenCV是一款由Intel公司俄罗斯团队发起并参与和维护的一个计算机视觉处理开源软件库，支持与计算机视觉和机器学习相关的众多算法，并且正在日益扩展。

OpenCV，基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可运行在Linux、Windows、Android和Mac OS操作系统上，轻量级且高效，由一系列C函数和少量C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

地址：https://opencv.org/，
https://sourceforge.net/projects/opencvlibrary/files/

OpenCV的优势

1、编程语言，OpenCV基于C++实现，同时提供python, Ruby, Matlab等语言的接口。OpenCV-Python是OpenCV的Python API，结合了OpenCV C++ API和Python语言的最佳特性。

2、跨平台，可以在不同的系统平台上使用，包括Windows，Linux，OS X，Android和iOS。基于CUDA和OpenCL的高速GPU操作接口也在积极开发中。

3、活跃的开发团队。

4、丰富的API，完善的传统计算机视觉算法，涵盖主流的机器学习算法，同时添加了对深度学习的支持。

OpenCV的模块

其中core、highgui、imgproc是最基础的模块：

1、core模块实现了最核心的数据结构及其基本运算，如绘图函数、数组操作相关函数等。

2、highgui模块实现了视频与图像的读取、显示、存储等接口。

3、imgproc模块实现了图像处理的基础方法，包括图像滤波、图像的几何变换、平滑、阈值分割、形态学处理、边缘检测、目标检测、运动分析和对象跟踪等。

对于图像处理其他更高层次的方向及应用，OpenCV也有相关的模块实现

1、features2d模块用于提取图像特征以及特征匹配，nonfree模块实现了一些专利算法，如sift特征。

2、objdetect模块实现了一些目标检测的功能，经典的基于Haar、LBP特征的人脸检测，基于HOG的行人、汽车等目标检测，分类器使用Cascade Classification（级联分类）和Latent SVM等。

3、stitching模块实现了图像拼接功能。

4、FLANN模块（Fast Library for Approximate Nearest Neighbors），包含快速近似最近邻搜索FLANN 和聚类Clustering算法。

5、ml模块机器学习模块（SVM，决策树，Boosting等等）。

6、photo模块包含图像修复和图像去噪两部分。

7、video模块针对视频处理，如背景分离，前景检测、对象跟踪等。

8、calib3d模块即Calibration（校准）3D，这个模块主要是相机校准和三维重建相关的内容。包含了基本的多视角几何算法，单个立体摄像头标定，物体姿态估计，立体相似性算法，3D信息的重建等等。

9、G-API模块包含超高效的图像处理pipeline引擎。

OpenCV的安装（windows环境）

我的Windows安装目录：D:AppsMyToolopencv

idea开发配置：

Java代码：

import org.opencv.core.Core;import org.opencv.core.CvType;import org.opencv.core.Mat;public class OpenCVMain {    static {        // 保证先执行该语句，用于加载库        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);    }    public static void main(String[] args) {        System.out.println("OpenCV版本：" + Core.VERSION);        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);        Mat mat = Mat.eye(3, 3, CvType.CV_8UC1);        System.out.println("mat=" + mat.dump());    }}

输出：

OpenCV版本：4.5.5mat=[  1,   0,   0;   0,   1,   0;   0,   0,   1]