深度学习|高阶机器学习库——Caffe

高阶机器学习中必不可少的Caffe框架的深度学习！

Caffe

• 容易上手， 络结构都是以配置文件形式定义，不需要用代码设计 络；
• 训练速度快，能够训练 state-of-the-art 的模型与大规模的数据；
• 组件模块化，可以方便地拓展到新的模型和学习任务上；

Caffe 的核心概念是 Layer，每一个神经 络的模块都是一个 Layer。Layer 接收输入数据，同时经过内部计算产生输出数据。设计 络结构时，只需要把各个 Layer 拼接在一起构成完整的 络（通过写 protobuf 配置文件定义）。比如卷积的 Layer，它的输入就是图片的全部像素点，内部进行的操作是各种像素值与 Layer 参数的 convolution 操作，最后输出的是所有卷积核 filter 的结果。每一个 Layer 需要定义两种运算，一种是正向（forward）的运算，即从输入数据计算输出结果，也就是模型的预测过程；另一种是反向（backward）的运算，从输出端的 gradient 求解相对于输入的 gradient，即反向传播算法，这部分也就是模型的训练过程。实现新 Layer 时，需要将正向和反向两种计算过程的函数都实现，这部分计算需要用户自己写 C++或者 CUDA （当需要运行在 GPU 时）代码，对普通用户来说还是非常难上手的。正如它的名字 Convolutional Architecture for Fast Feature Embedding 所描述的，Caffe 最开始设计时的目标只针对于图像，没有考虑文本、语音或者时间序列的数据，因此 Caffe 对卷积神经 络的支持非常好，但对时间序列 RNN、LSTM 等支持得不是特别充分。同时，基于 Layer 的模式也对 RNN 不是非常友好，定义 RNN 结构时比较麻烦。在模型结构非常复杂时，可能需要写非常冗长的配置文件才能设计好 络，而且阅读时也比较费力。

Caffe 的一大优势是拥有大量的训练好的经典模型（AlexNet、VGG、Inception）乃至其他 state-of-the-art （ResNet等）的模型，收藏在它的 Model Zoo （http://github.com/BVLC/ caffe/wiki/Model-Zoo）。因为知名度较高，Caffe 被广泛地应用于前沿的工业界和学术界，许多提供源码的深度学习的论文都是使用 Caffe 来实现其模型的。在计算机视觉领域 Caffe 应用尤其多，可以用来做人脸识别、图片分类、位置检测、目标追踪等。虽然 Caffe 主要是面向学术圈和研究者的，但它的程序运行非常稳定，代码质量比较高，所以也很适合对稳定性要求严格的生产环境，可以算是第一个主流的工业级深度学习框架。因为 Caffe 的底层是基于 C++的，因此可以在各种硬件环境编译并具有良好的移植性，支持 Linux、Mac 和 Windows 系统，也可以编译部署到移动设备系统如 Android 和 iOS 上。和其他主流深度学习库类似，Caffe 也提供了 Python 语言接口 pycaffe，在接触新任务，设计新 络时可以使用其 Python 接口简化操作。不过，通常用户还是使用 Protobuf 配置文件定义神经 络结构，再使用 command line 进行训练或者预测。Caffe 的配置文件是一个 JSON 类型的 .prototxt 文件，其中使用许多顺序连接的 Layer 来描述神经 络结构。Caffe 的二进制可执行程序会提取这些 .prototxt 文件并按其定义来训练神经 络。理论上，Caffe 的用户可以完全不写代码，只是定义 络结构就可以完成模型训练了。Caffe 完成训练之后，用户可以把模型文件打包制作成简单易用的接口，比如可以封装成 Python 或 MATLAB 的 API 。不过在 .prototxt 文件内部设计 络节构可能会比较受限，没有像 TensorFlow 或者 Keras 那样在 Python 中设计 络结构方便、自由。更重要的是，Caffe 的配置文件不能用编程的方式调整超参数，也没有提供像 Scikit-learn 那样好用的 estimator 可以方便地进行交叉验证、超参数的 Grid Search 等操作。Caffe 在 GPU 上训练的性能很好（使用单块 GTX 1080 训练 AlexNet 时一天可以训练上百万张图片），但是目前仅支持单机多 GPU 的训练，没有原生支持分布式的训练。庆幸的是，现在有很多第三方的支持，比如雅虎开源的 CaffeOnSpark，可以借助 Spark 的分布式框架实现 Caffe 的大规模分布式训练。

更多行业资讯，更新鲜的技术动态，尽在学院。

标签：