储备池计算（Reservoir Computing）综述

背景

人工神经 络、贝叶斯图模型、核方法在非时域的问题上表现出色，但用它们对动态系统建模还是有一定困难的。
Takens 引入时滞坐标把时序数据转换到相空间去研究。
Hopfield 提出 RNN，可以对动态数据建模，RNN 被证明具有很好的函数逼近能力，但存在训练困难、收敛慢、梯度消失等问题。随后提出的 LSTM 用于应对 RNN 梯度消失导致记忆短暂的问题。
Buonomano 在早期工作中提出了用具有暂塑性（short-term plasticity、dynamic synapses）的脉冲神经元（spiking neurons）构成的随机 络，他发现暂塑性使得循环 络具有更慢的动态，他在说明这个现象时运用了特殊的训练方法：保持随机连接的循环 络不变，只训练一个简单的对 络输出特征做后处理的分类/回归模型。
上述训练思想分别被Jaeger 用在回声状态 络（Echo State Network）上，被 Maass 用在液体状态机（Liquid State Machine）上，构成了现在储备池计算的基石。

模型

节点类型

• linear nodes 线性
• threshold logic gates 阈值逻辑门
• hyperbolic tangent 双曲正切 or Fermi neurons
  (with or without an extra leaky integrator)
• spiking neurons (with or without synaptic models and dynamic synapses).

训练

离线：岭回归
在线：递归最小二乘 Recursive least squares

储备池更新

由于储备池的随机 络不是最优的，通过调整 络连接权重可以在特定任务上取得更好的性能：

• 遗传算法
• Evolino
• 粒子群等
• 对更大的储备池剪枝
• 基于 Hebbian 无监督学习规则
• 内在可塑性 Intrinsic Plasticity,

结构储备池

处理序列在多个时间尺度的信息

应用

动态模式分类；
自动正弦函数生成；
计算脉冲序列瞬态频率的非线性函数；
控制仿真机械臂；
机器人控制器建模；
目标跟踪与动作预测；
事件检测；
语音识别；
噪声建模；
人机交互；
混沌吸引子重建；
混沌事件序列预测；

实现

软件：http://www.elis.ugent.be/rct

开放问题

• From a theoretical standpoint, a proper understanding of reservoir dynamics and measures for these dynamics is very important.
• A theory on regularization of the readout and the reservoir dynamics is cur-
  rently missing.
• The influence of hierarchical and structured topologies is not yet well understood.
• Bayesian inference with RC needs to be investigated.
• Intrinsic plasticity based reservoir adaptation needs also be further investigated.
• From an implementation standpoint, the RC concept can be extended way beyond RNN, and any high-dimensional dynamical system, operating in the proper dynamical regime (which is as of now theoretically still quite hard to define), can be used as a reservoir.