华中科技大学伍冬睿教授团队关于生理计算中的对抗攻击与防御综述

图1.生理计算中的常见信 及其典型测量位置

图2. 生理计算中常见信 的例子及其典型的测量设备

机器学习[82]可自动分类测量到的生理信 ，能缓解这一问题。其中，深度学习在脑电图分类方面表现突出[69]，如EEGNet[47]、DeepCNN[73]、ShallowCNN[73]和TIDNet[44]用于EEG分类，SeizureNet用于基于EEG的癫痫识别[5]，CNN用于ECG节律分类[28]，ECGNet用于基于EEG的精神压力监测[36]等。

然而，最近的研究表明，传统的机器学习和深度学习模型容易受到各种攻击[27,56,67,77]。例如，Chen等[14]将含太阳镜的污染样本注入训练集，从而使所有包含太阳镜的图片都会被分类为目标类，成功地在目标模型中创建了一个后门。Eykholt等[21]将精心制作的涂鸦粘贴在道路标志上，并使模型将”停车”分类为”限速40″。Finlayson等[23,24]成功地实现对深度学习分类器跨越三个临床应用领域(眼底镜、胸部X光片和皮肤镜)的对抗攻击。Rahman等[68]对6种COVID-19相关应用进行了对抗性攻击，包括识别实验对象是否佩戴口罩、是否拥有基于深度学习的二维码作为免疫证书、从CT扫描或X光图像中辨别COVID-19等。Ma等[50]表明，医学上深度学习模型比针对自然图像的模型更容易受到对抗攻击，但令人惊讶和幸运的是，医学上的对抗攻击也较容易检测。Kaissis等[40]指出，除了对抗性攻击，医学图像领域也存在各种各样其他的攻击手段。该团队呼吁通过安全、隐私保护和联邦机器学习来解决这些潜在的问题。

生理计算中的机器学习模型也不能幸免于对抗攻击[42,43,89]。然而，就我们所知，目前并不存在系统性地关于生理计算中的对抗攻击综述。本篇论文全面调研不同类型的对抗攻击及其在生理计算上的应用和可能的防御策略，填补了这一空白，对生理计算系统在实际生活中应用的安全性有重要意义。

2

生理计算

生理计算包含，或者与这些领域高度重合：与脑机接口(BCI)、情感计算、自适应自动化、健康信息学、基于生理信 的生物辨识技术。

II.A 脑机接口

BCI系统建立了大脑和外部设备 (例如计算机或机器人) 之间直接的通信通道[46]。头皮脑电和颅内脑电已广泛应用于BCIs[82]。

图3给出了一个基于脑电的闭环脑机接口系统流程图。脑电信 采集后，通常通过包括时域滤波和空域滤波的信 处理来增强信噪比。机器学习的目标是理解脑电信 的含义，从而产生控制命令发送到外部设备。

图3. 基于脑电图的BCI闭环系统流程图

基于脑电的BCI拼写器可能是唯一适用于肌萎缩性侧索硬化症（ALS）患者与外界交流的非肌肉型通讯设备[74]。在癫痫治疗中，反应性神经刺激(RNS)[26,31]识别发作前的ECoG或颅内EEG模式，以及提供高频刺激脉冲来阻止癫痫发作，从而改善患者生活质量。

II.B 情感计算

情感计算是”computing that relates to, arises from, or deliberately influences emotion or other affective phenomena”[64]。

在基于生理反馈的放松训练中[15]，EDA可用于检测用户的情感状态，在此基础上放松训练的应用可以为用户提供明确的反馈来学习如何改变他/她的生理活动，从而改善健康状况。在软件适配过程中[3]，图形界面、难度级别、音效和/或内容可以根据从各种生理信 中估计的用户实时情绪自动调整，使用户更有参与感。

II.C 自适应自动化

II.D 健康信息学

健康信息学研究医疗领域中的信息、交流过程和系统[16]。

从AliveCor个人心电监护仪收集的单导联短心电图记录(9-60秒)，可通过卷积神经 络(CNN)对正常窦性心律、房颤、替代心律或噪声进行分类，对前三类[32]的平均检测准确率为88%。最近的一项研究[58]还表明，消费级智能手表(如苹果、Fitbit和Garmin设备)的心率数据可用于COVID-19症状前检测，有时可以提前9天或更早。

II.E 基于生理信 的生物识别

基于生理信 的生物识别[75]将生理信 用于生物识别，例如，对一个人进行数字识别来授权访问系统、设备或数据。

EEG[30]、ECG[1]、PPG[86]和多模态生理信 [8]已被用于用户识别和认证。这些信 具有通用性、持久性、活性检测、持续认证等优点。

3

对抗攻击

对抗攻击有不同的分类[56,57]，如图4所示。

图4. 对抗攻击分类

III.A 目标和非目标攻击

根据攻击结果，有两种类型的对抗攻击[56]: 目标攻击和非目标（无差别）攻击。

目标攻击迫使模型将特定的样例或特征空间的特定区域分类到特定的(通常是错误的)类别中。非目标攻击使模型对某些样例或特征空间区域进行错误分类，但不指定它们应该被错分到哪个类别。

例如，在一个3分类问题中，假设类别标签为A、B和C，那么，目标攻击可能会使所有输入都被分为A类。而非目标攻击会使A类输入被分为B类或C类，但不指定它必须是B或C类。只要分类类别不是A类，那么非目标攻击就是成功的。

III.B 白盒、黑盒和灰盒攻击

根据攻击者对目标模型的了解程度，可以有三种攻击类型[88]:

• 白盒攻击: 在这种攻击中，攻击者知道关于目标模型的所有信息，包括其架构和参数。这是最简单的攻击场景，但可以造成最大的伤害。它可能对应于攻击者是内部人员的情况，或者模型设计者评估模型受攻击时的最坏情况。常用的攻击方法有L-BFGS[77]、DeepFool[59]、C&W[13]、快速梯度符 法（FGSM）[27]、基本迭代法（BIM）[45]等。

• 黑盒攻击: 攻击者既不知道目标模型的结构也不知道目标模型的参数，但可以向模型提供输入并观察其输出。这是最现实的、也是最具挑战性的攻击场景。一个例子是，攻击者购买了一个商用BCI系统并试图攻击它。黑盒攻击是可以实现的，这是由于对抗样本的可迁移性[77]，即如果两个机器学习模型解决相同的任务，那么由一个机器学习模型生成的对抗样本可以很高的概率欺骗另一个机器学习模型。因此，在黑盒攻击[62]中，攻击者可以多次查询目标模型来构建训练集，利用其训练得到一个替代的机器学习模型，然后从替代模型中生成对抗样本用于攻击原始目标模型。

• 灰盒攻击: 假设攻击者知道关于目标模型的有限信息，例如，构建目标模型所使用的训练数据。在下一小节中将会介绍，灰盒攻击经常被用于数据污染攻击。

4

生理计算中的对抗攻击

大多数对抗攻击研究考虑计算机视觉的应用，其输入是2D图像。生理信 是连续的时间序列，与图像有很大不同。针对时间序列的对抗攻击研究相对较少[41]，针对生理信 的研究则更少，如表III所示。

需要注意的是，干扰模块是可实现的，如研究[76]表明，BtleJuice (一个对蓝牙设备执行中间人攻击的框架)可以用来拦截基于EEG的消费级BCI系统的数据，修改它们，然后将它们重新发送回脑机接口系统。

Jiang等[39]重点研究了BCI分类问题中对深度学习模型的黑盒非目标逃逸攻击，其中攻击者训练一个替代模型来近似目标模型，然后从替代模型中生成对抗样本来攻击目标模型。学习一个好的替代模型对于黑盒攻击的成功至关重要，但它需要对目标模型进行大量的查询。Jiang等[39]提出了一种新的基于查询合成的主动学习框架，通过主动合成目标模型决策边界周围的EEG试次，提高查询效率，如图7所示。与原有的黑盒攻击方法[88]相比，基于主动学习的方法可以在相同的查询次数下提高攻击成功率，或者等价地，减少查询次数以达到预期的攻击性能。这是第一个BCI中集成主动学习和对抗攻击的工作。

Zhang等[89]考虑了对传统的、最常用的BCI拼写器流程进行目标攻击。该流程有单独的特征提取和分类步骤。Liu等[49]考虑了对基于EEG的BCI中端到端深度学习模型的目标和非目标白盒逃逸攻击，并提出了一种总损失最小化(TLM)的方法来生成通用对抗扰动(UAP)。实验结果表明，该方法在三种脑机接口范式(P300、反馈错误相关负性和运动想象)中的EEGNet、ShallowCNN和DeepCNN分类器上均有效。他们还验证了UAP在非目标灰盒逃逸攻击中的可迁移性。

为了进一步简化TLM-UAP的实现，Liu等[49]还考虑了更小的模板尺寸，即具有部分通道和时域样本的mini TLM-UAP，其可以添加到EEG试次的任何地方。mini TLM-UAPs更实用、更灵活，因为它们不需要攻击者知道脑电图通道的确切数量以及脑电图试次的确切长度和开始时间。Liu等[49]研究表明，一般情况下，所有mini TLM-UAPs均有效。然而，当使用的通道数量和/或模板长度减少时，它们的有效性降低，这是很容易理解的。这是第一个在基于EEG的BCI中对CNN分类器的通用对抗攻击研究，也是最早的基于优化的通用对抗扰动目标逃逸攻击研究。

总之，TLM-UAP方法[49]解决了试验特异性和非因果性约束，而mini TLM-UAP进一步缓解了通道特异性和同步性约束。以上研究都考虑逃逸攻击。Meng等[54]首次表明，基于EEG的BCI也可以进行污染攻击，如图9所示。他们提出了一个可物理实现的后门密钥 (窄周期脉冲)，可以在信 采集期间添加到正常的EEG信 中，并证明了其在黑盒目标污染攻击中的有效性，即攻击者不知道任何关于测试EEG试次的信息 (包括其起始时间) 并希望将其分到一个特定的类别。换句话说，该方法同时解决了试次特异性、通道特异性、因果性和同步性约束。据我们所知，这是迄今为止最实用的BCI攻击方法。

IV.B 健康信息学中的对抗攻击

在健康信息学中，对抗攻击也可能造成严重损害，甚至死亡。例如，对植入式复律除颤器中的机器学习算法进行对抗攻击，可能导致不必要的痛苦的电击，损害心脏组织，甚至更糟的会导致治疗中断和猝死[61]。

Han等[32]提出了目标和非目标的白盒逃逸攻击方法，以构建平滑的心电对抗样本，这些样本对经认证的医学专家和心脏电生理专家来说都是不可区分的，但可以成功地欺骗用于心律失常检测的CNN分类器。他们对AliveCor个人心电监护仪采集的单导联心电图进行房颤分类，获得了74%的攻击成功率 (在对抗攻击后，最初正确分类的测试心电图中有74%被分配到不同的诊断)。这项研究表明，在将心电图用于医学机器学习模型之前，检查心电图是否发生了改变是很重要的。

Aminifar[2]通过通用对抗扰动研究了基于EEG的癫痫发作检测中的白盒目标逃逸攻击。通过解决一个优化问题来计算通用对抗扰动，并表明它们可以欺骗支持向量机分类器，隐蔽地将大多数癫痫样本错分类为非癫痫样本。

Newaz等[60]研究了基于机器学习的智能医疗系统的对抗攻击，包括10个生命体征，如脑电图、心电图、动脉血氧饱和度、呼吸、血压、血糖、血红蛋白等。他们进行了目标和非目标攻击，以及污染和逃逸攻击。对于逃逸攻击，他们也考虑了白盒和黑盒攻击。研究表明，对抗攻击会显著降低智能健康系统中四种不同分类器在检测疾病和正常活动方面的性能，这可能导致错误的治疗。

深度学习在健康信息学得到了广泛的应用，但通常需要大量的训练数据才能取得满意的性能。迁移学习[82]可以通过使用来自辅助域或任务的数据或机器学习模型来缓解这一需求。Wang等[79]利用预先训练的深度学习模型在图像和时间序列(如心电图)上研究了针对迁移学习的目标后门攻击。采用基于排序的神经元选择、自动编码器驱动的触发生成和防御感知的再训练三种优化策略生成后门并对深度神经 络进行再训练，以击败基于剪枝、基于微调/再训练和基于输入预处理的防御。他们证明了其在脑MRI图像分类和心电类型分类中的有效性。

IV.C 生物辨识中的对抗攻击

生理信 ，如EEG、ECG和PPG，最近已被用于生物辨识中[75]。在这样的应用中，它们会受到表示攻击。在基于生理信 的呈现攻击中，攻击者试图用假生理信 [20]来欺骗生物传感器，使其被验证为来自特定的受害者用户。

Maiorana等[51]研究了基于脑电的生物识别系统对爬山攻击的脆弱性。他们假设攻击者可以访问生物识别系统的匹配分数，然后用来指导脑电模板的生成，直到身份验证成功。在对抗攻击术语中，这实际上是一种黑盒目标逃逸攻击：合成的脑电信 是对抗样本，受害者的身份是目标类。这是一个黑盒攻击，因为攻击者只能观察生物识别系统的输出，但对其他内容一无所知。

Eberz等[20]提出了一种离线心电生物识别表示攻击方法，如图10(a)所示。其基本思想是找到一个映射函数来变换攻击者记录的ECG试次，使它们类似于特定受害者的ECG试次。变换后的ECG试次可以用来欺骗ECG生物识别系统，以获得未经授权的访问。结果表明，攻击者的ECG试次可以从不同于记录受害者ECG试次的设备（即交叉设备攻击）获得，并且可以有不同的方法将变换后的ECG试次呈现给受攻击的生物识别设备，最简单的方法是使用现成的音频播放器播放编码为.wav文件的ECG试次。

V.A 对抗训练

对抗训练，即在正常和对抗样本上训练鲁棒的机器学习模型，可能是目前最流行的基于数据修正的对抗攻击防御方法。

Hussein等[35]提出了一种利用对抗训练增强深度学习模型的方法，以实现对癫痫发作的鲁棒的预测。尽管他们的目标是克服基于EEG的癫痫发作分类中的一些挑战，例如个体差异和发作前标记数据的缺乏，但该方法也可以用来防御对抗攻击。

他们首先利用现有的有限数量的带标签的脑电数据构建深度学习分类器，然后对分类器进行白盒攻击，获得对抗性样本，然后将这些样本与原始的带标签数据结合，对深度学习分类器进行再训练。在两个公共癫痫数据集上的实验表明，对抗训练提高了分类精度和分类器的鲁棒性。

V.B 模型修正

基于正则化的模型修正可防御对抗攻击，通常也考虑优化目标函数过程中的模型安全性(鲁棒性）。

Sadeghi等[71]提出了一种调整分类器参数的分析框架，以同时确保其准确性和安全性。通过求解优化问题确定最优分类器参数，该参数既考虑了测试精度，又考虑了对抗攻击的鲁棒性。对于k近邻(kNN)分类器，需要优化的两个参数是近邻的数量和距离度量类型。基于EEG的眼状态(睁或闭)识别实验表明，该方法能够达到较高的分类精度，又对黑盒目标逃逸攻击有较高的鲁棒性。

V.C 对抗检测

对抗检测使用一个单独的模块来检测是否存在对抗攻击，并采取相应的行动。最简单的方法是直接丢弃对抗样本。

Cai和Venkatasubramanian[11]提出了一种基于信 注入的心电图形态改变（逃逸攻击）检测方法。由于基于相同潜在生理过程（例如心脏过程）的多个生理信 本质上是相互关联的，因此其中任何一个信 的对抗改变都会产生与组中其他信 的不一致。由于心电图和动脉血压测量都是心脏过程的表征，所以后者可用于检测心电图的形态学改变。他们证明在检测健康受试者和患者的ECG形态学变化时，准确率超过90%。一个类似的想法[10]是利用它们与动脉血压和呼吸测量的相关性来检测心电图的时间变化。

Karimian等[42]通过评估心电信 特征是否与相应的心率变异性或PPG特征(脉冲传输时间和脉冲到达时间)匹配，提出了两种策略来保护心电生物特征认证系统不受欺骗。如果存在不匹配，则系统认为输入是假的，并拒绝它。这个想法实际上与Cai和Venkatasubramanian[11]的工作相似。

6

总结和展望

该领域未来有前景的研究方向包括:

• 迁移学习被广泛应用于生理计算中[82]，利用其他用户[33]或任务[81]的数据来缓解训练数据短缺的问题，或者借用现有算法的参数或知识来热启动(深度)学习算法的训练[79]，如图11所示。然而，迁移学习对污染攻击尤其敏感[54,79]。在迁移学习中使用数据和模型之前，制定检查数据和模型完整性的策略是非常重要的。

• 生理计算中其他的攻击类型[7,12,19,65,70]，以及相应的防御策略，如图13所示。例如，Paoletti等[61]对Boston Scientific公司的植入式心律复律除颤器进行了参数干扰攻击，该除颤器使用判别树来检测心动过速发作，然后开始适当的治疗。他们对判别树的参数进行了轻微的修改，以达到攻击的有效性和隐匿性。这些攻击在生理计算中也是非常危险的，因此值得注意。

更多阅读

《Nature》神经环路研究破解针灸穴位之谜！

重磅！UCSF研究人员成功治疗一例重度抑郁症患者

深圳大学梁臻博士提出EEGFuseNet高维脑电图

混合无监督深度特征表征与融合模型及其在情绪识别中的应用

用于情绪识别的生物信 数据集汇总

临港实验室、上海脑科学与类脑研究中心 脑机接口平台联合招聘公告

结合matlab代码案例解释ICA独立成分分析原理

投资火热的脑机接口行业，如何解行业标准缺失之局红杉医疗行研

我国首个成人抑郁障碍流行病学现况研究成果发布

EEG-MI 基于EEG信 的运动想象分类实验

你的每一次在看，我都很在意！

文章知识点与官方知识档案匹配，可进一步学习相关知识OpenCV技能树OpenCV中的深度学习图像分类11584 人正在系统学习中