ChinaSoft 论坛巡礼 | 人工智能安全

nbsp; +

+

论坛巡礼

论坛名称：人工智能安全

时间: 2022年11月25日8:30-12:10

论坛简介：

    随着人工智能技术在 会、经济和生活领域的不断渗透和应用，人工智能的安全问题也得到研究人员的广泛关注。以深度学习为代表的人工智能技术存在鲁棒性、模型后门、公平性和隐私等问题，并且由于神经 络模型的高复杂性和难解释性，导致这些安全隐患无法得到有效的检测和防御。特别在航空航天、智慧医疗、无人驾驶等安全攸关领域对人工智能的可信、可靠和可解释上提出更高的要求，因此如何保障人工智能的安全成为国内外研究的趋势及热点。ChinaSoft 2022人工智能安全Track将围绕人工智能安全的基础理论、攻防技术、原型系统以及产业实践等展开，征集国内外有关人工智能安全的高水平研究成果，并探讨和总结未来人工智能安全的发展趋势和应用前景。

日程安排

Schedule

孟国柱

中国科学院信息工程研究所副研究员

   2017年博士毕业于新加坡南洋理工大学，曾获北京科技新星、ACM SIGSAC中国科技新星。主要研究领域包括人工智能安全与隐私、移动安全分析和测试，在USENIX Security、CCS、ICSE等国际会议和期刊发表论文30余篇。主持和参与了多项国家和省部级项目，如科技部重点研发、中科院重点部署项目、CCF科研基金等。

卜磊

南京大学软件学院教授，博导

   主要研究领域是软件工程与形式化方法，包括模型检验技术，实时混成系统，信息物理融合系统等方向。2010年在南京大学获取计算机博士学位。曾在CMU、MSRA等科研机构进行访学与合作研究。相关工作发表于领域重要期刊与会议如TCAD、TC、TDSC、TCPS、TPDS、RTSS、HSCC等。入选国家级青年人才计划，NASAC青年软件创新奖，高校计算机专业优秀教师奖励计划，CCF青年科技奖等。

张民

华东师范大学软件工程学院教授，博士生导师

   主要研究方向为可信软件理论、可信人工智能和分布式系统。研究受到国家自然基金委、华为全球创新研究计划、国家留学基金委以及法国高等教育署等国家级和国际合作项目的资助，2019年入选中法“蔡元培”人才培养计划，2019-2020年入选法国尼斯大学高级访问教授计划。代表性成果发表在CAV、TCS、OOPSLA、ASE、AAAI等权威会议和期刊上。获得第26届IEEE亚太软件工程会议APSEC唯一最佳论文奖，FSE2020和RE2019会议最佳论文提名奖。中国计算机学会形式化方法专委会、系统软件专委会委员。

特邀 告题目

一种基于抽象的构造正确性深度强化学习技术

摘要

    深度强化学习系统由于其系统状态的无限连续性、深度神经 络的难以解释性以及系统行为的非线性特征，系统的安全性难以被严格的形式化验证，因此系统难以被用于那些对安全性要求较高的领域。本 告将介绍一种将验证引入训练环节的构造正确性深度强化学习技术。为了保证验证的准确性与高效性，我们在训练中即对系统进行抽象，并在抽象状态上完成训练，训练后的系统可以在抽象状态上建模成为一个有限状态的迁移系统，进而可通过已有的模型检查技术和工具验证系统的安全性。基于验证结果对抽象状态不断精化，直至系统满足所有预设的安全需求。我们设计并开发了原型工具Trainify，并应用于强化学习中六个经典的控制问题以说明方法的有效性。