首页| English| 中国科学院
当前位置:首页>综合新闻

实验室在深度对抗学习数学理论方面取得进展

副标题:

时间:2024-03-08  来源:
       深度对抗学习主要研究在对手攻击下如何进行安全鲁邦学习,是深度学习安全的重要研究方向。实验室在深度对抗学习数学理论方面取得若干重要进展。

系统研究了最优鲁邦深度神经元网络(DNN)插值的数学理论。1)证明了深度为2、宽度为2 的鲁邦DNN插值构造是NP难,首次给出DNN鲁邦插值的计算复杂度。2)对任意数据集,给出了存在最优鲁邦DNN插值的必要条件是其宽度至少为数据的维数d,由此可以推出鲁邦DNN插值比DNN插值实质性困难;显示构造了含O(Nd)个参数、具有最优稳定半径的鲁邦DNN。3)显示构造了含O(Nd log d)个参数、通过控制Lipschitz系数、具有最优稳定半径的鲁邦深度神经元网络。该工作被人工智能顶会ICLR 2024 接受为spotlight论文。

研究了不可学习数据(Unlearnable Example)的数学理论与高效算法。给出了不可学习数据的博弈论理论刻画,证明了方法的最优性并给出有效求解算法。证明了若干类型的不可学习数据是线性可分的,以此为基础给出了不可学习数据的检测与防御方法。两篇论文被AAAI2024接受。


Lijia Yu, Xiao-Shan Gao, and Lijun Zhang. Optimal Robust Memorization with ReLU Neural Networks, ICLR 2024 (spotlight).

Shuang Liu, Yihan Wang, and Xiao-Shan Gao, Game-Theoretic Unlearnable Example Generator.  Accepted by AAAI 2024.

Yifan Zhu, Lijia Yu, and Xiao-Shan Gao, Detection and Defense of Unlearnable Examples. Accepted by AAAI 2024.

相关附件
相关文档