实验室在深度对抗学习数学理论方面取得进展
副标题:
系统研究了最优鲁邦深度神经元网络(DNN)插值的数学理论。1)证明了深度为2、宽度为2 的鲁邦DNN插值构造是NP难,首次给出DNN鲁邦插值的计算复杂度。2)对任意数据集,给出了存在最优鲁邦DNN插值的必要条件是其宽度至少为数据的维数d,由此可以推出鲁邦DNN插值比DNN插值实质性困难;显示构造了含O(Nd)个参数、具有最优稳定半径的鲁邦DNN。3)显示构造了含O(Nd log d)个参数、通过控制Lipschitz系数、具有最优稳定半径的鲁邦深度神经元网络。该工作被人工智能顶会ICLR 2024 接受为spotlight论文。
研究了不可学习数据(Unlearnable Example)的数学理论与高效算法。给出了不可学习数据的博弈论理论刻画,证明了方法的最优性并给出有效求解算法。证明了若干类型的不可学习数据是线性可分的,以此为基础给出了不可学习数据的检测与防御方法。两篇论文被AAAI2024接受。
Lijia Yu, Xiao-Shan Gao, and Lijun Zhang. Optimal Robust Memorization with ReLU Neural Networks, ICLR 2024 (spotlight).
Shuang Liu, Yihan Wang, and Xiao-Shan Gao, Game-Theoretic Unlearnable Example Generator. Accepted by AAAI 2024.
Yifan Zhu, Lijia Yu, and Xiao-Shan Gao, Detection and Defense of Unlearnable Examples. Accepted by AAAI 2024.