实验室在深度学习泛化与安全的数学理论上取得进展，3篇论文被NeurIPS接受
副标题：
时间：2024-10-08 来源：
数学机械化实验室高小山团队与中科院软件所合作在深度学习的泛化与安全方面取得重要进展，3篇论文被机器学习顶会NeurIPS 2024接受。
论文[1]研究了插值网络的泛化性。与统计学习中插值函数具有过拟合现象不同，通过训练得到的深度神经网络往往接近插值训练数据，但却展现出很好的泛化性。这是深度学习的主要特征与待研究问题之一。本文针对这一现象，研究插值网络的泛化性，或插值学习的泛化性。主要结果包括：首先，对某类数据分布定义了其插值参数复杂度，并证明该数据分布的任何i.i.d.数据集都存在参数个数不超过插值参数复杂度的插值网络，即任意有限数据集都具有参数个数为常数的插值网络。其次，证明插值网络具有泛化性的必要条件是网络的宽度必须至少等于数据维度。第三，给出了插值算法的样本复杂度的下限和具有常数参数的插值算法的精确样本复杂度，并证明存在数据分布，其可泛化插值网络必须具有指数数量的参数。最后，引入了数据分布的高效插值泛化复杂度，并证明当训练样本的数量大于该复杂度时，存在多项式时间可计算且可具有泛化性质的插值网络。
还给出了同时对监督学习和对比学习进行有效数据投毒的攻击方法[2]，以及从傅里叶角度提高三维点云识别鲁棒性的方法[3]。
[1] Lijia Yu, Xiao-Shan Gao, Lijun Zhang, Yibo Miao. Generalizablity of Memorization Neural Network. NeurIPS 2024 .
[2] Yihan Wang, Yifan Zhu, Xiao-Shan Gao. Efficient Availability Attacks against Supervised and Contrastive Learning Simultaneously. NeurIPS 2024 .
[3] Yibo Miao, Yinpeng Dong, Jinlai Zhang, Lijia Yu, Xiao Yang, Xiao-Shan Gao. Improving Robustness of 3D Point Cloud Recognition from a Fourier Perspective. NeurIPS 2024 .
