报告人：许志钦（上海交通大学）

时  间：2026年1月23日13:00

地  点：海韵园行政楼C503

内容摘要:

理解深度学习在实际问题中的性能需要考虑模型特征、数据特征以及连接这两部分的优化算法的特征。该报告将从函数频率、有效复杂度、信噪比、推理复杂度、关联统计量等角度来分析数据特征，并设计实验来挖掘模型和优化的特征，以理解深度学习的泛化能力和语言模型的推理能力，并对实际的模型训练提供一些参考。我们发现小初始化会使模型更偏好推理的方式来解释数据，而非记忆的方式，这与模型在小初始化有凝聚的现象紧密相关。另外，数据中的一些重要统计量是形成嵌入结构的驱动力，并影响模型的推理能力。

个人简介：

许志钦，上海交通大学自然科学研究院/数学科学学院教授。2012年本科毕业于上海交通大学致远学院。2016年博士毕业于上海交通大学，获应用数学博士学位。 2016年至2019年，在纽约大学阿布扎比分校和柯朗研究所做博士后。研究兴趣是大模型记忆和推理机制、频率原则、参数凝聚和能量景观嵌入原则，多尺度神经网络等。在TPAMI, JMLR，NeurIPS，ICML，ICLR, AAAI，SIMODS，CiCP，CSIAM Trans. Appl. Math.，JCP, Combustion and Flame，Eur. J. Neurosci.等著名学术期刊和会议发表多篇学术论文。

联系人：陈黄鑫