数学在现代机器学习中的角色转变

近年来，机器学习领域见证了从理论驱动的研究向实验和工程主导的转变。尽管数学和统计学曾是指导机器学习研究的主要工具，但如今它们在解释最新突破方面显得力不从心。然而，这并不意味着数学不再重要；其角色正在演变，更多地转向为模型训练中的经验现象提供事后解释，并且开始与生物学和社会科学等其他学科合作解决复杂问题。随着规模化的推进，纯数学领域如拓扑学、代数和几何也开始在机器学习中发挥作用。例如，在理解大规模神经网络时，数学可以帮助揭示ReLU激活函数如何将输入空间分解为无数多边形区域，每个区域内模型行为类似于线性映射。此外，数学还帮助研究者探索更高维度的权重空间，通过纯数学工具来理解和描述这些复杂结构。这种跨学科的合作和新的数学方法的应用，使得机器学习的研究更加深入和全面。