深度学习需要涉及到的相关数学知识主要包括:

一、线性代数

• 矩阵
• 线性方程组
• 矩阵运算
• 特征值与特征向量
• 线性变换

二、微积分

• 偏导数
• 极限
• 基本积分
• 多元函数极值

三、概率论与统计

• 概率分布
• 期望与方差
• 伯努利分布
• 正态分布
• 马尔可夫过程
• 贝叶斯公式

四、数值计算

• 数值稳定性
• 优化算法
• 数值积分
• 待续差分
• 迭代法

五、谱理论

• 奇异值分解
• 特征值分解
• 主成分分析
• 协方差分析

六、曲率与几何

• 求导
• 求和求积分
• 二次形式
• Riemann 几何
• 曲率

深度学习的数学基础主要集中在:

• 线性代数
• 微积分
• 概率统计
• 数值计算
• 谱理论
• 几何知识