最近，许多读者对16个高等数学导数基本公式有疑问。一些网民整理了相关内容，希望解答你的疑惑。推导高等数学导数16个基本公式，百科分钟。（www.fzdb.cn）我们也为你找到了问题的答案。让我们花一分钟看看，希望对你有所帮助。

全文共3893字，预计学习时长10分钟

图源：unsplash

在就业市场上，机器学习工程师总是受到质疑，人们不相信他们有深厚的数学技能。事实上，所有机器学习算法的本质都是数学问题，无论是支持向量机、主成分分析还是神经网络，最终都归因于对偶优化、谱分解筛选和连续非线性函数组合。只有彻底理解数学，才能真正掌握这些机器学习算法。

Python各种数据库可以帮助人们使用先进的算法来完成一些简单的步骤。例如，它包含K近邻算法，K机器学习算法库，如平均值和决策树Scikit-learn，或者Keras，它可以帮助人们在不了解卷积神经网络的情况下构建神经网络架构CNNs或循环神经网络RNNs背后的细节。

然而，成为一名优秀的机器学习工程师需要的远不止这些。面试时，面试官通常会问如何从零开始实现K近邻算法和决策树，或者如何导出线性回归softmax反向传播方程矩阵闭式解等问题。

本文将回顾一些微积分的基本概念，帮助您准备面试，如导数、梯度、雅可比矩阵和黑塞矩阵。同时，本文还可以为您深入研究机器学习，特别是神经网络背后的数学运算奠定良好的基础。这些概念将通过五个导数公式显示，这绝对是面试中必不可少的干货。

导数1：复合指数函数

指数函数非常基本和有用。它是标准正函数。在实数?中e? > 0.同时，指数函数也有一个重要的性质，即e?=1。

此外，指数函数和对数函数是反函数。指数函数也是最容易求导的函数之一，因为指数函数的导数是它本身，即(e?)’=e?。当指数与另一个函数组合形成复合函数时，复合函数的导数变得更加复杂。在这种情况下，应遵循链式法则进行求导，f(g(x))的导数等于f’(g(x))?g’(x)，即：

可以用链法来计算f(x)=e?2的导数。先求g(x)=x2的导数：g(x)’=2x。而指数函数的导数本身是：(e?)’=e?。将这两个导数乘以复合函数f(x)=e?2的导数：

这是一个非常简单的例子，乍一看可能无关紧要，但它经常被面试官用来测试面试官在面试开始前的能力。假如你已经很久没有复习过导数了，那么很难保证你能很快处理这些简单的问题。虽然它不一定会让你得到这份工作，但如果你甚至不能回答这样的基本问题，你肯定会失去这份工作。

导数2：底数为变量的复变指数

复变指数函数是一个经典的面试问题，尤其是在计量金融领域，它比科技公司更注重数学技能来招聘机器学习职位。复变指数函数迫使面试官走出舒适区。但事实上，这个问题最困难的部分是如何找到正确的方向。

当函数接近指数函数时，首先最重要的是意识到指数函数和对数函数是反函数，其次，每个指数函数都可以转化为自然指数函数的形式：

对复变指数函数f(x)=x?在求导之前，使用一个简单的指数函数f(x)=2?证明复变函数的性质。首先，使用上述方程将2？ 转化为exp(xln(2)用链式法则求导。

现在回到原来的函数f(x)=x?，只要把它转化为f(x)=exp(x ln x)，求导变得相对简单，也许唯一困难的部分就是链式法则求导。

注意这里使用乘积法(uv)’=u’v uv’来求指数xln(x)的导数。

通常，当面试官问这个函数时，他不会告诉你函数定义域。如果面试官没有给出函数定义域，他可能想测试你的数学敏锐度。这个问题是欺骗性的。定义域没有限制，x?既可为正也可为负。当x为负时，如(-0.9)^(-0.9)结果是复数-1.05–0.34i。

解决方案是将函数的定义域限制为? ∪ ?? \\0，但是对于负数来说，函数还是不或缺。因此，为了正确推导复变指数函数x?只需将函数的定义域严格限制为正数即可。排除0是因为此时导数也为0，左右导数需要相等，但在这种情况下，这种情况是无效的。由于左极限没有定义，函数在0处不可微，因此函数的定义域只能限制为正数。

在继续以下内容之前，先考你。这里有一个比复变指数函数f(x)=x?更先进的函数f(x)=x?2。假如你理解了第一个例子背后的逻辑和步骤，再加一个指数应该不难，可以推断出以下结果：

导数3：多元输入函数的梯度

到目前为止，前面讨论的函数导数都是从?映射到?函数，即函数的定义域和值域都是实数。但机器学习本质上是矢量的，函数是多样的。

下面的例子最能说明这种多样性:当神经网络的输入层大小为m，输出层大小为k时，即f(x)=g(W?x b)，这个函数是线性映射W?x(权阵W和输入向量x）非线性映射g(激活函数)由元素组成。一般来说，该函数也可以视为从?到??的映射。

我们把k=1时的导数称为梯度。现在计算以下从现在开始3映射到?三元函数：

f可以看作是一个函数，它从3的向量映射到1的向量。

图源：unsplash

多元输入函数的导数被称为梯度，用倒三角符号?（英文为nabla）表示。从??映射到?函数g的梯度是n偏导数的集合，每个偏导数都是n元函数。因此，如果g是从?到?梯度g是一个从??到??的映射。

推导函数f(x,y,z)=2?? zcos(x)梯度需要构建矢量偏导数：f/?x，?f/?y和?f/?z，结果如下：

需要注意的是，这里还需要使用公式进行等值转换，即2?=exp(xy ln(2))。

总之，对于一个从？3映射到 ?的三元函数f，其导数是从3映射到?3的梯度? f。从??映射到??（k > 1)在一般公式中，从？?映射到??多元函数的导数是雅可比矩阵，而不是梯度向量。

导数4：雅可比矩阵多元输入输出函数

上一节节开始就已经提到了?映射到?的函数的导数，是一个从??映射到??的梯度。但如果输出域也是多样化的，那就是从?映射到??（k > 1)，那又该怎么办？

在这种情况下，导数是雅可比矩阵。梯度可以简单地视为一个m x 此时m等于变量数的特殊雅可比矩阵。雅可比矩阵J(g)是一个从??到??*?函数g从?映射到??。也就是说，输出域的维数是k x m，即为一个k x m矩阵。换句话说，在雅可比矩阵J(g)中，第一行表示函数g?的梯度? g?。

假设上述函数f(x, y)=[2×2, x √y]从?2映射到?2.通过推导函数的导数，可以发现函数的输入和输出域是多样的。在这种情况下，由于平方根函数在负数上没有定义，因此有必要将y的定义域限制为?。输出雅可比矩阵的第一行是函数1的导数，即 2×2.第二行为函数2的导数，即 x √y。

为了了解神经网络的行为，分析神经网络输出层对输入的灵敏度，雅可比矩阵在深度学习的可解释性领域有一个有趣的用例。

雅可比矩阵有助于研究输入空间变化对输出的影响，理解神经网络中间层的概念。总之，要记住梯度是标量对向量的导数，雅可比矩阵是一个向量对另一个向量的导数。

导数5：黑塞矩阵多元输入函数

目前只讨论一阶导数求导，但在神经网络中，经常讨论多个函数的高阶导数。其中一种特殊情况是二阶导数，又称黑塞矩阵H(f)或? 2(微分算符的平方)表示。从??映射到?函数g的黑塞矩阵来自?到??*?的映射H(g)。

现在我们来分析一下如何将输出域从转化为??*?。一阶导数，即梯度g，是一个从??到??其导数为雅可比矩阵。因此，每个子函数的导数g?从n个从n个从n个从n个从n个到n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从n个从?映射到??函数组成。可以这样想，就像求导每一个元素展开成一个向量的梯度向量，从而成为向量中的向量，即矩阵。

要计算黑塞矩阵，需要计算交叉导数，即先向x求导，再向y求导，反过来也可以。要求交叉导数的顺序是否会影响结果，换句话说，黑塞矩阵是否对称。在这种情况下，函数f是二次连续微函数(用符号2表示)，施瓦兹定理表明交叉导数相等，因此黑塞矩阵是对称的。一些不连续但微的函数不符合交叉导数等式。

构造函数的黑塞矩阵相当于标量函数的二阶偏导数。以f(x,y)=x2y例如，计算结果如下：

可见交叉导数6xy实际上是相等的。先对x求导得到x偏导数2xy3.然后向y求导得到关于y的偏导数6xy2。对于x或y对角元素是每个一元子函数f?。

从这类函数的扩展部分将讨论?映射到??二阶导数的多元函数可视为二阶雅可比矩阵。这是一个从?到??*?*?映射，即三维张量。类似于黑塞矩阵，为了获得优雅的可比矩阵梯度(二阶微分)，必须正确k x m矩阵的每的矩阵微分，得到一个向量矩阵，即张量。虽然不太可能要求面试官手动计算，但了解多个函数的高级导数是非常重要的。

本文回顾了机器学习背后重要的微积分基础知识，列出了几个一元和多元函数的例子，讨论了梯度、雅可比矩阵和黑塞矩阵，全面梳理了机器学习面试中可能出现的概念和微积分知识，希望您能顺利面试！

留言点赞关注

我们一起分享AI学习和发展干货

如转载，请后台留言，遵守转载规范