Dotua 1.0.0

Dotua文档

尼克·斯特恩、文森特·维戈、夏媛、扎克·韦尔文

简介

根据美国数学家迈克尔斯皮瓦克在其著名的教科书中所说，微积分从根本上讲是对"无穷小变化"的研究。对这些微小变化的研究是对变化关系的研究，而不是对变化本身的计算。当导数接近0时，它是一个点的极限的函数，我们关心的是变化的关系，而不是变化本身的计算。

导数的一个非常重要的应用是各种优化问题。机器能够通过计算导数迭代地遍历梯度。然而，在机器学习的应用中，一个给定的神经网络可能有数百万个参数，这意味着要进行解析计算的导数的组合数目是非常繁重的。数值牛顿方法（通过对极限的猜测迭代计算）同样不是一个明智的选择，因为即使对于"非常小的" ，最终结果可能是相对于机器精度的数量级误差。

因此，人们可能会认为，在ML的职业生涯需要广泛的微积分背景，但是，瑞安P亚当斯，以前的Twitter（和哈佛IACS），现在的普林斯顿CS，描述自动差异化为"摆脱妨碍解决[ml]问题的数学。"我们最终关心的是调整机器学习算法的超参数，因此，如果我们能让机器为我们这样做，那就是我们最终关心的。在这个软件包中实现的是自动微分，它允许我们计算复杂函数的导数以达到机器精度，而无需数学运算。

自微分的一个重要应用是神经网络中的反向传播。反向传播是相对于损失函数优化权重的过程。这些步骤通过一个简单的神经网络示例加以说明。

背景

自动微分最重要的微积分导数规则是多元链式规则。

基本链式规则规定，函数组成的导数为：

也就是说，导数是应用于内部函数的外部函数增量变化乘以内部函数变化的函数。

在多元情况下，我们可以应用链式法则和全微分法则。例如，如果我们有一个简单的方程：

那么，

偏导数：

这个简单的例子说明了多元函数的导数最终是偏导数的加法和它的分量变量的计算。如果机器可以计算任何给定的子函数以及任何子函数之间的偏导数，那么机器只需要将函数及其导数的乘积相加即可计算出总导数。

理解自动微分的一种直观方法是将任何复杂的函数看作最终的复合函数图。每个节点都是一个原始操作，其中的导数是rea。众所周知，这个图的边，任何两个变量之间的变化关系，都是偏导数。因此，任意两个节点之间的路径之和就是这两个函数之间的偏导数（这是通过链式规则对总导数的图形重述）。

前进模式

因此，正向模式自动微分从图形的输入开始，并对源路径求和。下面的图表（来自christopher olah的博客）提供了这个过程的直觉。三个变量（x，y，z）之间的关系由多个路径定义（）。前进模式从1的种子开始，然后在每个节点中，导数是前面步骤总和的乘积。

因此，只要每个节点内都有一个基本函数，机器就可以通过计算图跟踪导数。

最后一个难题是：通过将每个实数重新命名为，其中。在一台机器中，符号计算很快就会变得无法计算，因为在微积分规则的连续展开中，机器必须在内存中保存变量及其导数。对偶数允许我们追踪一个甚至是一个复杂函数的导数，作为一种既能追踪导数又能追踪原始数的数据结构。

在我们的链式规则方程中，有两个部分需要计算：应用于内函数的外函数的导数和该值乘以内函数的导数。这意味着一个极其复杂的函数的完整符号表示可以增长成指数级的许多项。然而，对偶数允许我们解析可以解析计算的位化片段中的符号表示。原因是函数的泰勒级数展开：

当评估时，假设，然后所有更高阶的术语都会退出（它们是0），剩下一个带有

倒车模式

逆模自微分的一个直觉是将我们的链式规则看作图的概念。

一个直观的动机（h/trufflewind）是将reverse-mode看作链式规则的反转。

在这个符号中，某个输出变量w到某个变量t的导数是w连接到的每个u的导数的线性组合。

通过翻转分子和分母，这是新参数s相对于输入变量u的偏导数的表示法。

图论直觉也许是最直接的：就像机器在一系列步骤中计算一个方程一样，逆向模式是计算图的逆向遍历。在神经网络中，我们希望相对于某个损失函数最小化权重，这使得我们能够有效地回溯我们的路径，而无需重新评估可能是一个极其复杂的网络的权重。

概括地说：自动微分是一种计算复杂导数的算法，它将这些函数解析为要遍历的图结构。对偶数被用作一种数学数据结构，它允许机器解析地计算任意给定节点的导数。它优于解析或符号微分，因为它实际上是计算f在现代机器上是可行的！而且它比数值方法优越，因为自动微分更精确（它达到机器精度）。因此，它对于中性网络上的反向传播等应用非常有用。

如何使用dotua

如何安装

要安装我们的软件包，只需像这样使用pip install即可：

$ pip install Dotua

导入和使用示例

前进模式

为了从我们的包中实例化前向模式自动差异化对象，用户应首先从dotua库导入autodiff函数，如下所示：

fromDotua.autodiffimportAutoDiffasad

用户的一般工作流程如下：

• 将所有变量实例化为autodiff对象。
• 将这些变量输入到 dotua库创建更复杂的表达式来传播派生 使用前进模式自动区分。

autodiff类是函数中所有变量的核心构造函数 这需要区别对待。实例化有两个选项 变量：标量和矢量，分别由create_scalar（）和create_vector（）生成。标量变量 变量，而向量变量可以有多个关联值。这个 用户如何实例化autodiff对象的一般示意图是 概述如下：

1. 创建标量或矢量autodiff对象以生成种子 变量，以便以后构建要区分的函数。初始化 工作方式如下：

x,y=ad.create_scalar(vals=[1,2])z=ad.create_vector(vals=[1,2,3])

1. 接下来，用户应导入运算符类并传入这些 变量转换成初等函数如下：

fromDotua.operatorimportOperatorasopresult=op.sin(x*y)results=op.sin(z)

简单的运算符，如和和和积，可以正常使用：

result=6*xresults=z+4

1. 最后，（作为前一示例的延续），用户可以使用eval（）和partial（）方法访问函数的值和导数：

print(result.eval())# 6print(result.partial(x))# 6print(result.partial(y))# 0

对于标量变量，result.eval（）将返回函数的值， 而result.partial（v）将返回任何变量的偏导数，v。对于向量变量，results.eval（）返回元组列表 （值，jacobian），向量中每个函数有一个元组。jacobian是一本字典，它表示 该元素相对于矢量中所有元素的导数。

倒车模式

反向模式变量的初始化与正向模式非常相似。 唯一的区别是模块名前面有一个"r"。另外，对于反向模式的初始化 变量，用户必须实例化初始化器对象。这不同 可以使用静态方法初始化的前向模式变量。 可以按如下方式初始化反向模式标量对象：

fromDotua.rautodiffimportrAutoDiffrad=rAutoDiff()x,y,z=rad.create_rscalar([1,2,3])

在反向模式下，当用户调用渐变函数时，必须指定 他们想要区分的变量。这一次， 梯度函数只返回一个数值常量。下面是一个例子 以下：

f=x+y+zf_gradx=rad.partial(f,x)# f_gradx = 1

下面的代码展示了用户如何与rvector交互。注意，rvector操作 不同的是在反向模式下，因为它主要是允许计算rscalar的扩展 值向量的函数。

v=rad.create_rvector([1,2,3])g=2*vg_grad=rad.partial(g,v)# g_grad = [2, 2, 2]

示例

dotua包的顶层目录中有几个文件演示了包的用法。

第一个文件是一个交互式的jupyter笔记本，其中包含一个使用示例 dotua包执行良好的情况，即逼近函数根的newton-raphson方法。这个便条ok名为"newton_demo.ipynb"，位于包的顶层目录中的"examples"文件夹中。为了方便起见，此演示的输出将在此处复制：

第二个文件是一个例子，说明如何使用我们的反向模式自微分包在神经网络中进行反向传播。文件名为"neuralnet_demo.ipynb"

对于某些输出y_hat和一组输入x，神经网络的任务是找到一个最小化损失函数的函数，如mse:

其中n是数据点的个数，f_i是模型返回的值，y_i是给定观测值i下y的真值。一个"密集"神经网络将涉及每个参数和这些边之间的连接，每个边都包含一个权重值。任务是找到使y与y之间的距离最小化的权重。由于每个节点彼此连接，这会捕获非线性，因为某些参数可能比其他参数更具表现力。但是，这也会带来计算负担。

向后自动微分是遍历图形并重新调整这些权重的特别有用的方法。

这里我们实现了一个只有一个隐藏层的玩具神经网络。利用R.A.Fischer著名的鸢尾花数据集——一组对花卉及其各自物种的测量数据——我们根据花卉的测量数据来预测物种。正如第一个散点图所示，刚毛植物和另外两个物种，花斑羚和维吉尼亚之间有一个清晰的分离界限。捕捉每个物种之间的边界需要更多的复杂性，因此我们简单的神经网络只能捕捉最大的边界——这是我们使用反向自微分来拟合适当梯度的结果。这不是一个神经网络包，而是一个自动微分包，这只是一个非常有用的应用程序的说明。

软件组织

目录结构

我们的项目将遵循python打包文档中概述的目录结构。在较高层次上，该项目具有以下结构：

$ pip install Dotua

$ pip install Dotua

$ pip install Dotua

$ pip install Dotua

$ pip install Dotua

$ pip install Dotua