我正在探索Pytork,不理解以下示例的输出:
# Initialize x, y and z to values 4, -3 and 5
x = torch.tensor(4., requires_grad = True)
y = torch.tensor(-3., requires_grad = True)
z = torch.tensor(5., requires_grad = True)
# Set q to sum of x and y, set f to product of q with z
q = x + y
f = q * z
# Compute the derivatives
f.backward()
# Print the gradients
print("Gradient of x is: " + str(x.grad))
print("Gradient of y is: " + str(y.grad))
print("Gradient of z is: " + str(z.grad))
输出
Gradient of x is: tensor(5.)
Gradient of y is: tensor(5.)
Gradient of z is: tensor(1.)
我毫不怀疑我的困惑源于一个小小的误解。有人能逐步解释吗
我可以提供一些关于反向传播方面的见解
当操作需要梯度计算的张量(
requires_grad=True
)时,PyTorch跟踪反向传播的操作,并构建一个计算图即席让我们看一下您的示例:
其对应的计算图可表示为:
其中
x
、y
和z
称为叶张量。反向传播包括计算x
、y
和y
的梯度,它们分别对应于:dL/dx
、dL/dy
和dL/dz
。其中L
是基于图形输出f
的标量值。执行的每个操作都需要实现一个反向函数(这是所有数学上可微的PyTorch内置函数的情况)。对于每个操作,该函数有效地用于计算输出w.r.t.输入的梯度向后传球将如下所示:
第一个运算符的
"d(outputs)/d(inputs)"
项是:dq/dx = 1
和dq/dy = 1
。对于第二个运算符,它们是df/dq = z
和df/dz = q
反向传播归结为应用链规则:
dL/dx = dL/dq * dq/dx = dL/df * df/dq * dq/dx
。直观地说,我们分解dL/dx
的方式与反向传播的实际方式相反,反向传播需要自下而上进行导航没有形状方面的考虑,我们从^{开始。实际上}和{},我们有{}和{}。你观察到的结果是什么
dL/df
的形状是f
(参见下面链接的另一个答案)。这导致dL/dx = 1 * z * 1 = z
。同样地,对于{我就相关主题给出了一些答案:
Understand PyTorch's graph generation
Meaning of ^{} in PyTorch's ^{}
Backward function of the normalize operator
Difference between ^{} and ^{}
Understanding Jacobian tensors in PyTorch
你只需要了解什么是运算,什么是偏导数,你应该用它们来计算,例如:
将给你
2
,因为x*x
的导数是2*x
如果我们以您的示例为x,我们有:
可修改为:
如果我们在x的函数中取f的偏导数,我们只得到z
在这个结果中,你必须考虑所有其他变量是常数,并应用你已经知道的导数规则。但请记住,Pytork执行以获得这些结果的过程不是符号或数字微分,而是自动微分,这是一种有效获得梯度的计算方法
仔细看看:
https://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec10.pdf
我希望您理解,当您执行
f.backward()
时,您在x.grad
中得到的是就你而言 。 因此,简单地说(通过初步计算)
如果您输入x、y和z的值,这就解释了输出
但是,这并不是真正的“反向传播”算法。这只是偏导数(这是你在问题中问的全部问题)
编辑: 如果你想知道它背后的反向传播机制,请参阅@Ivan的答案
相关问题 更多 >
编程相关推荐