©2020-2024 ioDraw All rights reserved,
Privacy Policy
<>(Pytorch:RuntimeError: Trying to backward through the graph a second time,
but the buffers have already been freed. Specify retain_graph=True when calling
backward the first time)
<>1. 具有多个loss值
retain_graph设置True，一般多用于两次backward
# 假如有两个Loss，先执行第一个的backward，再执行第二个backward loss1.backward(retain_graph=True) #
这样计算图就不会立即释放 loss2.backward() # 执行完这个后，所有中间变量都会被释放，以便下一次的循环 optimizer.step() #
更新参数
retain_graph设置True后一定要知道释放，否则显卡会占用越来越多，代码速度也会跑的越来越慢。
<>2. 但是，有的时候我明明仅有一个模型的也会出现这种错误
第一种是输入的原因。
// Example x = torch.randn((100,1), requires_grad = True) y = 1 + 2 * x + 0.3 *
torch.randn(100,1) x_train, y_train = x[:70], y[:70] x_val, y_val = x[70:], y[
70:] for epoch in range(n_epochs): ... prediction = model(x_train) loss.backward
() ...
在多次循环的过程中，input的梯度没有清除，而且我们也不需要计算输入的梯度，因此将x的require_grad设置为False就可以解决问题。
第二种是我在训练LSTM时候发现的。
class LSTMpred(nn.Module): def __init__(self, input_size, hidden_dim): self.
hidden= self.init_hidden() ... def init_hidden(self): #这里我们是需要个隐层参数的 return (
torch.zeros(1, 1, self.hidden_dim, requires_grad=True), torch.zeros(1, 1, self.
hidden_dim, requires_grad=True)) def forward(self, seq): ...
这里面的self.hidden我们在每一次训练的时候都要重新初始化隐层参数：
for epoch in range(Epoch): ... model.hidden = model.init_hidden() modout =
model(seq) ...
<>3. 总结
其实，想想这几种情况都是一回事，都是网络在反向传播中不允许多个backward()，也就是梯度下降反馈的时候，有多个循环过程中共用了同一个需要计算梯度的变量，在前一个循环清除梯度后，后面一个循环过程就会在这个变量上栽跟头(个人想法)。