©2020-2024 ioDraw All rights reserved,
Privacy Policy
回顾一下numpy训练逻辑回归模型的过程：
* 数据准备，参数初始化
* 前向计算
* 计算损失
* 计算梯度
* 更新参数
* 重复2至5步，观察损失函数值，调整学习率
pytorch提供了大量的封装好的计算函数，所以实现起来变得更加简洁和明了。
下面我们一步步地分解pytorch的逻辑回归实现
1. 数据准备，初始化参数
import torch from sklearn.datasets import load_iris data, target =
load_iris(return_X_y=True) x = torch.tensor(data[50:150], dtype=torch.float32)
# 指定输入x y = torch.tensor(target[:100], dtype=torch.float32).reshape(100,1) #
指定输入y w = torch.randn(1, 4, requires_grad=True) # 初始化参数w b = torch.randn(1,
requires_grad=True) # 初始化参数b learn_rate = 0.01 # 学习率 n_iters = 5000 # 最大迭代次数
2. 前向计算
y_ = torch.nn.functional.linear(input=x, weight=w, bias=b) # 计算线性输出 sy_ =
torch.sigmoid(y_) # 计算逻辑分布运算（输出的值可以作为概率使用）
pytorch的线性计算($Wx+b$)已经被封装到了torch.nn.functional.linear中，可以直接调用。sigmoid也有torch的实现。
3. 计算损失
# 损失函数 loss_mean = torch.nn.functional.binary_cross_entropy(sy_, y,
reduction="mean")
逻辑回归中的损失函数，也成之为交叉熵损失
$Loss =\sum\limits_{i \in \text{数据集}}y_i\ ln(h(x_i)) +(1-y_i)\ln(1-h(x_i))$
4. 计算梯度
梯度计算通过损失函数的backward自动完成。梯度值自动保存在变量$W$和$b$中。
# backward：计算梯度 loss_mean.backward()
5. 更新参数
with torch.autograd.no_grad(): # 关闭梯度计算跟踪 w -= learn_rate * w.grad # 更新权重梯度
w.grad.zero_() # 清空本次计算的梯度（因为梯度是累加计算，不清空就累加） b -= learn_rate * b.grad # 更新偏置项梯度
b.grad.zero_() # 清空本次计算的梯度
完整代码实现