博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
『PyTorch』第十一弹_torch.optim优化器
阅读量:5760 次
发布时间:2019-06-18

本文共 2365 字,大约阅读时间需要 7 分钟。

一、简化前馈网络LeNet

import torch as tclass LeNet(t.nn.Module):    def __init__(self):        super(LeNet, self).__init__()        self.features = t.nn.Sequential(            t.nn.Conv2d(3, 6, 5),            t.nn.ReLU(),            t.nn.MaxPool2d(2, 2),            t.nn.Conv2d(6, 16, 5),            t.nn.ReLU(),            t.nn.MaxPool2d(2, 2)        )        # 由于调整shape并不是一个class层,        # 所以在涉及这种操作(非nn.Module操作)需要拆分为多个模型        self.classifiter = t.nn.Sequential(            t.nn.Linear(16*5*5, 120),            t.nn.ReLU(),            t.nn.Linear(120, 84),            t.nn.ReLU(),            t.nn.Linear(84, 10)        )    def forward(self, x):        x = self.features(x)        x = x.view(-1, 16*5*5)        x = self.classifiter(x)        return xnet = LeNet()

 

二、优化器基本使用方法

  1. 建立优化器实例
  2. 循环:
    1. 清空梯度
    2. 向前传播
    3. 计算Loss
    4. 反向传播
    5. 更新参数
from torch import optim# 通常的step优化过程optimizer = optim.SGD(params=net.parameters(), lr=1)optimizer.zero_grad()  # net.zero_grad()input_ = t.autograd.Variable(t.randn(1, 3, 32, 32))output = net(input_)output.backward(output)optimizer.step()

 

三、网络模块参数定制

为不同的子网络参数不同的学习率,finetune常用,使分类器学习率参数更高,学习速度更快(理论上)。

1.经由构建网络时划分好的模组进行学习率设定,

# # 直接对不同的网络模块制定不同学习率optimizer = optim.SGD([{'params': net.features.parameters()}, # 默认lr是1e-5                       {'params': net.classifiter.parameters(), 'lr': 1e-2}], lr=1e-5)

 

 2.以网络层对象为单位进行分组,并设定学习率

# # 以层为单位,为不同层指定不同的学习率# ## 提取指定层对象special_layers = t.nn.ModuleList([net.classifiter[0], net.classifiter[3]])# ## 获取指定层参数idspecial_layers_params = list(map(id, special_layers.parameters()))print(special_layers_params)# ## 获取非指定层的参数idbase_params = filter(lambda p: id(p) not in special_layers_params, net.parameters())optimizer = t.optim.SGD([{'params': base_params},                         {'params': special_layers.parameters(), 'lr': 0.01}], lr=0.001)

 

四、在训练中动态的调整学习率

 

'''调整学习率'''# 新建optimizer或者修改optimizer.params_groups对应的学习率# # 新建optimizer更简单也更推荐,optimizer十分轻量级,所以开销很小# # 但是新的优化器会初始化动量等状态信息,这对于使用动量的优化器(momentum参数的sgd)可能会造成收敛中的震荡# ## optimizer.param_groups:长度2的list,optimizer.param_groups[0]:长度6的字典print(optimizer.param_groups[0]['lr'])old_lr = 0.1optimizer = optim.SGD([{'params': net.features.parameters()},                       {'params': net.classifiter.parameters(), 'lr': old_lr*0.1}], lr=1e-5)

 可以看到optimizer.param_groups结构,[{'params','lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'},{……}],集合了优化器的各项参数。

 

转载地址:http://rsvkx.baihongyu.com/

你可能感兴趣的文章
clear session on close of browser jsp
查看>>
asp.net mvc Post上传文件大小限制 (转载)
查看>>
关于吃掉物理的二次聚合无法实现的需要之旁门左道实现法
查看>>
mysql出现unblock with 'mysqladmin flush-hosts'
查看>>
oracle exp/imp命令详解
查看>>
开发安全的 API 所需要核对的清单
查看>>
Mycat源码中的单例模式
查看>>
WPF Dispatcher介绍
查看>>
fiddler展示serverIP方法
查看>>
C语言中的随意跳转
查看>>
006-spring cloud gateway-GatewayAutoConfiguration核心配置-GatewayProperties初始化加载、Route初始化加载...
查看>>
WPF中如何将ListViewItem双击事件绑定到Command
查看>>
《聚散两依依》
查看>>
小tips:你不知道的 npm init
查看>>
Mac笔记本中是用Idea开发工具在Java项目中调用python脚本遇到的环境变量问题解决...
查看>>
Jmeter也能IP欺骗!
查看>>
Rust 阴阳谜题,及纯基于代码的分析与化简
查看>>
ASP.NET Core的身份认证框架IdentityServer4(4)- 支持的规范
查看>>
(原創) array可以使用reference方式傳進function嗎? (C/C++)
查看>>
170多个Ionic Framework学习资源(转载)
查看>>