黑松山资源网 Design By www.paidiu.com
pytorch 输出中间层特征:
tensorflow输出中间特征,2种方式:
1. 保存全部模型(包括结构)时,需要之前先add_to_collection 或者 用slim模块下的end_points
2. 只保存模型参数时,可以读取网络结构,然后按照对应的中间层输出即可。
but:Pytorch 论坛给出的答案并不好用,无论是hooks,还是重建网络并去掉某些层,这些方法都不好用(在我看来)。
我们可以在创建网络class时,在forward时加入一个dict 或者 list,dict是将中间层名字与中间层输出分别作为key:value,然后作为第二个值返回。前提是:运行创建自己的网络(无论fine-tune),只保存网络参数。
个人理解:虽然每次运行都返回2个值,但是运行效率基本没有变化。
附上代码例子:
import torch import torchvision import numpy as np from torch import nn from torch.nn import init from torch.autograd import Variable from torch.utils import data EPOCH=20 BATCH_SIZE=64 LR=1e-2 train_data=torchvision.datasets.MNIST(root='./mnist',train=True, transform=torchvision.transforms.ToTensor(),download=False) train_loader=data.DataLoader(train_data,batch_size=BATCH_SIZE,shuffle=True) test_data=torchvision.datasets.MNIST(root='./mnist',train=False) test_x=Variable(torch.unsqueeze(test_data.test_data,dim=1).type(torch.FloatTensor)).cuda()/255 test_y=test_data.test_labels.cuda() class CNN(nn.Module): def __init__(self): super().__init__() self.conv1=nn.Sequential( nn.Conv2d(in_channels=1,out_channels=16,kernel_size=4,stride=1,padding=2), nn.ReLU(), nn.MaxPool2d(kernel_size=2,stride=2)) self.conv2=nn.Sequential(nn.Conv2d(16,32,4,1,2),nn.ReLU(),nn.MaxPool2d(2,2)) self.out=nn.Linear(32*7*7,10) def forward(self,x): per_out=[] ############修改处############## x=self.conv1(x) per_out.append(x) # conv1 x=self.conv2(x) per_out.append(x) # conv2 x=x.view(x.size(0),-1) output=self.out(x) return output,per_out cnn=CNN().cuda() # or cnn.cuda() optimizer=torch.optim.Adam(cnn.parameters(),lr=LR) loss_func=nn.CrossEntropyLoss().cuda()############################ for epoch in range(EPOCH): for step,(x,y) in enumerate(train_loader): b_x=Variable(x).cuda()# if channel==1 auto add c=1 b_y=Variable(y).cuda() # print(b_x.data.shape) optimizer.zero_grad() output=cnn(b_x)[0] ##原先只需要cnn(b_x) 但是现在需要用到第一个返回值## loss=loss_func(output,b_y)# Variable need to get .data loss.backward() optimizer.step() if step%50==0: test_output=cnn(test_x)[0] pred_y=torch.max(test_output,1)[1].cuda().data.squeeze() ''' why data ,because Variable .data to Tensor;and cuda() not to numpy() ,must to cpu and to numpy and .float compute decimal ''' accuracy=torch.sum(pred_y==test_y).data.float()/test_y.size(0) print('EPOCH: ',epoch,'| train_loss:%.4f'%loss.data[0],'| test accuracy:%.2f'%accuracy) # loss.data.cpu().numpy().item() get one value torch.save(cnn.state_dict(),'./model/model.pth') ##输出中间层特征,根据索引调用## conv1: conv1=cnn(b_x)[1][0] conv2: conv2=cnn(b_x)[1][1]
##########################
hook使用:
res=torchvision.models.resnet18() def get_features_hook(self, input, output):# self 代表类模块本身 print(output.data.cpu().numpy().shape) handle=res.layer2.register_forward_hook(get_features_hook) a=torch.ones([1,3,224,224])
b=res(a) 直接打印出 layer2的输出形状,但是不好用。因为,实际中,我们需要return,而hook明确指出 不可以return 只能print。
所以,不建议使用hook。
以上这篇pytorch 输出中间层特征的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
黑松山资源网 Design By www.paidiu.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
黑松山资源网 Design By www.paidiu.com
暂无评论...
更新日志
2024年10月07日
2024年10月07日
- 群星《前途海量 电影原声专辑》[FLAC/分轨][227.78MB]
- 张信哲.1992-知道新曲与精丫巨石】【WAV+CUE】
- 王翠玲.1995-ANGEL【新艺宝】【WAV+CUE】
- 景冈山.1996-我的眼里只有你【大地唱片】【WAV+CUE】
- 群星《八戒 电影原声带》[320K/MP3][188.97MB]
- 群星《我的阿勒泰 影视原声带》[320K/MP3][139.47MB]
- 纪钧瀚《胎教古典音乐 钢琴与大提琴的沉浸时光》[320K/MP3][148.91MB]
- 刘雅丽.2001-丽花皇后·EMI精选王【EMI百代】【FLAC分轨】
- 齐秦.1994-黄金十年1981-1990CHINA.TOUR.LIVE精丫上华】【WAV+CUE】
- 群星.2008-本色·百代音乐人创作专辑【EMI百代】【WAV+CUE】
- 群星.2001-同步过冬AVCD【环球】【WAV+CUE】
- 群星.2020-同步过冬2020冀待晴空【环球】【WAV+CUE】
- 沈雁.1986-四季(2012梦田复刻版)【白云唱片】【WAV+CUE】
- 纪钧瀚《胎教古典音乐 钢琴与大提琴的沉浸时光》[FLAC/分轨][257.88MB]
- 《国语老歌 怀旧篇 3CD》[WAV/分轨][1.6GB]