pytorch可視化教程：訓(xùn)練過程+網(wǎng)絡(luò)結(jié)構(gòu)(1)

作者 | 錦恢@知乎 

來源 | https://zhuanlan.zhihu.com/p/220403674 

編輯 | 極市平臺 

導(dǎo)讀

 

本文大致想說一下pytorch下的網(wǎng)絡(luò)結(jié)構(gòu)可視化和訓(xùn)練過程可視化。

一、網(wǎng)絡(luò)結(jié)構(gòu)的可視化

我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，除了隨著step或者epoch觀察損失函數(shù)的****，從而建立對目前網(wǎng)絡(luò)優(yōu)化的基本認(rèn)知外，也可以通過一些額外的可視化庫來可視化我們的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。這將更加地高效地向讀者展現(xiàn)目前的網(wǎng)絡(luò)結(jié)構(gòu)。

為了可視化神經(jīng)網(wǎng)絡(luò)，我們先建立一個簡單的卷積層神經(jīng)網(wǎng)絡(luò)：

 import torch
 import torch.nn as nn
 
 class ConvNet(nn.Module):
     def __init__(self):
         super(ConvNet, self).__init__()
 
         self.conv1 = nn.Sequential(
             nn.Conv2d(1, 16, 3, 1, 1),
             nn.ReLU(),
             nn.AvgPool2d(2, 2)
         )
 
         self.conv2 = nn.Sequential(
             nn.Conv2d(16, 32, 3, 1, 1),
             nn.ReLU(),
             nn.MaxPool2d(2, 2)
         )
 
         self.fc = nn.Sequential(
             nn.Linear(32 * 7 * 7, 128),
             nn.ReLU(),
             nn.Linear(128, 64),
             nn.ReLU()
         )
 
         self.out = nn.Linear(64, 10)
 
     def forward(self, x):
         x = self.conv1(x)
         x = self.conv2(x)
         x = x.view(x.size(0), -1)
         x = self.fc(x)
         output = self.out(x)
         return output

輸出網(wǎng)絡(luò)結(jié)構(gòu)：

 MyConvNet = ConvNet()
 print(MyConvNet)

輸出結(jié)果：

 ConvNet(
   (conv1): Sequential(
     (0): Conv2d(1, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
     (1): ReLU()
     (2): AvgPool2d(kernel_size=2, stride=2, padding=0)
   )
   (conv2): Sequential(
     (0): Conv2d(16, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
     (1): ReLU()
     (2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
   )
   (fc): Sequential(
     (0): Linear(in_features=1568, out_features=128, bias=True)
     (1): ReLU()
     (2): Linear(in_features=128, out_features=64, bias=True)
     (3): ReLU()
   )
   (out): Linear(in_features=64, out_features=10, bias=True)
 )

有了基本的神經(jīng)網(wǎng)絡(luò)后，我們分別通過HiddenLayer和PyTorchViz庫來可視化上述的卷積層神經(jīng)網(wǎng)絡(luò)。

需要說明的是，這兩個庫都是基于Graphviz開發(fā)的，因此倘若你的電腦上沒有安裝并且沒有添加環(huán)境變量，請自行安裝Graphviz工具，安裝教程

1.1 通過HiddenLayer可視化網(wǎng)絡(luò)

首先當(dāng)然是安裝庫啦，打開cmd，輸入：

 pip install hiddenlayer

繪制的基本程序如下：

 import hiddenlayer as h
 vis_graph = h.build_graph(MyConvNet, torch.zeros([1 ,1, 28, 28]))   # 獲取繪制圖像的對象
 vis_graph.theme = h.graph.THEMES["blue"].copy()     # 指定主題顏色
 vis_graph.save("./demo1.png")   # 保存圖像的路徑

效果如下：

1.2 通過PyTorchViz可視化網(wǎng)絡(luò)

先安裝庫：

 pip install torchviz

這里我們只使用可視化函數(shù)make_dot()來獲取繪圖對象，基本使用和HiddenLayer差不多，不同的地方在于PyTorch繪圖之前可以指定一個網(wǎng)絡(luò)的輸入值和預(yù)測值。

 from torchviz import make_dot
 x = torch.randn(1, 1, 28, 28).requires_grad_(True)  # 定義一個網(wǎng)絡(luò)的輸入值
 y = MyConvNet(x)    # 獲取網(wǎng)絡(luò)的預(yù)測值
 
 MyConvNetVis = make_dot(y, params=dict(list(MyConvNet.named_parameters()) + [('x', x)]))
 MyConvNetVis.format = "png"
 # 指定文件生成的文件夾
 MyConvNetVis.directory = "data"
 # 生成文件
 MyConvNetVis.view()

打開與上述代碼相同根目錄下的data文件夾，里面會有一個.gv文件和一個.png文件，其中的.gv文件是Graphviz工具生成圖片的腳本代碼，.png是.gv文件編譯生成的圖片，直接打開.png文件就行。

默認(rèn)情況下，上述程序運行后會自動打開.png文件

生成圖片：

二、訓(xùn)練過程可視化

觀察我們的網(wǎng)絡(luò)的每一步的損失函數(shù)或準(zhǔn)確率的變化可以有效地幫助我們判斷當(dāng)前訓(xùn)練過程的優(yōu)劣。如果能將這些過程可視化，那么我們判斷的準(zhǔn)確性和舒適性都會有所增加。

此處主要講通過可視化神器tensorboardX和剛剛用到的HiddenLayer來實現(xiàn)訓(xùn)練過程的可視化。

為了訓(xùn)練網(wǎng)絡(luò)，我們先導(dǎo)入訓(xùn)練網(wǎng)絡(luò)需要的數(shù)據(jù)，此處就導(dǎo)入MNIST數(shù)據(jù)集，并做訓(xùn)練前的一些基本的數(shù)據(jù)處理。

 import torchvision
 import torch.utils.data as Data
 # 準(zhǔn)備訓(xùn)練用的MNIST數(shù)據(jù)集
 train_data = torchvision.datasets.MNIST(
     root = "./data/MNIST",  # 提取數(shù)據(jù)的路徑
     train=True, # 使用MNIST內(nèi)的訓(xùn)練數(shù)據(jù)
     transform=torchvision.transforms.ToTensor(),    # 轉(zhuǎn)換成torch.tensor
     download=False   # 如果是第一次運行的話，置為True，表示下載數(shù)據(jù)集到root目錄
 )
 
 # 定義loader
 train_loader = Data.DataLoader(
     dataset=train_data,
     batch_size=128,
     shuffle=True,
     num_workers=0
 )
 
 test_data = torchvision.datasets.MNIST(
     root="./data/MNIST",
     train=False,    # 使用測試數(shù)據(jù)
     download=False
 )
 
 # 將測試數(shù)據(jù)壓縮到0-1
 test_data_x = test_data.data.type(torch.FloatTensor) / 255.0
 test_data_x = torch.unsqueeze(test_data_x, dim=1)
 test_data_y = test_data.targets
 
 # 打印一下測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的shape
 print("test_data_x.shape:", test_data_x.shape)
 print("test_data_y.shape:", test_data_y.shape)
 
 for x, y in train_loader:
     print(x.shape)
     print(y.shape)
     break

結(jié)果：

 test_data_x.shape: torch.Size([10000, 1, 28, 28])
 test_data_y.shape: torch.Size([10000])
 torch.Size([128, 1, 28, 28])
 torch.Size([128])

2.1 通過tensorboardX可視化訓(xùn)練過程

tensorboard是谷歌開發(fā)的深度學(xué)習(xí)框架tensorflow的一套深度學(xué)習(xí)可視化神器，在pytorch團隊的努力下，他們開發(fā)出了tensorboardX來讓pytorch的玩家也能享受tensorboard的福利。

先安裝相關(guān)的庫：

 pip install tensorboardX
 pip install tensorboard

并將tensorboard.exe所在的文件夾路徑加入環(huán)境變量path中（比如我的tensorboard.exe的路徑為D:\Python376\Scripts\tensorboard.exe，那么就在path中加入D:\Python376\Scripts）

下面是tensorboardX的使用過程?；臼褂脼?，先通過tensorboardX下的SummaryWriter類獲取一個日志編寫器對象。然后通過這個對象的一組方法往日志中添加事件，即生成相應(yīng)的圖片，最后啟動前端服務(wù)器，在localhost中就可以看到最終的結(jié)果了。

訓(xùn)練網(wǎng)絡(luò)，并可視化網(wǎng)絡(luò)訓(xùn)練過程的代碼如下：

 from tensorboardX import SummaryWriter
 logger = SummaryWriter(log_dir="data/log")
 
 # 獲取優(yōu)化器和損失函數(shù)
 optimizer = torch.optim.Adam(MyConvNet.parameters(), lr=3e-4)
 loss_func = nn.CrossEntropyLoss()
 log_step_interval = 100      # 記錄的步數(shù)間隔
 
 for epoch in range(5):
     print("epoch:", epoch)
     # 每一輪都遍歷一遍數(shù)據(jù)加載器
     for step, (x, y) in enumerate(train_loader):
         # 前向計算->計算損失函數(shù)->(從損失函數(shù))反向傳播->更新網(wǎng)絡(luò)
         predict = MyConvNet(x)
         loss = loss_func(predict, y)
         optimizer.zero_grad()   # 清空梯度（可以不寫）
         loss.backward()     # 反向傳播計算梯度
         optimizer.step()    # 更新網(wǎng)絡(luò)
         global_iter_num = epoch * len(train_loader) + step + 1  # 計算當(dāng)前是從訓(xùn)練開始時的第幾步(全局迭代次數(shù))
         if global_iter_num % log_step_interval == 0:
             # 控制臺輸出一下
             print("global_step:{}, loss:{:.2}".format(global_iter_num, loss.item()))
             # 添加的第一條日志：損失函數(shù)-全局迭代次數(shù)
             logger.add_scalar("train loss", loss.item() ,global_step=global_iter_num)
             # 在測試集上預(yù)測并計算正確率
             test_predict = MyConvNet(test_data_x)
             _, predict_idx = torch.max(test_predict, 1)     # 計算softmax后的最大值的索引，即預(yù)測結(jié)果
             acc = accuracy_score(test_data_y, predict_idx)
             # 添加第二條日志：正確率-全局迭代次數(shù)
             logger.add_scalar("test accuary", acc.item(), global_step=global_iter_num)
             # 添加第三條日志：這個batch下的128張圖像
             img = vutils.make_grid(x, nrow=12)
             logger.add_image("train image sample", img, global_step=global_iter_num)
             # 添加第三條日志：網(wǎng)絡(luò)中的參數(shù)分布直方圖
             for name, param in MyConvNet.named_parameters():
                 logger.add_histogram(name, param.data.numpy(), global_step=global_iter_num)
 

運行完后，我們通過cmd來到與代碼同一級的目錄（如果你使用的是pycharm，可以通過pycharm中的終端）輸入指令tensorboard --logdir="./data/log"，啟動服務(wù)器。

logdir后面的參數(shù)是日志文件的文件夾的路徑

然后在谷歌瀏覽器中訪問紅框框中的url，便可得到可視化界面，點擊上面的頁面控件，可以查看我們通過add_scalar、add_image和add_histogram得到的圖像，而且各方面做得都很絲滑。

以下是筆者安裝使用tensorboard時遇到的一些錯誤。

好，作為一名沒有裝過TensorFlow的windows玩家，筆者下面開始踩坑。踩完后，直接把幾個可能的錯誤呈上。

第一個錯誤，運行tensorboard --logdir="./data/log"，遇到報錯，內(nèi)容為有重復(fù)的tensorboard的包。

解決方法：找到site-packages（如果你是像我一樣全局安裝的，那么找到解釋器那一級目錄的site-packages，如果是在項目虛擬環(huán)境中安裝的，那么找到項目中的site-packages），刪去下圖中紅框框標(biāo)出來的文件夾。

第二個錯誤，在解決第一個錯誤后，再次運行命令，還是報錯，內(nèi)容為編碼出錯。由于筆者做過一點前端，在學(xué)習(xí)webpack項目時，曾經(jīng)被告知項目路徑不能含有中文，否則會有編碼錯誤，而剛才的報錯中涉及到了前端服務(wù)器的啟動，因此，筆者想到從文件名入手。

解決方法：確保命令涉及的文件路徑、所有程序涉及到文件不含中文。筆者是計算機名字含有中文，然后tensorboard的日志文件是以本地計算機名為后綴的，所以筆者將計算機名修改成了英文，重啟后再輸入指令就ok了。

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。