首页 > 专利信息

利用PyTorch自定义数据集实现猫狗分类

利⽤PyTorch⾃定义数据集实现猫狗分类

看了许多关于PyTorch的⼊门⽂章，⼤抵是从torchvision.datasets中⾃带的数据集进⾏训练，导致很难把PyTorch运⽤于⾃⼰的数据集上，真正地灵活运⽤PyTorch。

这⾥我采⽤从Kaggle上下载的猫狗数据集，利⽤⾃定义数据集训练⾃⼰的⼆分类神经⽹络。

解压后，⼀个⽂件⾥⾯有12500张图，猫狗各⼀半，⽂件名类似于这样：cat.0.jpg、dog.12499.jpg

因为只是练⼿，所以不⽤这么⼤的，仅仅采⽤⼦数据集。

利⽤Python的os库，将数据集进⾏拆分。分为train与test两个⽂件架，每个⾥⾯都有cats和dogs两个⽂档。train⾥⾯每种动物有1000张图，test⾥⾯每种动物有500张图。图⽚⼤概是这个样⼦（⼤⼩不⼀）：带隙基准

接下⾥开始编码：

# 导⼊库

import torch旋压皮带轮

as nn

functional as F

import torch.optim as optim

from torchvision import datasets, transforms

# 设置超参数

BATCH_SIZE = 50

EPOCHS = 30

DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 数据预处理

transform = transforms.Compose([

transforms.RandomResizedCrop(150),

transforms.ToTensor(),

transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])

])

# 读取数据

root = 'Cats_Dogs'

dataset_train = datasets.ImageFolder(root + '\\train', transform)

dataset_test = datasets.ImageFolder(root + '\\test', transform)

# 导⼊数据

train_loader = torch.utils.data.DataLoader(dataset_train, batch_size=BATCH_SIZE, shuffle=True)煤矿井下定位系统

train_loader = torch.utils.data.DataLoader(dataset_train, batch_size=BATCH_SIZE, shuffle=True)

test_loader = torch.utils.data.DataLoader(dataset_test, batch_size=BATCH_SIZE, shuffle=True)

# 定义⽹络

class ConvNet(nn.Module):

def __init__(self):

super(ConvNet, self).__init__()

self.max_pool1 = nn.MaxPool2d(2)

self.max_pool2 = nn.MaxPool2d(2)

self.max_pool3 = nn.MaxPool2d(2)

self.max_pool4 = nn.MaxPool2d(2)

self.fc1 = nn.Linear(6272, 512)

self.fc2 = nn.Linear(512, 1)

def forward(self, x):

in_size = x.size(0)

x = v1(x)

x = F.relu(x)

x = self.max_pool1(x)

x = v2(x)

x = F.relu(x)

x = self.max_pool2(x)

x = v3(x)

电镀阳极板

x = F.relu(x)

x = self.max_pool3(x)

x = v4(x)

x = F.relu(x)

x = self.max_pool4(x)

# 展开

x = x.view(in_size, -1)

x = self.fc1(x)

x = F.relu(x)

x = self.fc2(x)

x = torch.sigmoid(x)

return x

# 实例化模型并且移动到GPU

model = ConvNet().to(DEVICE)

# 选择简单暴⼒的Adam优化器，学习率调低

optimizer = optim.Adam(model.parameters(), lr=1e-4)

# 定义训练过程

def train(model, device, train_loader, optimizer, epoch):

for batch_idx, (data, target) in enumerate(train_loader):

浆仓库

# 由于评论区⼩伙伴的提醒，我现在发现这⾥更好的做法是利⽤unsqueeze()增加⼀个维度⽽不是reshape，否则要是提取的不是50的倍数就会报错(例如最后⼀个 data, target = (device), (device).float().unsqueeze(-1)

<_grad()

output = model(data)

应用集成# print(output)

loss = F.binary_cross_entropy(output, target)

loss.backward()

optimizer.step()

if(batch_idx+1)%10 == 0:

print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(

epoch, (batch_idx+1) * len(data), len(train_loader.dataset),

100. * (batch_idx+1) / len(train_loader), loss.item()))

# 定义测试过程

def test(model, device, test_loader):

model.eval()

test_loss = 0

correct = 0

_grad():

for data, target in test_loader:

data, target = (device), (device).float().unsqueeze(-1)

output = model(data)

# print(output)

test_loss += F.binary_cross_entropy(output, target, reduction='sum').item() # 将⼀批的损失相加

pred = sor([[1] if num[0] >= 0.5 else [0] for num in output]).to(device)

correct += pred.eq(target.long()).sum().item()

print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(

test_loss, correct, len(test_loader.dataset),

100. * correct / len(test_loader.dataset)))

# 训练

for epoch in range(1, EPOCHS + 1):

train(model, DEVICE, train_loader, optimizer, epoch)

test(model, DEVICE, test_loader)

在2000张图⽚上，我们利⽤⼩的深度神经⽹络，训练出了⼀个正确率为72%的分类器。虽然结果不太理想，但是在没有进⾏任何防⽌过拟合操作的情况下，还算是过得去的成绩。如果添加Dropout或者正则化、数据增强的话，相信结果会有不错的提升。⽽我们使⽤的数据才是整个数据集的很⼩⼀部分⽽已。

本文发布于:2024-09-22 11:39:43，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/2/215562.html

上一篇：OpenCV中人脸识别代码实现

下一篇：英文感谢信称呼

标签：数据训练集进结果报错学习

留言与评论（共有 0 条评论）