卷积神经网络处理Cifar-10分类数据集

Cifar-10分类数据集

Cifar-10分类数据集简介

• CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。
• 数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。

---

• 数据
  • 一个10000x3072二维uint8类型的numpy数组。
  • 数组的每一行存储一张32x32彩色图像，即每一行存储32323=3072个数字信息。其中，前1024个元素为红色通道，随后1024个元素为绿色通道，最后1024个元素为蓝色通道。
  • 图像以行优先的顺序存储，即数组的前32个元素对应图像第一行像素红色通道。
• 标签
  • 取值范围为0-9的10000个数字组成的列表。
  • 索引i处的数字表示数据数组中第i行对应图像的标签。
• batches.meta文件
  • python字典对象
  • label_names：包含10个元素的列表，为上述标签数组中的数字赋予名称。
    例如，label_names[0]=“飞机”，label_names[1]=“汽车”等

代码

%xmode Verbose
%pdb on

Exception reporting mode: Verbose
Automatic pdb calling has been turned ON

import matplotlib.pyplot as plt
import numpy as np
import os
import pickle
import tensorflow as tf

1. 定义Cifar-10类

class CifarLoader(object):
    
    def __init__(self, source_files):
        self._source = source_files
        self._i = 0
        self.images = None
        self.labels = None
        
    def load(self):
        data = [unpickle(f) for f in self._source]
        images = np.vstack([d[b"data"] for d in data])
        n = len(images)
        self.images = images.reshape(n, 3, 32, 32).transpose(0, 2, 3, 1).astype(float) / 255
        self.labels = one_hot(np.hstack([d[b"labels"] for d in data]), 10)
        return self
    
    def next_batch(self, batch_size):
        x, y = self.images[self._i : self._i + batch_size], self.labels[self._i : self._i + batch_size]
        self._i = (self._i + batch_size) % len(self.images)
        return x, y
    

2. 定义函数

DATA_PATH = "../dataset/cifar-10-batches-py/"

def unpickle(file):
    with open(os.path.join(DATA_PATH, file), "rb") as fo:
        dict = pickle.load(fo, encoding="bytes")
    return dict

def one_hot(vec, vals=10):
    n = len(vec)
    out = np.zeros((n, vals))
    out[range(n), vec] = 1
    return out

3. 定义数据管理器类

class CifarDataManager(object):
    
    def __init__(self):
        self.train = CifarLoader(["data_batch_{}".format(i) for i in range(1, 6)]).load()
        self.test = CifarLoader(["test_batch"]).load()
        

4. 显示Cifar-10数据集图片

def display_cifar(images, size):
    n = len(images)
    plt.figure()
    plt.gca().set_axis_off()
    im = np.vstack([np.hstack([images[np.random.choice(n)] for i in range(size)]) for i in range(size)])
    plt.imshow(im)
    plt.show()
    

4.1 Cifar-10数据集显示

cifar = CifarDataManager()
print("Number of train images: {}".format(len(cifar.train.images)))