Tensorflow Dataset api介绍 mnist举例

写完了Dataset api介绍,但真到读取数据集时可能还是不知道怎么用。。所以,对mnist进行举例。

还不知道Dataset api怎么用得,可以去传送门1传送门2查看~~~

不多说上代码:

第一个版本——(initializable迭代器+placeholder的方式)

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data


mnist = input_data.read_data_sets("E:/database/mnist", one_hot=True)
train_images = mnist.train.images
train_labels = mnist.train.labels
test_images = mnist.test.images
test_labels = mnist.test.labels

train_data = (train_images, train_labels)
test_data = (test_images, test_labels)




def mnist_model(inputs):
    with tf.variable_scope('MNIST'):
        inputs = tf.reshape(inputs, [-1, 28, 28, 1])
        net = tf.layers.conv2d(inputs, 32, 5, padding='same', activation=tf.nn.relu, name='conv1')
        net = tf.layers.max_pooling2d(net, 2, 2, name='pool1')
        net = tf.layers.conv2d(net, 64, 5, padding='same', activation=tf.nn.relu, name='conv2')
        net = tf.layers.max_pooling2d(net, 2, 2, name='pool2')
        net = tf.layers.flatten(net, name='flatten')
        net = tf.layers.dense(net, 1024, activation=tf.nn.relu, name='fc3')
        net = tf.layers.dense(net, 10, name='logits')

    return net

def dataset_generation(images, labels, buffer_size=10000, batch_size=64, repeat=True, shuffle=False):
    '''
    Generate tensorflow dataset object
    images: numpy array format
    labels: numpy array format
    '''
    dataset = tf.data.Dataset.from_tensor_slices((images, labels))
    # dataset = dataset.map()
    if repeat:
        dataset = dataset.repeat()
    if shuffle:
        dataset = dataset.shuffle(buffer_size=buffer_size)
    dataset = dataset.batch(batch_size)
    return dataset

def optimizer_op(logits, labels):
    loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = logits, labels = labels))
    optimizer = tf.train.AdamOptimizer(learning_rate = 0.01).minimize(loss)
    return optimizer, loss


def acc(logits, labels):
    correct_pred = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
    return accuracy


x = tf.placeholder(tf.float32, shape=[None, 784])/255.
y = tf.placeholder(tf.float32, shape=[None, 10])
# 创建数据
dataset = dataset_generation(x, y)
# 创建迭代器
iterator = dataset.make_initializable_iterator()
features, labels = iterator.get_next()


out = mnist_model(features)
train_op, loss = optimizer_op(out, labels)
acc_out = acc(out, labels)


with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for epoch in range(3):
        # 训练
        train_acc = []
        sess.run(iterator.initializer, feed_dict={ x: train_data[0], y: train_data[1]})
        for _ in range(20):
            acc, _, train_loss = sess.run([acc_out, train_op, loss])
            train_acc.append(acc)
        acc_mean = np.mean(train_acc) 

        # 验证
        test_acc = []
        sess.run(iterator.initializer, feed_dict={ x: test_data[0], y: test_data[1]})
        for i in range(20):
            acc_ = sess.run(acc_out)
            test_acc.append(acc_)
        acc_mean_ = np.mean(test_acc)

        print('epoch: {:03d} | train acc: {:.2f} | test acc: {:.2f} | train loss: {:.2f}'.format(epoch, acc_mean, acc_mean_, train_loss))

  

——————————————输出——————————————————————
epoch: 000 | train acc: 0.43 | test acc: 0.71 | train loss: 0.55
epoch: 001 | train acc: 0.85 | test acc: 0.87 | train loss: 0.21
epoch: 002 | train acc: 0.94 | test acc: 0.90 | train loss: 0.06

第二个版本————(reinitializable)

这里重复得代码不贴出了
# read data
mnist = input_data.read_data_sets("E:/database/mnist", one_hot=True)
train_images = mnist.train.images
train_labels = mnist.train.labels
test_images = mnist.test.images
test_labels = mnist.test.labels
train_data = (train_images, train_labels)
test_data = (test_images, test_labels)

# 创建数据
train_dataset = dataset_generation(train_data[0], train_data[1])
test_dataset = dataset_generation(test_data[0], test_data[1], repeat=False)
# 创建迭代器
iterator = tf.data.Iterator.from_structure(train_dataset.output_types, train_dataset.output_shapes)
features, labels = iterator.get_next()
# 对传入的不同数据源定义迭代器初始化节点
training_init_op = iterator.make_initializer(train_dataset)
test_init_op = iterator.make_initializer(test_dataset)

第三个版本————(feedable迭代和placeholder结合)

代码没写。。。。详细查看这个人的代码也可以的

我运行第二个版本的时候,发现内存急剧飙升(8G内存),但第一种形式就好的多,在Dataset api的博客中介绍过,创建数据集的时候,我们读入的时numpy类型,然后转换为tensor类型,这样会造成内存不够(数组会被多次复制)。。。但没想到运行mnist数据集都勉强啊!还是用placeholder来进行传入数据吧!

 

### 回答1: TensorFlow Dataset(TFDS)是一个用于构建高效、可重复使用的数据管道的库。它提供了一些预先处理好的数据集,同时也支持用户自己导入自定义数据集,并可以在数据集上应用各种转换操作,例如 shuffle、batch、map、filter 等等。使用 TensorFlow Dataset 可以帮助用户更加方便地处理数据,并提高数据处理的效率。 ### 回答2: TensorFlow Dataset是一种高性能、易用、可重复的数据输入管道工具,用于处理大规模的训练和验证数据集。TensorFlow Dataset支持多种类型的数据源,如TensorFlow中的张量、numpy数组、Python生成器、CSV文件等等,并提供了一系列数据变换操作,例如shuffle、batch、map和repeat等等,有效地减少数据预处理的代码量。TensorFlow Dataset还支持多线程和预取数据操作,可以大幅度提高数据输入的效率。 使用TensorFlow Dataset有以下优点: 1.性能高:TensorFlow Dataset很好地利用了硬件资源,提供了高效的数据输入管道,极大地提高了训练效率。 2.处理数据方便:TensorFlow Dataset提供了一系列数据变换操作,方便地处理数据。 3.易用:TensorFlow Dataset简单易懂,并且有很多示例可以参考。 4.可复制:TensorFlow Dataset的数据输入是可重复的,保证了实验结果的可复现性。 在使用TensorFlow Dataset时,需要先将数据转换成tf.data.Dataset类型,然后使用map、batch、shuffle等方法进行数据处理,最后以迭代器的形式读取数据进行训练。TensorFlow Dataset的优点在于提供了一种易于使用,高效灵活的数据处理工具,可以大幅度降低数据预处理的代码量,同时保证训练效率和实验结果的可复现性,适用于大规模深度学习训练及推理。 ### 回答3: TensorFlow Dataset是Google开发的一种灵活、高效的数据载入工具,它是TensorFlow官方推荐的载入数据的方法之一。使用TensorFlow Dataset可以实现对大型数据集进行高效、快速的处理,同时也可以方便地进行数据预处理和输入函数的编写。 TensorFlow Dataset支持多种数据源,如numpy数组、csv文件、TFRecord文件、文本文件等。同时,它也支持对数据进行变换、扩充、重复、分片等操作,方便进行数据预处理。在数据输入时,TensorFlow Dataset可以自动进行多线程读取,提高数据输入的效率。 TensorFlow Dataset同时也支持多种数据集的处理操作,如shuffle、batch、repeat、map等。这些操作可以方便地实现数据集的乱序、分批、数据增强等操作。同时,TensorFlow Dataset还提供了一种方便的函数tf.data.Iterator,可以方便地实现对数据集的遍历。 TensorFlow Dataset的使用可以提高训练效率、降低内存消耗、方便数据预处理等,因此在TensorFlow的开发中得到广泛的使用。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值