伏龙阁资源网

pytorch中如何使用DataLoader对数据集进行批处理的方法
站长资源 2024/11/29 佚名
2 0

最近搞了搞minist手写数据集的神经网络搭建，一个数据集里面很多个数据，不能一次喂入，所以需要分成一小块一小块喂入搭建好的网络。

pytorch中有很方便的dataloader函数来方便我们进行批处理，做了简单的例子，过程很简单，就像把大象装进冰箱里一共需要几步？

第一步：打开冰箱门。

我们要创建torch能够识别的数据集类型（pytorch中也有很多现成的数据集类型，以后再说）。

首先我们建立两个向量X和Y，一个作为输入的数据，一个作为正确的结果：

pytorch中如何使用DataLoader对数据集进行批处理的方法

随后我们需要把X和Y组成一个完整的数据集，并转化为pytorch能识别的数据集类型：

pytorch中如何使用DataLoader对数据集进行批处理的方法

我们来看一下这些数据的数据类型：

pytorch中如何使用DataLoader对数据集进行批处理的方法

可以看出我们把X和Y通过Data.TensorDataset() 这个函数拼装成了一个数据集，数据集的类型是【TensorDataset】。

好了，第一步结束了，冰箱门打开了。

第二步：把大象装进去。

就是把上一步做成的数据集放入Data.DataLoader中，可以生成一个迭代器，从而我们可以方便的进行批处理。

pytorch中如何使用DataLoader对数据集进行批处理的方法

DataLoader中也有很多其他参数：

  1. dataset：Dataset类型，从其中加载数据
  2. batch_size：int，可选。每个batch加载多少样本
  3. shuffle：bool，可选。为True时表示每个epoch都对数据进行洗牌
  4. sampler：Sampler，可选。从数据集中采样样本的方法。
  5. num_workers：int，可选。加载数据时使用多少子进程。默认值为0，表示在主进程中加载数据。
  6. collate_fn：callable，可选。
  7. pin_memory：bool，可选
  8. drop_last：bool，可选。True表示如果最后剩下不完全的batch,丢弃。False表示不丢弃。

好了，第二步结束了，大象装进去了。

第三步：把冰箱门关上。

好啦，现在我们就可以愉快的用我们上面定义好的迭代器进行训练啦。

在这里我们利用print来模拟我们的训练过程，即我们在这里对搭建好的网络进行喂入。

pytorch中如何使用DataLoader对数据集进行批处理的方法

输出的结果是：

pytorch中如何使用DataLoader对数据集进行批处理的方法

可以看到，我们一共训练了所有的数据训练了5次。数据中一共10组，我们设置的mini-batch是3，即每一次我们训练网络的时候喂入3组数据，到了最后一次我们只有1组数据了，比mini-batch小，我们就仅输出这一个。

此外，还可以利用python中的enumerate()，是对所有可以迭代的数据类型（含有很多东西的list等等）进行取操作的函数，用法如下：

pytorch中如何使用DataLoader对数据集进行批处理的方法

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接