伏龙阁资源网

解决TensorFlow训练内存不断增长,进程被杀死问题
站长资源 2024/11/25 佚名
2 0

TensorFlow训练时，遇到内存不断增长，最终导致内存不足，进程被杀死。

在这里我不准备对造成这一现象的所有原因进行探讨，只是记录一下我在项目中遇到的这一问题，下面将对我遇到的内存不断增长的原因进行分析。

在TensorFlow中构造图，是将一些op作为节点加入图中，在run之前，是需要构造好一个图的，所以在run的时候，如果run图中不存在的节点，TensorFlow就会将节点加入图中，随着不断的迭代，造成内存不断的增长，从而导致内存不足。

下面举一个很容易发现这个问题的例子：

import tensorflow as tf
x = tf.Variable(tf.constant(1))
y = tf.constant(2)
sess = tf.Session()
sess.run(tf.global_variables_initializer())
while True:
 print(sess.run(x+y))

在上面的例子中，x,y是图中的两个节点，在while循环中run(x)或者run(y)都是不存在问题的，但是上例中我们使用的时run(x+y)，而在TensorFlow的图中是不存在x+y这个节点的，所以在run的时候，图中会不断的创建该节点，最终导致了内存不足。这个例子很容易理解，这样的问题也很容易发现。

下面，将举一个不是那么容易发现的问题：

import tensorflow as tf
test = tf.get_variable('test', shape=[4, 1], initializer=tf.random_normal_initializer(stddev=0.1))
init_op = tf.global_variables_initializer()
with tf.Session() as sess:
 sess.run(init_op)
 print(sess.run(test[0]))

这个例子是创建一个shape为[4,1]的变量对象，test为图中的一个节点，但是在我们实际使用时，我们可能并不需要test里的所有数据，加入只需要一个数据test[0]，当我们使用run(test[0])时，test[0]并不是图中的节点，该节点就会在图中创建。上面的例子并没有使用循环，所以增加了节点，但是也不会造成内存的不足，当使用了循环时，就需要注意了。

解决办法：run图中存在的节点，对返回的结果进行处理，得到想要的结果，不要在run里面对节点处理（处理后的节点可能不是图中的节点）。

以上这篇解决TensorFlow训练内存不断增长,进程被杀死问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接