如何从生成器对象构建一个 numpy 数组?
让我来说明问题:
>>> import numpy
>>> def gimme():
... for x in xrange(10):
... yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
在本例中,gimme()
是我想将其输出转换为数组的生成器。但是,数组构造函数不会遍历生成器,它只是存储生成器本身。我想要的行为是来自 numpy.array(list(gimme()))
,但我不想支付将中间列表和最终数组放在内存中的内存开销同时。有没有更节省空间的方法?
最佳答案
这个stackoverflow结果后面google了一下,发现有一个numpy.fromiter(data, dtype, count)
.默认的 count=-1
从可迭代对象中获取所有元素。它需要明确设置 dtype
。就我而言,这很有效:
numpy.fromiter(something.generate(from_this_input), float)
https://stackoverflow.com/questions/367565/