V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3184 days ago, the information mentioned may be changed or developed.
有一个很大的文件 内容是一行一个 MD5 值 我需要统计每个 MD5 出现的次数
如果直接 pandas.read_csv 会 MemoryError
一行一行读+字典 也行 但不是我要的
怎么使用 分块读取 然后分组统计再汇总?
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = data.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
如果直接 pandas.read_csv 会 MemoryError
一行一行读+字典 也行 但不是我要的
怎么使用 分块读取 然后分组统计再汇总?
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = data.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
 | 1 ferstar Aug 10, 2017 刚好手上有个类似的数据集，唯一与楼主不同的是每一行是一个[100, 150]的整数，我是这样统计的： --- ```python from collections import Counter import pandas as pd size = 2 ** 10 counter = Counter() for chunk in pd.read_csv('file.csv', header=None, chunksize=size): counter.update([i[0] for i in chunk.values]) print(counter) ``` --- 大概输出如下： ``` Counter({100: 41, 101: 40, 102: 40, ... 150: 35}) ``` |
 | 2 caomaocao Aug 10, 2017 Counter() 或者 Mapreduce 的思想做哦~ |
 | 3 chuanqirenwu Aug 10, 2017 dask 一行搞定。 dd.groupby().count()，和 pandas 一样的 API，但是把 fill in memory 拓展到 fill in disk。 |
 | 4 zhusimaji Aug 10, 2017 via iPhone Counter 可以试试，有分布式观景首选 mapreduce |
| 5 zhusimaji Aug 10, 2017 via iPhone 分布式环境 |
Select Language