推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1371 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景： 读取文件，然后插入数据库。 由于是远程数据库，所以使用了批量写入。
假如文件 10050 行（实际多得多） 现在是按 %100 ==0 把前 100 行插入进去，但是会留下 50 这个尾巴。
各位有更好的办法解决这个问题不？
 | 1 hannibalm 2022-03-20 00:34:44 +08:00 via Android 这是所有取模的常规判断，三中情况都要判断：余下的数据要最后处理完;也可能正好除尽没有剩余;也可能第一次就不够 100 条。 |
 | 2 kilasuelika 2022-03-20 00:48:05 +08:00 via Android 这种不适合取模。 用一个指针 p ，初始为 0 ，取 window 为 n ，用 while 循环。如果 p+n<size ，那么可以取的是[p,p+n)，然后更新 p=p+n ；否则取[p,size)，然后 break 。 |
| 3 kilasuelika 2022-03-20 00:50:41 +08:00 via Android 噢你这个是流文件读取。 那还是用取模，可以用一个缓存，取模恰好等于 0 时插入并清空缓存。 等文件全部读取后，再把缓存中的插入。 |
 | 4 twing37 2022-03-20 01:05:36 +08:00 程序结束前检查 buffer 即可 |
 | 5 tangdaoni OP |
 | 6 ldyisbest 2022-03-20 17:14:23 +08:00 先全部读到内存，然后把数据分片，除了最后一片都是 100 ，最后有个 50 ，不会漏 |
 | 7 agostop 2022-03-20 22:50:43 +08:00 同意楼上，分两步，先分片，再处理分片。 |
 | 8 MoYi123 2022-03-21 10:26:00 +08:00 from itertools import groupby ls = list(range(105)) for i, v in groupby(ls, key=lambda x: x // 10): __print(i, list(v)) |
Select Language