
现在使用了线程池创建, 不过速度还是很慢
1 BQsummer Mar 30, 2018 via Android 换电脑,cpu 核心不够,线程再多也没用,反而慢。 |
2 zj299792458 Mar 30, 2018 via iPhone @BQsummer 这瓶颈在于 IO 了吧,CPU 过剩了 |
3 rb6221 Mar 30, 2018 via Android 无限平方 复制粘贴大法? |
4 liucudliucud Mar 30, 2018 via Android 搭建一个 hadoop 集群 |
5 lhx2008 Mar 30, 2018 via Android nodejs npm 几下就有几百万个文件了(滑稽) |
6 lihongjie0209 OP @lhx2008 #5 黑的漂亮 |
7 lihongjie0209 OP |
8 lihongjie0209 OP @zj299792458 #2 我感觉是, 但是找不到什么好办法 |
9 dobelee Mar 30, 2018 via Android touch 三百万应该很快吧。 你发帖的时间应该 touch 完了。 |
10 lihongjie0209 OP @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了 |
11 v2gba Mar 30, 2018 dd & split |
12 bingod Mar 31, 2018 创建一个 300 万条数据的文件,然后分成 100 个字典(或更多),再将每个字典里的文字保存成 30 万个包含单条数据的文件,可以用多线程。 |
13 bingod Mar 31, 2018 写错了,应该是 3 万条,主要的问题是文件系统比较慢 |
14 STRRL Mar 31, 2018 via Android 估计是磁盘跟不上,试试 ramdisk |
15 lihongjie0209 OP @STRRL #14 这个想法可以有, 谢谢 |