ranxi 最近的时间轴更新 ranxi 最近的时间轴更新 | ranxiV2EX 第 579531 号会员，加入于 2022-04-28 10:47:43 +08:00 |
ranxi 最近回复了
2022 年 7 月 25 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@wxf666 感谢，已解决
2022 年 7 月 24 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
抱歉各位，昨天有事没看回复，我再说明一下。
首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
2022 年 7 月 22 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
O1 按需求是要逐行读取的，所以只能对 O2 操作。我明天试试 hash 表吧
2022 年 7 月 22 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@liprais 用不了 sql
2022 年 7 月 22 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
暂不考虑数据库
2022 年 7 月 22 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@Richard14 试了下 pandas ，查一次要 3 ，4 秒，查几百万次完全查不动啊
2022 年 7 月 22 日 回复了 ranxi 创建的主题 程序员 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@jarence 两个文件 O1 和 O2 ，可以理解成两张表，每行\t 分隔，O1 每行是 a ，b ，c ，其中 c 需要映射成另一个值 d ，这个映射关系在 O2 文件里（ c ，d ），O2 文件大概有 5GB ，几亿行数据。
2022 年 7 月 9 日 回复了 ranxi 创建的主题 生活 家人们，程序猿都是怎么找到对象的 |
@threeEggs123 妙啊
2022 年 7 月 4 日 回复了 ink19 创建的主题 程序员 各位大佬用的都是什么键盘啊？来交流一下呗～说说原因和体验 |
家里用的达尔优 a98 天空轴 v3 ，手感确实不错，打字游戏都可以
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
2022 年 6 月 9 日 回复了 ranxi 创建的主题 生活 家人们，程序猿都是怎么找到对象的 |
@xhslyf 学到了
Select Language