2021-04-08 19:26:52 +08:00 回复了 badacook 创建的主题 Python Python schedule task |
@clino 看了一下 你的解决方法好像比较接近，思路大概就是在主线程里捕获执行脚本的线程句柄 handle，传入类似 GetExitCodeThread()函数，有点儿回调的意思，不知道这种理解对不对
2021-04-05 19:25:56 +08:00 回复了 badacook 创建的主题 Python 爬虫过程中 DOM 对象的处理 |
@demo06 非常感谢大神 xpath 语法真的很赞，这个语法我要好好研究一下，本来还觉得学了解 xpath，自惭形秽啊
2021-04-04 14:38:01 +08:00 回复了 badacook 创建的主题 Python 爬虫过程中 DOM 对象的处理 |
@demo06 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
比如这个页面 我想取出 所有的 caption 为返回数据说明的 table，结合 pandas 处理 DataFrame 的能力
我上面 实例 里面的 text = requests.post(url, headers=headers) 就是获取 HTML 页面的 text.text
你也可以直接 打开这个页面 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
使用 F12 查看源码
比如这个页面 我想取出 所有的 caption 为返回数据说明的 table，结合 pandas 处理 DataFrame 的能力
我上面 实例 里面的 text = requests.post(url, headers=headers) 就是获取 HTML 页面的 text.text
你也可以直接 打开这个页面 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
使用 F12 查看源码
2021-04-04 08:12:27 +08:00 回复了 badacook 创建的主题 Python 动态创建变量名并读取文件 |
@aijam 非常感谢 globals() 与 vars() 均能实现 setting a string as a variable name，或者说 create variable variables in Python
2021-04-03 20:21:33 +08:00 回复了 badacook 创建的主题 Python 爬虫过程中 DOM 对象的处理 |
发现了自己的一个大错误，caption 作为 table 的标题，并不是 table 的属性，而是最近的子元素，那针对 caption 的 table 筛选，何种方法最便捷呢
2021-04-03 16:48:20 +08:00 回复了 badacook 创建的主题 Python 爬虫过程中 DOM 对象的处理 |
@misaka19000 我感觉 我 xpath 没写错，我有参照 W3C xpath 语法来写，就是取到了 DOM 对象，如何还原表单，后续的处理，我看 pandas 的 read_html 其中带 attrs 参数，参数为字典格式，可获取特定属性的 table，我使用 attrs = {"caption":"返回数据说明"} 不带这个参数能获取所有 table，带了反而报错
2021-04-03 16:08:15 +08:00 回复了 badacook 创建的主题 Python 爬虫过程中 DOM 对象的处理 |
@demo06 非常感谢 能不能分享一下 python 处理 dom 文档对象的文章，没找到切合的实例
2021-04-03 16:04:08 +08:00 回复了 badacook 创建的主题 Python 爬虫过程中 DOM 对象的处理 |
@milukun 因为 有多个 caption="返回数据说明" d table,分别是 id="mw-content-text"元素的子元素，且互为不间断的兄弟元素，我有 F12 查看 其中一个元素 xpath 检索 //*[@id="mw-content-text"]/table[26]/caption，我只是在这个基础上改成查找 包含 caption 属性，且值为"返回数据说明" 的 table 元素
2021-04-03 10:06:14 +08:00 回复了 badacook 创建的主题 Python 动态创建变量名并读取文件 |
@pursuer 你如果有空 能不能试一试，就是一个目录下有几个 csv 文件，还可能有其他类型文件，要做的就是使用 pandas 库，将这些 csv 文件 以文件名变量的形式读进去，变量作用域在整个脚本范围，其中 globals()不是返回的全局字典嘛，作为 python 新手的我 实在有些不理解，其中 exec 函数 提供字符串命令的执行，感觉跟这个需求也有点儿接近，能不能试一试 也是个简单的小实验 我也想通过这个小实验 理解这个过程，谢谢了
2021-04-03 09:02:56 +08:00 回复了 badacook 创建的主题 Python 动态创建变量名并读取文件 |
@pursuer 那个赋值 加载 csv 在 for 的 if 分支下，而且 想做到变量名与加载的 csv 文件同名，其实作用域是想做到 for 的外层使用，只是想着看看 在 for 的 if 分支 赋值加载时 可以动态，不知道能否实现
2021-04-02 12:09:18 +08:00 回复了 badacook 创建的主题 Python 动态创建变量名并读取文件 |
@minami
exstr = "'{0}'[:-4] = pd.read_csv({0},encoding='gbk')".format(item)
exec exstr
按照 你说的 生成每个条目 的命令字符串，使用 exec 函数，无法执行 是否 exec 不支持变量字符串
exstr = "'{0}'[:-4] = pd.read_csv({0},encoding='gbk')".format(item)
exec exstr
按照 你说的 生成每个条目 的命令字符串，使用 exec 函数，无法执行 是否 exec 不支持变量字符串
2021-04-02 11:55:15 +08:00 回复了 badacook 创建的主题 Python 动态创建变量名并读取文件 |
@minami exe 函数执行赋值语句，exec "item[:-4]=pd.read_csv(item,encoding='gbk')" ，其中 item 如何解析为变量啊
2021-04-02 11:08:11 +08:00 回复了 badacook 创建的主题 Python 动态创建变量名并读取文件 |
@typetraits 为啥 还要转一步 ，能不能就在这个 for 内部 if 语句中完成啊，还要创建字典 再历遍字典啊
2021-03-30 07:07:15 +08:00 回复了 badacook 创建的主题 Python pandas 行筛选 |
@wanv1171 非常感谢，Series.str.contains(),与 apply lambda 这种方式 这几天都一直在用，就是这几种结合 any 函数没组合使用过，真香啊，感谢感谢，致敬
2021-03-29 22:36:26 +08:00 回复了 badacook 创建的主题 Python pandas 行筛选 |
@wuwukai007 试过了 完全不对啊
2021-03-29 22:22:30 +08:00 回复了 badacook 创建的主题 Python pandas 行筛选 |
@imn1
谢谢大神的提点 那篇文章有搜到过 看过一部分
结合这个 问题我想起来了 apply()相关函数 包含多列处理，返回的是 DataFrame，
可以将 DataFrame.T 对所有行变换成列，返回相关列也就是本身的行，只是需要自定义判断函数
之前看到了 DataFrame.query 函数 也是返回 DataFrame 列，就是其中的 boolean expression 感觉到不到效果
再次感谢 大神的 astype 指点。
谢谢大神的提点 那篇文章有搜到过 看过一部分
结合这个 问题我想起来了 apply()相关函数 包含多列处理，返回的是 DataFrame，
可以将 DataFrame.T 对所有行变换成列，返回相关列也就是本身的行，只是需要自定义判断函数
之前看到了 DataFrame.query 函数 也是返回 DataFrame 列，就是其中的 boolean expression 感觉到不到效果
再次感谢 大神的 astype 指点。
2021-03-29 19:18:25 +08:00 回复了 badacook 创建的主题 Python DataFrame 内容处理 |
@HelloViper
@reself
@Gatsbywl
imn1 大神用一行正则 直接实现了，df = df.replace(r'[^()]*\(([^()]+)\)[^()]*', value=r'\1', regex=True)
包含括号，就将内容替换为括号里面的内容，太厉害了
@reself
@Gatsbywl
imn1 大神用一行正则 直接实现了，df = df.replace(r'[^()]*\(([^()]+)\)[^()]*', value=r'\1', regex=True)
包含括号，就将内容替换为括号里面的内容，太厉害了
2021-03-29 19:12:25 +08:00 回复了 badacook 创建的主题 Python DataFrame 内容处理 |
@imn1 猛男啊 虽然我也学过正则，那仅仅是知道，难怪我开始都怀疑 正则能不能实现，非常感谢，致敬
2021-03-29 17:19:56 +08:00 回复了 badacook 创建的主题 Python DataFrame 内容处理 |
@imn1 这不是 写不出这个正则嘛 字符串，含有()就保留()里面的内容，要是写得出这个正则， 我也提前看过了 那个 replace 函数了 也不会在这里请教大家了
2021-03-29 16:45:55 +08:00 回复了 badacook 创建的主题 Python DataFrame 内容处理 |
@HelloViper 还有一点 使用最后的 df.applymap() 条件处理时，需要先将 DataFrame 中非字符数据列 全部转换成 字符处理，df = df.applymap(str)，这个好像 也只能是这样了，有点儿失真
Select Language