这是一个创建于 4593 天前的主题，其中的信息可能已经有所发展或是发生改变。
估计是变成坏掉的不完整的UTF-8字符了，求解决方案。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
第 1 条附言 2013-05-20 22:28:23 +08:00
https://github.com/wontoncc/cnbetaCC 代码仓库在这边，主要是 worker 和 processor 做爬取信息的处理。
第 2 条附言 2013-05-21 16:49:07 +08:00
重新写了一遍抓取的代码，用 stream 和原生 buffer 处理，并没有出现这个问题；
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
 | 1 chemzqm 2013-05-19 19:30:26 +08:00  1 可能抓到的是gzip版本，设置请求头 Accept-Encoding:deflate |
 | 3 orzfly 2013-05-19 19:59:23 +08:00 1 随机的？话说js好像不支持0~0xFFFF之外的字符。 |
 | 5 inaction 2013-05-19 21:02:15 +08:00 测试：刚才明明发的中文字符：〖〗，变成了[] |
 | 8 juicy 2013-05-20 14:39:27 +08:00 1 会不会是你本机缺少相应的字符库，而抓到的数据本身是没问题的？也许在其他有相应字符库的机子上是显示正常的？ |
 | 9 wontoncc OP @juicy 刚刚测试了一下，并不是这个问题。 而且因为是随机的缘故，本来有些字这次请求完好，下一次请求却坏到了。如果是字库问题应该一直都看不到才对。 |
 | 11 leafduo 2013-05-20 21:10:03 +08:00 1 贴代码吧 |
| 13 wontoncc OP |
| 14 juicy 2013-05-21 18:18:14 +08:00 恭喜楼主攻克难题～～～ |
| 15 chemzqm 2013-05-21 20:42:34 +08:00 给他提个issue吧，方便其他人。 |
Select Language