为什么HttpHelper类可以忽视编码呢?

qq576733600

文件可以吗，今天就碰到个文件编码识别不对。
http://tv.sohu.com/frag/vrs_inc/phb_mv_day_50.js

站长苏飞

qq576733600 发表于 2013-10-10 16:34
文件可以吗，今天就碰到个文件编码识别不对。
http://tv.sohu.com/frag/vrs_inc/phb_mv_day_50.js

文件 的编码需要手动设置，我只识别网页的编码，文件编码与网页识别的方式差别比较大。

qq576733600

站长苏飞 发表于 2013-10-10 16:40
文件 的编码需要手动设置，我只识别网页的编码，文件编码与网页识别的方式差别比较大。

http://yyk.39.net/search/t2/
采集这个页面
会提示 远程服务器返回错误: (502) 错误的网关。

需要加入
requestNew.Headers.Add("Accept-Encoding", "gzip,deflate,sdch");
就正常了

站长苏飞

qq576733600 发表于 2013-10-10 16:56
http://yyk.39.net/search/t2/
采集这个页面
会提示 远程服务器返回错误: (502) 错误的网关。

恩是的有些网站需要配置，这个用的多了就找到规律了，基本上能用到的情况的参数我都配置出来了，

如有什么问题到时候可以发帖子告诉我。