为什么HttpHelper类可以忽视编码呢?

bianxinhuan

而我自己写的,有时候却是乱码,啊,为啥

站长苏飞

我这里有个基础的说明可以看看http://www.sufeinet.com/thread-6-1-1.html

站长苏飞

因为我在类里面做了自动认识编码的部分，只要你不设置就会自动识别，会极小的影响一下性能，可忽略不计的，你自己写的，设置 的如果不对，或者是没有设置是肯定会乱码的

qq576733600

看下你采集的网站的编码，自己设置成对应的编码就是了。

站长苏飞

qq576733600 发表于 2013-10-10 16:08
看下你采集的网站的编码，自己设置成对应的编码就是了。

如果是普通的确实可以这样，但如果要写一个抓取不同网站的就比较麻烦了，还有使用自动识别的比较方便，一不怕变而不怕不同

bianxinhuan

qq576733600 发表于 2013-10-10 16:08
看下你采集的网站的编码，自己设置成对应的编码就是了。

[code=csharp] public string GetHtmlByGetMethod(string url)
        {
            _httpWebRequest = WebRequest.Create(url) as HttpWebRequest;
            _httpWebRequest.Method = "GET";
            _httpWebRequest.UserAgent = "  Mozilla/5.0 (Windows NT 6.1; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0";
            HttpWebResponse response = _httpWebRequest.GetResponse() as HttpWebResponse;

            using (Stream responseStream = response.GetResponseStream())
            {
                using (StreamReader reader = new StreamReader(responseStream, DefaultEncoding))
                {
                    return reader.ReadToEnd();
                }
            }
        }[/code]
啊,这样不行吗

bianxinhuan

站长苏飞 发表于 2013-10-10 16:11
如果是普通的确实可以这样，但如果要写一个抓取不同网站的就比较麻烦了，还有使用自动识别的比较方便，一 ...

对啊,我就是要做一个可以采集不同网站的啊,所以需要自动识别,但看苏飞写的,有GZIP,内存流之类,不是很明白

站长苏飞

bianxinhuan 发表于 2013-10-10 16:20
对啊,我就是要做一个可以采集不同网站的啊,所以需要自动识别,但看苏飞写的,有GZIP,内存流之类,不是很明白 ...

不用明白啊，直接用就是了，用的多了，时间一长就懂了，懂不懂都不影响你写代码的

qq576733600

我用的也是自动识别的。 还是会有个个别是识别不出来的。就得自己写下编码。大部分没有问题。

站长苏飞

qq576733600 发表于 2013-10-10 16:24
我用的也是自动识别的。 还是会有个个别是识别不出来的。就得自己写下编码。大部分没有问题。

我测试过上千万的网站，有识别不到的都修正了，如果你有那个网站识别不到，或者是发现那个识别不了，可以反映给我http://www.sufeinet.com/forum-135-1.html 这里有专门的反馈专区，如果反映的问题得到采用，会把你的用户名记录到更新日志中，