这个网站抓取总是出错,没有返回结果

站长苏飞

caca31 发表于 2014-4-4 12:18
希望指点下这个网站是不是做的防采集的方法?我COOKIE都带着访问了,还是返回首页的代码,而不是搜索结果... ...

好我的软件有问题行了吧，我错了，我都奇怪了，你想干什么，就是想让我承认下我的软件有问题，对不起你给你造成问题了是吗？如果是这样 ，我承认有问题，你别用了。

caca31

站长苏飞 发表于 2014-4-4 12:56
好我的软件有问题行了吧，我错了，我都奇怪了，你想干什么，就是想让我承认下我的软件有问题，对不起你给 ...

对不起,我错了, 我找到我代码的原因了,不知道你软件是否也有些原因.
一点没有想证明什么的问题,只是我的代码抓取不到数据,想测试你的是否可以,没有其它意思.
感谢站长的指点...非常感谢你帮了我的大忙，真的太感谢你啦！

caca31

站长苏飞 发表于 2014-4-4 12:56
好我的软件有问题行了吧，我错了，我都奇怪了，你想干什么，就是想让我承认下我的软件有问题，对不起你给 ...

对不起,我错了, 我找到我代码的原因了,不知道你软件是否也有些原因.
一点没有想证明什么的问题,只是我的代码抓取不到数据,想测试你的是否可以,没有其它意思.
感谢站长的指点...非常感谢你帮了我的大忙，真的太感谢你啦！

站长苏飞

caca31 发表于 2014-4-4 13:01
对不起,我错了, 我找到我代码的原因了,不知道你软件是否也有些原因.
一点没有想证明什么的问题,只是我的 ...

如果获取不到咱们就讨论获取的问题，我给您回复那么多条您都不接我的话，一直在纠结我的软件问题，让我很郁闷。最重要是解决问题。那只是一个生成工具。具体的还得看代码执行的。

站长苏飞

这个网站我怎么记得提过啊，这个是Cookie没有带的问题。带上就行了。

[C#] 纯文本查看 复制代码

            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://www.btspread.com/search/人才",//URL     必需项    
                Method = "get",//URL     可选项 默认为Get   
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
                Cookie = "incap_ses_124_137897=/R+rFIh47xdKKgqfXIq4Abc7PlMAAAAAZIxnBsZp9VsapEM0YsyoOQ==; path=/",//字符串Cookie     可选项   
                Referer ="http://www.btspread.com/search/%E4%B8%AD%E8%BD%A6",//来源URL     可选项   
                Postdata = "",//Post数据     可选项GET时不需要写   
                Timeout = 100000,//连接超时时间     可选项默认为100000    
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型，版本，操作系统     可选项有默认值   
                ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值   
                Allowautoredirect = false,//是否根据301跳转     可选项   
                //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
                //Connectionlimit = 1024,//最大连接数     可选项 默认为1024    
                ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数    
                //ProxyPwd = "123456",//代理服务器密码     可选项    
                //ProxyUserName = "administrator",//代理服务器账户名     可选项   
                ResultType = ResultType.String
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;