苏飞论坛

标题: C# HttpWebRequest 绝技 [打印本页]

作者: 站长苏飞 时间: 2012-6-30 20:23
标题: C# HttpWebRequest 绝技
在线测试工具http://www.sufeinet.com/thread-3690-1-1.html
c# HttpWebRequest与HttpWebResponse 绝技
如果你想做一些，抓取，或者是自动获取的功能，那么就跟我一起来学习一下Http请求吧。
本文章会对Http请求时的Get和Post方式进行详细的说明，
在请求时的参数怎么发送，怎么带Cookie，怎么设置证书，怎么解决编码等问题，进行一步一步的解决。
* 如果要使用中间的方法的话，可以访问我的帮助类完全免费开源：
这个类是专门为HTTP的GET和POST请求写的，解决了编码，证书，自动带Cookie等问题。
C# HttpHelper,帮助类,真正的Httprequest请求时无视编码，无视证书，无视Cookie,网页抓取
1.第一招，根据URL地址获取网页信息
先来看一下代码
get方法

[C#] 纯文本查看 复制代码

public static string GetUrltoHtml(string Url,string type)

        {

            try

            {

                System.Net.WebRequest wReq = System.Net.WebRequest.Create(Url);

                // Get the response instance.

                System.Net.WebResponse wResp = wReq.GetResponse();

                System.IO.Stream respStream = wResp.GetResponseStream();

                // Dim reader As StreamReader = New StreamReader(respStream)

                using (System.IO.StreamReader reader = new System.IO.StreamReader(respStream, Encoding.GetEncoding(type)))

                {

                    return reader.ReadToEnd();

                }

            }

            catch (System.Exception ex)

            {

                //errorMsg = ex.Message;

            }

            return "";

        }

post方法

[C#] 纯文本查看 复制代码



        ///<summary>

        ///采用https协议访问网络

        ///</summary>

        ///<param name="URL">url地址</param>

        ///<param name="strPostdata">发送的数据</param>

        ///<returns></returns>

        public string OpenReadWithHttps(string URL, string strPostdata, string strEncoding)

        {

            Encoding encoding = Encoding.Default;

            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(URL);

            request.Method = "post";

            request.Accept = "text/html, application/xhtml+xml, */*";

            request.ContentType = "application/x-www-form-urlencoded";

            byte[] buffer = encoding.GetBytes(strPostdata);

            request.ContentLength = buffer.Length;

            request.GetRequestStream().Write(buffer, 0, buffer.Length);

            HttpWebResponse response = (HttpWebResponse)request.GetResponse();

            using( StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding(strEncoding)))

              {

                   return reader.ReadToEnd();

              }

        }

这招是入门第一式，特点：

1.最简单最直观的一种，入门课程。

2.适应于明文，无需登录，无需任何验证就可以进入的页面。

3.获取的数据类型为HTML文档。

4.请求方法为Get/Post

2.第二招，根据URL地址获取需要验证证书才能访问的网页信息

先来看一下代码

get方法

[C#] 纯文本查看 复制代码



         /回调验证证书问题

        public bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)

        {   

           // 总是接受    

            return true;

        }



        /// <summary>

        /// 传入URL返回网页的html代码

        /// </summary>

        /// <param name="Url">URL</param>

        /// <returns></returns>

        public string GetUrltoHtml(string Url)

        {

            StringBuilder content = new StringBuilder();



            try

            {

                //这一句一定要写在创建连接的前面。使用回调的方法进行证书验证。

                ServicePointManager.ServerCertificateValidationCallback = new System.Net.Security.RemoteCertificateValidationCallback(CheckValidationResult);



                // 与指定URL创建HTTP请求

                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);



                //创建证书文件

                X509Certificate objx509 = new X509Certificate(Application.StartupPath + "\\123.cer");



                //添加到请求里

                request.ClientCertificates.Add(objx509);



                // 获取对应HTTP请求的响应

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();

                // 获取响应流

                Stream responseStream = response.GetResponseStream();

                // 对接响应流(以"GBK"字符集)

                StreamReader sReader = new StreamReader(responseStream, Encoding.GetEncoding("utf-8"));

                // 开始读取数据

                Char[] sReaderBuffer = new Char[256];

                int count = sReader.Read(sReaderBuffer, 0, 256);

                while (count > 0)

                {

                    String tempStr = new String(sReaderBuffer, 0, count);

                    content.Append(tempStr);

                    count = sReader.Read(sReaderBuffer, 0, 256);

                }

                // 读取结束

                sReader.Close();

            }

            catch (Exception)

            {

                content = new StringBuilder("Runtime Error");

            }



            return content.ToString();

        }

post方法

[C#] 纯文本查看 复制代码



         //回调验证证书问题

        public bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)

        {

            // 总是接受    

            return true;

        }



        ///<summary>

        ///采用https协议访问网络

        ///</summary>

        ///<param name="URL">url地址</param>

        ///<param name="strPostdata">发送的数据</param>

        ///<returns></returns>

        public string OpenReadWithHttps(string URL, string strPostdata, string strEncoding)

        {

            // 这一句一定要写在创建连接的前面。使用回调的方法进行证书验证。

            ServicePointManager.ServerCertificateValidationCallback = new System.Net.Security.RemoteCertificateValidationCallback(CheckValidationResult);

            Encoding encoding = Encoding.Default;

            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(URL);



            //创建证书文件

            X509Certificate objx509 = new X509Certificate(Application.StartupPath + "\\123.cer");



            //加载Cookie

            request.CookieContainer = new CookieContainer();



            //添加到请求里

            request.ClientCertificates.Add(objx509);

            request.Method = "post";

            request.Accept = "text/html, application/xhtml+xml, */*";

            request.ContentType = "application/x-www-form-urlencoded";

            byte[] buffer = encoding.GetBytes(strPostdata);

            request.ContentLength = buffer.Length;

            request.GetRequestStream().Write(buffer, 0, buffer.Length);

            HttpWebResponse response = (HttpWebResponse)request.GetResponse();

            using (StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding(strEncoding)))

               {

                   return reader.ReadToEnd();

               }

        }

这招是学会算是进了大门了，凡是需要验证证书才能进入的页面都可以使用这个方法进入，我使用的是证书回调验证的方式，证书验证是否通过在客户端验证，这样的话我们就可以使用自己定义一个方法来验证了，有的人会说那也不清楚是怎么样验证的啊，其它很简单，代码是自己写的为什么要那么难为自己呢，直接返回一个True不就完了，永远都是验证通过，这样就可以无视证书的存在了，特点：

1.入门前的小难题，初级课程。

2.适应于无需登录，明文但需要验证证书才能访问的页面。

3.获取的数据类型为HTML文档。

4.请求方法为Get/Post

3.第三招，根据URL地址获取需要登录才能访问的网页信息

我们先来分析一下这种类型的网页，需要登录才能访问的网页，其它呢也是一种验证，验证什么呢，验证客户端是否登录，是否具用相应的凭证，需要登录的都要验证SessionID这是每一个需要登录的页面都需要验证的，那我们怎么做的，我们第一步就是要得存在Cookie里面的数据包括SessionID，那怎么得到呢，这个方法很多，使用ID9或者是火狐浏览器很容易就能得到，可以参考我的文章

提供一个网页抓取hao123手机号码归属地的例子这里面针对ID9有详细的说明。

如果我们得到了登录的Cookie信息之后那个再去访问相应的页面就会非常的简单了，其它说白了就是把本地的Cookie信息在请求的时候捎带过去就行了。

看代码

get方法

[C#] 纯文本查看 复制代码



        /// <summary>

        /// 传入URL返回网页的html代码带有证书的方法

        /// </summary>

        /// <param name="Url">URL</param>

        /// <returns></returns>

        public string GetUrltoHtml(string Url)

        {

            StringBuilder content = new StringBuilder();

            try

            {

                // 与指定URL创建HTTP请求

                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);

                request.UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; BOIE9;ZHCN)";

                request.Method = "GET";

                request.Accept = "*/*";

                //如果方法验证网页来源就加上这一句如果不验证那就可以不写了

                request.Referer = "http://sufei.cnblogs.com";

                CookieContainer objcok = new CookieContainer();

                objcok.Add(new Uri("http://sufei.cnblogs.com"), new Cookie("键", "值"));

                objcok.Add(new Uri("http://sufei.cnblogs.com"), new Cookie("键", "值"));

                objcok.Add(new Uri("http://sufei.cnblogs.com"), new Cookie("sidi_sessionid", "360A748941D055BEE8C960168C3D4233"));

                request.CookieContainer = objcok;



                //不保持连接

                request.KeepAlive = true;



                // 获取对应HTTP请求的响应

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();



                // 获取响应流

                Stream responseStream = response.GetResponseStream();



                // 对接响应流(以"GBK"字符集)

                StreamReader sReader = new StreamReader(responseStream, Encoding.GetEncoding("gb2312"));



                // 开始读取数据

                Char[] sReaderBuffer = new Char[256];

                int count = sReader.Read(sReaderBuffer, 0, 256);

                while (count > 0)

                {

                    String tempStr = new String(sReaderBuffer, 0, count);

                    content.Append(tempStr);

                    count = sReader.Read(sReaderBuffer, 0, 256);

                }

                // 读取结束

                sReader.Close();

            }

            catch (Exception)

            {

                content = new StringBuilder("Runtime Error");

            }



            return content.ToString();

        }

post方法。

[C#] 纯文本查看 复制代码



         ///<summary>

        ///采用https协议访问网络

        ///</summary>

        ///<param name="URL">url地址</param>

        ///<param name="strPostdata">发送的数据</param>

        ///<returns></returns>

        public string OpenReadWithHttps(string URL, string strPostdata)

        {

            Encoding encoding = Encoding.Default;

            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(URL);

            request.Method = "post";

            request.Accept = "text/html, application/xhtml+xml, */*";

            request.ContentType = "application/x-www-form-urlencoded";

            CookieContainer objcok = new CookieContainer();

            objcok.Add(new Uri("http://sufei.cnblogs.com"), new Cookie("键", "值"));

            objcok.Add(new Uri("http://sufei.cnblogs.com"), new Cookie("键", "值"));

            objcok.Add(new Uri("http://sufei.cnblogs.com"), new Cookie("sidi_sessionid", "360A748941D055BEE8C960168C3D4233"));

            request.CookieContainer = objcok;



            byte[] buffer = encoding.GetBytes(strPostdata);

            request.ContentLength = buffer.Length;



            request.GetRequestStream().Write(buffer, 0, buffer.Length);

            HttpWebResponse response = (HttpWebResponse)request.GetResponse();

            StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding("utf-8"));

            return reader.ReadToEnd();

        }

特点：

1.还算有点水类型的，练习成功后可以小牛一把。

2.适应于需要登录才能访问的页面。

3.获取的数据类型为HTML文档。

4.请求方法为Get/Post

总结一下，其它基本的技能就这几个部分，如果再深入的话那就是基本技能的组合了

比如，

1. 先用Get或者Post方法登录然后取得Cookie再去访问页面得到信息，这种其它也是上面技能的组合，

这里需要以请求后做这样一步

[code=csharp]response.Cookies[/code]

这就是在你请求后可以得到当次Cookie的方法，直接取得返回给上一个方法使用就行了，上面我们都是自己构造的，在这里直接使用这个Cookie就可以了。

2.如果我们碰到需要登录而且还要验证证书的网页怎么办，其它这个也很简单把我们上面的方法综合一下就行了

如下代码这里我以Get为例子Post例子也是同样的方法

[C#] 纯文本查看 复制代码



        /// <summary>

        /// 传入URL返回网页的html代码

        /// </summary>

        /// <param name="Url">URL</param>

        /// <returns></returns>

        public string GetUrltoHtml(string Url)

        {

            StringBuilder content = new StringBuilder();



            try

            {

                //这一句一定要写在创建连接的前面。使用回调的方法进行证书验证。

                ServicePointManager.ServerCertificateValidationCallback = new System.Net.Security.RemoteCertificateValidationCallback(CheckValidationResult);



                // 与指定URL创建HTTP请求

                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);



                //创建证书文件

                X509Certificate objx509 = new X509Certificate(Application.StartupPath + "\\123.cer");



                //添加到请求里

                request.ClientCertificates.Add(objx509);



                CookieContainer objcok = new CookieContainer();

                objcok.Add(new Uri("http://www.cnblogs.com"), new Cookie("键", "值"));

                objcok.Add(new Uri("http://www.cnblogs.com"), new Cookie("键", "值"));

                objcok.Add(new Uri("http://www.cnblogs.com"), new Cookie("sidi_sessionid", "360A748941D055BEE8C960168C3D4233"));

                request.CookieContainer = objcok;



                // 获取对应HTTP请求的响应

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();

                // 获取响应流

                Stream responseStream = response.GetResponseStream();

                // 对接响应流(以"GBK"字符集)

                StreamReader sReader = new StreamReader(responseStream, Encoding.GetEncoding("utf-8"));

                // 开始读取数据

                Char[] sReaderBuffer = new Char[256];

                int count = sReader.Read(sReaderBuffer, 0, 256);

                while (count > 0)

                {

                    String tempStr = new String(sReaderBuffer, 0, count);

                    content.Append(tempStr);

                    count = sReader.Read(sReaderBuffer, 0, 256);

                }

                // 读取结束

                sReader.Close();

            }

            catch (Exception)

            {

                content = new StringBuilder("Runtime Error");

            }



            return content.ToString();



        }

3.如果我们碰到那种需要验证网页来源的方法应该怎么办呢，这种情况其它是有些程序员会想到你可能会使用程序，自动来获取网页信息，为了防止就使用页面来源来验证，就是说只要不是从他们所在页面或是域名过来的请求就不接受，有的是直接验证来源的IP，这些都可以使用下面一句来进入，这主要是这个地址是可以直接伪造的

[C#] 纯文本查看 复制代码

request.Referer = <a href="http://sufei.cnblogs.com">http://sufei.cnblogs.com</a>;

呵呵其它很简单因为这个地址可以直接修改。但是如果服务器上验证的是来源的URL那就完了，我们就得去修改数据包了，这个有点难度暂时不讨论。

4.提供一些与这个例子相配置的方法

过滤HTML标签的方法

[C#] 纯文本查看 复制代码



        /// <summary>

        /// 过滤html标签

        /// </summary>

        /// <param name="strHtml">html的内容</param>

        /// <returns></returns>

        public static string StripHTML(string stringToStrip)

        {

            // paring using RegEx           //

            stringToStrip = Regex.Replace(stringToStrip, "</p(?:\\s*)>(?:\\s*)<p(?:\\s*)>", "\n\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);

            stringToStrip = Regex.Replace(stringToStrip, "

", "\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);

            stringToStrip = Regex.Replace(stringToStrip, "\"", "''", RegexOptions.IgnoreCase | RegexOptions.Compiled);

            stringToStrip = StripHtmlXmlTags(stringToStrip);

            return stringToStrip;

        }



        private static string StripHtmlXmlTags(string content)

        {

            return Regex.Replace(content, "<[^>]+>", "", RegexOptions.IgnoreCase | RegexOptions.Compiled);

        }

URL转化的方法

[C#] 纯文本查看 复制代码



#region 转化 URL



        public static string URLDecode(string text)

        {

            return HttpUtility.UrlDecode(text, Encoding.Default);

        }



        public static string URLEncode(string text)

        {

            return HttpUtility.UrlEncode(text, Encoding.Default);

        }



        #endregion

提供一个实际例子，这个是使用IP138来查询手机号码归属地的方法，其它在我的上一次文章里都有，在这里我再放上来是方便大家阅读，这方面的技术其它研究起来很有意思，希望大家多提建议，我相信应该还有更多更好，更完善的方法，在这里给大家提供一个参考吧。感谢支持

上例子

[C#] 纯文本查看 复制代码



        /// <summary>

        /// 输入手机号码得到归属地信息

        /// </summary>

        /// <param name="number">手机号码</param>

        /// <returns>数组类型0为归属地，1卡类型，2区 号，3邮 编</returns>

        public static string[] getTelldate(string number)

        {

            try

            {

                string strSource = GetUrltoHtml("http://www.ip138.com:8080/search.asp?action=mobile&mobile=" + number.Trim());

                //归属地

                strSource = strSource.Substring(strSource.IndexOf(number));

                strSource = StripHTML(strSource);

                strSource = strSource.Replace("\r", "");

                strSource = strSource.Replace("\n", "");

                strSource = strSource.Replace("\t", "");

                strSource = strSource.Replace(" ", "");

                strSource = strSource.Replace("-->", "");

                string[] strnumber = strSource.Split(new string[] { "归属地", "卡类型", "邮 编", "区 号", "更详细", "卡号" }, StringSplitOptions.RemoveEmptyEntries);

                string[] strnumber1 = null;

                if (strnumber.Length > 4)

                {

                    strnumber1 = new string[] { strnumber[1].Trim(), strnumber[2].Trim(), strnumber[3].Trim(), strnumber[4].Trim() };

                }

                return strnumber1;

            }

            catch (Exception)

            {

                return null;

            }

        }

这个例子写是不怎么样，些地方是可以简化的，这个接口而且可以直接使用Xml得到，但我在这里的重点是让一些新手看看方法和思路风凉啊，呵呵

第四招，通过Socket访问

[C#] 纯文本查看 复制代码

      ///<summary>
      /// 请求的公共类用来向服务器发送请求
      ///</summary>
      ///<param name="strSMSRequest">发送请求的字符串</param>
      ///<returns>返回的是请求的信息</returns>
      private static string SMSrequest(string strSMSRequest)
      {
         byte[] data = new byte[1024];
         string stringData = null;
         IPHostEntry gist = Dns.GetHostByName("www.110.cn");
         IPAddress ip = gist.AddressList[0];
         //得到IP
         IPEndPoint ipEnd = new IPEndPoint(ip, 3121);
         //默认80端口号
         Socket socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
         //使用tcp协议 stream类型
         try
         {
            socket.Connect(ipEnd);
         }
         catch (SocketException ex)
         {
            return "Fail to connect server\r\n" + ex.ToString();
         }
         string path = strSMSRequest.ToString().Trim();
         StringBuilder buf = new StringBuilder();
         //buf.Append("GET ").Append(path).Append(" HTTP/1.0\r\n");
         //buf.Append("Content-Type: application/x-www-form-urlencoded\r\n");
         //buf.Append("\r\n");
         byte[] ms = System.Text.UTF8Encoding.UTF8.GetBytes(buf.ToString());
         //提交请求的信息
         socket.Send(ms);
         //接收返回
         string strSms = "";
         int recv = 0;
         do
         {
            recv = socket.Receive(data);
            stringData = Encoding.ASCII.GetString(data, 0, recv);
            //如果请求的页面meta中指定了页面的encoding为gb2312则需要使用对应的Encoding来对字节进行转换()
            strSms = strSms + stringData;
            //strSms += recv.ToString();
         }
         while (recv != 0);
         socket.Shutdown(SocketShutdown.Both);
         socket.Close();
         return strSms;
      }
作者: 蕙草儿 时间: 2012-7-31 18:20
嘻嘻，今天用了你这个C# HttpWebRequest 绝技里面的知识，给力，最近在干嘛啊！
作者: 站长苏飞 时间: 2012-8-1 09:29

蕙草儿发表于 2012-7-31 10:20
嘻嘻，今天用了你这个C# HttpWebRequest 绝技里面的知识，给力，最近在干嘛啊！

忙点私事吧。呵呵以后多上来支持
作者: 蕙草儿 时间: 2012-8-1 10:04
恩恩，肯定了，我看看你的私事不小啊，忙吧，愿一切顺利！！
作者: 听雨轩 时间: 2012-8-18 18:54
这个必须顶起
作者: cckdlp 时间: 2012-9-6 22:06
不知道对U盘式的证书有没有可能无视?
作者: 站长苏飞 时间: 2012-9-6 23:10

cckdlp 发表于 2012-9-6 22:06
不知道对U盘式的证书有没有可能无视?

其实那种在程序行业不叫证书，算是，认证程序或者加密程式。我个人感觉叫客户端程序更好，和我的不是一回事，所以不能无视
作者: 地久天长-孔德姣 时间: 2012-10-9 18:38
很给力！！！！！！！
作者: 枫子 时间: 2012-10-28 20:22
太牛逼了。。。@！
作者: 迷情 时间: 2012-11-8 09:21
来学习洗下啊
作者: 站长苏飞 时间: 2012-11-14 10:02

vdtz74 发表于 2012-11-14 09:53
经验之谈，谢谢楼主了，请继续努力

会的，呵呵，最近忙，忙完了就更新
作者: crecket 时间: 2012-12-8 09:19
新人刚加入，太经典了这里
作者: 幻雪丶逆时光 时间: 2012-12-18 14:54
我只会  cookie访问... 以前写网页游戏辅助学的.
后来分析数据分析的头疼放弃了
作者: Eagle 时间: 2013-1-10 10:56
go up
作者: Two_Steps_From_ 时间: 2013-1-29 02:10
额.....楼主的文章写得不错....让我豁然开朗......
只是,能否请楼主详细讲解一下网页证书的原理......以及回调函数的使用理由.......
作者: 站长苏飞 时间: 2013-1-29 10:07

Two_Steps_From_ 发表于 2013-1-29 02:10
额.....楼主的文章写得不错....让我豁然开朗......
只是,能否请楼主详细讲解一下网页证书的原理......以及 ...

回调主要是验证证书，具体流程这个其实就是对网站访问的权限进行一个证书验证，或者说是一个加密解密的过程，只不过这个过程是用证书来完成的。具体的百度的，呵呵我知道的也有限。
作者: boys1999 时间: 2013-2-2 16:48
终于找到，新手一直想找这样的教程，感谢
作者: 无法浏览网页 时间: 2013-2-21 16:31
看样子我是群里面的落后分子~~！  文章很不错~强烈支持！
作者: 站长苏飞 时间: 2013-2-21 16:44

无法浏览网页发表于 2013-2-21 16:31
看样子我是群里面的落后分子~~！  文章很不错~强烈支持！

从现在开始关注论坛，呵呵
作者: 无法浏览网页 时间: 2013-2-22 10:07

无法浏览网页发表于 2013-2-21 16:31
看样子我是群里面的落后分子~~！  文章很不错~强烈支持！

咱们群咱们论坛氛围很舒服~我很喜欢！
作者: 铄崇惕 时间: 2013-4-11 22:01
不错哦！！！
作者: dianying360 时间: 2013-4-19 22:39
文章写的太好了，今天搞一个抓JSON内容的。竟然要传几个cookies信息才能抓到，那个网页根本不需要登录。非常感谢楼主帮了我的大忙，真的太感谢你啦！
作者: cvbkf 时间: 2013-4-23 08:28
真的牛，双手赞成，谢谢了，我
作者: lwwzblq 时间: 2013-4-24 08:29
永远支持楼主，继续发好贴

作者: gzdanny 时间: 2013-5-2 23:30
一直在用codeproject上的类，今天拜读版主的文章，立刻注册下载试用啊！
作者: azon 时间: 2013-6-15 21:49
学习了。谢谢!
作者: 吉木 时间: 2013-6-18 03:36
好东西  学习深造  这水平我要多加把力了
作者: 一座城池 时间: 2013-7-17 11:05
膜拜中……好东东！收藏了。
作者: sandy1231 时间: 2013-7-21 11:52
还是不太明白这些cookie和什么证书的原理，证书是验证码吗？有没扫盲贴呀
作者: 站长苏飞 时间: 2013-7-21 16:43

sandy1231 发表于 2013-7-21 11:52
还是不太明白这些cookie和什么证书的原理，证书是验证码吗？有没扫盲贴呀

http://www.sufeinet.com/thread-4270-1-1.html

作者: maojunqiang 时间: 2013-8-16 14:23
学习了，我作的项目正在这种功能
作者: oliverary 时间: 2013-8-17 21:53
很经典
作者: 我爱苏飞 时间: 2013-9-22 09:17
膜拜中……
作者: 夜并不黑暗 时间: 2013-10-17 14:14
写的很好，学习到了
作者: wukon 时间: 2013-11-15 08:39
好东西，学习了
作者: 小龙 时间: 2013-11-22 16:32
学到很水皮滴来JOIN IN
作者: danedai 时间: 2013-11-30 17:37
膜拜中……

看了你的文章，让我受益匪浅啊。。。。
作者: Try_your_best_! 时间: 2014-3-2 15:01
先顶一下
作者: love'点点 时间: 2014-3-31 18:04
受教了，学习中……
作者: 风动鸣 时间: 2014-4-9 18:26
受教了，学习中……
作者: usemysql 时间: 2014-4-9 23:15
加油，我们都看好你哦。
作者: cc1027cc 时间: 2014-5-8 16:59
做记号。。回来看非常感谢你帮了我的大忙，真的太感谢你啦！
作者: cenjoy 时间: 2014-5-10 16:09
膜拜中……
作者: l297769461 时间: 2014-5-14 09:29
需要证书登陆，有例子么呀苏飞，新手不知道咋用啊。。。
作者: 站长苏飞 时间: 2014-5-14 09:50

l297769461 发表于 2014-5-14 09:29
需要证书登陆，有例子么呀苏飞，新手不知道咋用啊。。。

http://so.sufeinet.com/cse/searc ... &q=%D6%A4%CA%E9
作者: l297769461 时间: 2014-5-14 10:08

站长苏飞发表于 2014-5-14 09:50
http://so.sufeinet.com/cse/search?s=15675680641020384311&q=%D6%A4%CA%E9

谢谢苏飞这么快的回应！
但是，在穿件证书的保存，“未找到指定文件”，请问苏飞，还需要自己写个证书文件吗？这可怎么写呀？
谢谢谢谢谢。。。。

《下面是代码。。。》
// 这一句一定要写在创建连接的前面。使用回调的方法进行证书验证。
         ServicePointManager.ServerCertificateValidationCallback = new System.Net.Security.RemoteCertificateValidationCallback(CheckValidationResult);
         Encoding encoding = Encoding.Default;
         HttpWebRequest request = (HttpWebRequest)WebRequest.Create("https://account.xiaomi.com/pass/serviceLoginAuth2");

         //创建证书文件
         X509Certificate objx509 = new X509Certificate(Application.StartupPath + "\\123.cer","123");
         //
         HttpHelper http = new HttpHelper();

         HttpItem item = new HttpItem()
            {
               ...........//略
            };

         //证书加载
         item.ClentCertificates.Add(objx509);

         HttpResult result = http.GetHtml(item);
         string html = result.Html;
         string cookie = result.Cookie;
作者: l297769461 时间: 2014-5-14 10:09

站长苏飞发表于 2014-5-14 09:50
http://so.sufeinet.com/cse/search?s=15675680641020384311&q=%D6%A4%CA%E9

《不好意思，打快了》
在穿件证书的保存 == 在创建证书报错
作者: 站长苏飞 时间: 2014-5-14 10:49

l297769461 发表于 2014-5-14 10:09
《不好意思，打快了》
在穿件证书的保存 == 在创建证书报错

http://www.sufeinet.com/thread-2380-1-1.html
作者: foxred66 时间: 2014-5-14 23:24
老大讲了GET和POST，那一般是用GET方便还是用POST方便？
作者: 站长苏飞 时间: 2014-5-15 08:27

foxred66 发表于 2014-5-14 23:24
老大讲了GET和POST，那一般是用GET方便还是用POST方便？

没什么差别，都差不多，关键不于是什么方便，而在于服务端需要什么样的方式，Get长度有限制，Post会好一些。
作者: 无奇龙 时间: 2014-6-2 17:06
收藏这个一下
作者: 学习抓包的 时间: 2014-6-3 17:17
真是难得给力的帖子啊，强烈支持楼主。
作者: lusile 时间: 2014-6-11 23:58
大牛，能不能把电信的自助服务的停复机功能实现啊？来挑战一下看看？
作者: dddw88 时间: 2014-7-3 19:37
受教了，学习中……
作者: 乌里扬诺夫斯 时间: 2014-7-28 09:43
不错，支持
作者: 天天教程网 时间: 2014-7-28 12:24

[C#] 纯文本查看 复制代码

      public double SyAmount { get; set; }

      public double DpAmount { get; set; }

      public int Qty { get; set; }

测试下添加代码文字
作者: oxoxzhu 时间: 2014-9-2 23:11
苏飞老大, 有个问题, 我想抓的网页是有js的, 在浏览器中是加载完一部分, 然后js再加载关键的一部分, 直接看html无法看到最后js加载, 我只能通过webbrowser延迟几秒再读取, 用htmlhelper可以实现吗??
作者: 站长苏飞 时间: 2014-9-3 08:11

oxoxzhu 发表于 2014-9-2 23:11
苏飞老大, 有个问题, 我想抓的网页是有js的, 在浏览器中是加载完一部分, 然后js再加载关键的一部分, 直接看 ...

能，带Cookie去单独访问这个Js，应该是Ajax的吧，你去发个帖子里，这里不适合讨论
作者: ching126 时间: 2014-9-4 12:36
强烈支持楼主ing……
作者: mqtheone 时间: 2014-9-9 11:13
我想问一下第三种  方案       根据URL地址获取需要登录才能访问的网页信息

是不是每次先用账号登陆一下然后取到用户色浏览器的 sessionid 的值然后再用这个post 或者get 方法  获取页面的内容吗？  谢谢！
作者: 站长苏飞 时间: 2014-9-9 11:15

mqtheone 发表于 2014-9-9 11:13
我想问一下第三种  方案       根据URL地址获取需要登录才能访问的网页信息

是的，或者是你实现自动登录功能，可以直接返回登录的Cookie值。
作者: mqtheone 时间: 2014-9-9 11:18
您的httphelper  方案是否支持用户名和密码输入  自动登陆  抓取？
作者: mqtheone 时间: 2014-9-9 11:19

站长苏飞发表于 2014-9-9 11:15
是的，或者是你实现自动登录功能，可以直接返回登录的Cookie值。

您的httphelper  方案是否支持用户名和密码输入  自动登陆  抓取？
作者: 站长苏飞 时间: 2014-9-9 11:20

mqtheone 发表于 2014-9-9 11:18
您的httphelper  方案是否支持用户名和密码输入  自动登陆  抓取？

这个你看Httphelper教程吧，这是最基础的，肯定支持啊，Httphelper是模拟Http请求的，
作者: mqtheone 时间: 2014-9-9 11:21

站长苏飞发表于 2014-9-9 11:20
这个你看Httphelper教程吧，这是最基础的，肯定支持啊，Httphelper是模拟Http请求的，

好的  谢谢！
作者: ching126 时间: 2014-9-9 11:32
强烈支持楼主ing……
作者: kildare 时间: 2014-9-16 18:38
https://wx.qq.com/cgi-bin/mmwebwx-bin/webwxinit
这一链接Httphelper能获取到结果吗？
作者: kildare 时间: 2014-9-16 18:41
https://wx.qq.com/cgi-bin/mmwebwx-bin/webwxinit
这一链接能不能获取到？
作者: kildare 时间: 2014-9-16 22:18
httpitem.Accept = application/json模式下的postdata怎么构建？
作者: teacupmadman 时间: 2014-10-14 14:13
这个很给力...看完试试真的不错
作者: wenr2009 时间: 2015-2-2 13:10
谢谢，好东西啊
作者: jike06 时间: 2015-2-28 14:40
这个代码里面的123.cer这个怎么弄呀
作者: mabocfd 时间: 2015-3-5 00:00
用HttpwebRequest后的，(HttpWebResponse)request.GetResponse()，出现超时问题，怎么处理呢，站长，能给个建议吗，主要是在连续几次后，就出现超时的问题了，抓取的页面因为有验证码，所以设定了
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)";
另外也按照网上的设定了：  System.Net.ServicePointManager.DefaultConnectionLimit = 200;，还是出现同样的问题

作者: mxat 时间: 2015-3-16 01:54

作者: acmluoyong 时间: 2015-3-24 09:54
最后面的socket发送请求会不会特别麻烦？？
作者: 天然呆的汤汤 时间: 2015-4-23 11:27
苏站长，我用httpwebrequest和httpwebresponse做了新浪微博登陆，为什么登陆成功后，只显示15条，其他的加载不出来呢，老是正在加载中
作者: 站长苏飞 时间: 2015-4-23 12:02

天然呆的汤汤发表于 2015-4-23 11:27
苏站长，我用httpwebrequest和httpwebresponse做了新浪微博登陆，为什么登陆成功后，只显示15条，其他的加 ...

分页了吧，要重新调取
作者: 天然呆的汤汤 时间: 2015-4-23 12:06

站长苏飞发表于 2015-4-23 12:02
分页了吧，要重新调取

额，不太懂，我只是模拟登陆它，还要给它些分页吗
作者: 站长苏飞 时间: 2015-4-23 13:23

天然呆的汤汤发表于 2015-4-23 12:06
额，不太懂，我只是模拟登陆它，还要给它些分页吗

如果他们是分页加载的，你肯定得一页，一页的调取
作者: 天然呆的汤汤 时间: 2015-4-24 09:05

站长苏飞发表于 2015-4-23 13:23
如果他们是分页加载的，你肯定得一页，一页的调取

恩恩，但是貌似我第一页都加载不全，只加载15条
作者: 站长苏飞 时间: 2015-4-24 09:50

天然呆的汤汤发表于 2015-4-24 09:05
恩恩，但是貌似我第一页都加载不全，只加载15条

看看第二页是不是从第16条加载的，如果是就循环取吧，应该不会只加载一部分，如果限制的话应该是全部限制的。

作者: 天然呆的汤汤 时间: 2015-4-24 11:14

站长苏飞发表于 2015-4-24 09:50
看看第二页是不是从第16条加载的，如果是就循环取吧，应该不会只加载一部分，如果限制的话应该是全部限制 ...

恩恩，好的，谢了哈，嘿嘿
作者: 天然呆的汤汤 时间: 2015-4-24 11:22

站长苏飞发表于 2015-4-24 09:50
看看第二页是不是从第16条加载的，如果是就循环取吧，应该不会只加载一部分，如果限制的话应该是全部限制 ...

不是，第二页不是从16条开始加载的，郁闷，是不是还有我在后台写滚动加载呀
作者: 站长苏飞 时间: 2015-4-24 11:23

天然呆的汤汤发表于 2015-4-24 11:14
恩恩，好的，谢了哈，嘿嘿

发个帖子出来，贴下代码看看
作者: 天然呆的汤汤 时间: 2015-4-24 14:06

站长苏飞发表于 2015-4-24 11:23
发个帖子出来，贴下代码看看

恩恩，好的
作者: pyengwoei 时间: 2015-4-28 17:07
没有详细的HttpHelper 使用教程吗
作者: psuaije 时间: 2015-6-15 09:22
请问我用论坛里的HTTP类访问网站获取网页代码，可为什么网站后台没有记录用代码访问网站的访问量。
作者: wpp1993 时间: 2015-12-3 09:35
干的漂亮了
作者: wpp1993 时间: 2015-12-3 10:15
苏飞大牛，是这样的。我正在学习做网络信息采集。之中遇到了一个问题，就是某一个网站需要验证cookie，然后cookie获取成功，保存。之后想模拟登录以后的某个post请求。却不想。post返回值一直是空的。
能解答一下吗。万分感谢
作者: rose520rain 时间: 2015-12-8 12:33
来学习下，受教了～～～
作者: imadmin 时间: 2015-12-23 20:30
求直接请求指定url cookie的http请求方法
作者: zjlme2004 时间: 2015-12-24 11:18
强烈支持楼主ing……
作者: liquid 时间: 2016-1-27 11:32
教程写的很详细，感谢站长的分享，学习了很多知识
作者: zdking 时间: 2016-2-10 15:13
牛逼坏了。直接学习了。膜拜中
作者: icysky2016 时间: 2016-10-9 17:10
好东西，学习了，回去试验一下
作者: Mr.Fang 时间: 2017-10-5 23:16
强烈支持楼主ing……
作者: Mr.Fang 时间: 2017-10-5 23:16
我只是路过打酱油的。
作者: Mr.Fang 时间: 2017-10-5 23:19
楼主加油，我们都看好你哦。
作者: cmj115 时间: 2021-6-22 22:58
这个必须顶起

欢迎光临苏飞论坛 (http://www.sufeinet.com/) Powered by Discuz! X3.4