ASP.NET实现根据URL获取网站完整的页面内容

youhaoxinqin

今天主要是来说一下ASP.NET实现根据URL获取网站完整的页面内容，这种实现也可以用于实现获取网站的缩略图，获取网站的源码，获取网站的编码和Title等标签纸，本文只写出获得网站完整的内容，具体的大家可以自己扩展一下，我们可以进行深入交流，呵呵呵。
这个实现主要是用了ASP.NET的文件流形式实现，本文以获取http://www.zzdaohang.cn/ 的网站内容为例，进行说明。
写个测试页面，如下图：

1. //获取相关编码，这里建议使用GB2312
   
2.         Encoding code = Encoding.GetEncoding("gb2312");
   
3.         StreamReader sr = null;
   
4.         StreamWriter sw = null;
   
5.         string str = null;
   
6. 
   
7.         //根据URL读取远程路径
   
8.         WebRequest temp = WebRequest.Create(txtUrl.Text.Trim());
   
9.         WebResponse myTemp = temp.GetResponse();
   
10.         sr = new StreamReader(myTemp.GetResponseStream(), code);
    
11.         try
    
12.         {
    
13.             sr = new StreamReader(myTemp.GetResponseStream(), code);
    
14.             str = sr.ReadToEnd();
    
15.         }
    
16.         catch (Exception ex)
    
17.         {
    
18.             throw ex;
    
19.         }
    
20.         finally
    
21.         {
    
22.             sr.Close();
    
23.         }
    
24.         //这里是按时间随机生成文件名称，当然也可以自己定义
    
25.         string fileName = DateTime.Now.ToString("yyyyMMddHHmmss") + ".htm";
    
26.         //写入，这里注意要写入的文件可以不存在，但是文件夹一定要存在
    
27.         try
    
28.         {
    
29.             sw = new StreamWriter(Server.MapPath("url/") + fileName, false, code);
    
30.             sw.Write(str);
    
31.             sw.Flush();
    
32.         }
    
33.         catch (Exception ex)
    
34.         {
    
35.             throw ex;
    
36.         }
    
37.         finally
    
38.         {
    
39.             sw.Close();
    
40.             Response.Write("测试结果！文件已经生成，并保存在url文件夹下！访问这个链接试试：<a href=url/" + fileName + " target=_blank>" + fileName + "</a>。");
    
41.         }

复制代码

实现的结果进行访问测试，我截了图说明一下，大家可以看看，真的很完美，你也可以测试一下百度网址试一下，呵呵呵。站长站的首页被完整的抓去了过来，效果可以吧。


//*********代码创 建 人：youhaoxinqin                                ********//

//*********联 系  方式：QQ:417643479 邮箱:youhaoxinqin@sina.com     ********//

站长苏飞

支持一下，另外介绍一下文章

http://www.sufeinet.com/thread-3-1-1.html

c# HttpWebRequest与HttpWebResponse 绝技