ASP.NET 网页抓取-----抓取超链接

 这里通过一个TextBox接收输入的网址，可以抓取出网页所有的超链接，主要代码如下： string http = TxtHttp.Text.ToString();//目标网页网址 System.Net.WebRequest request = System.Net.WebRequest.Create(http); System.IO.StreamReader sr = new System.IO.StreamReader(request.GetResponse().GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312")); ArrayList list = new ArrayList(); if (sr != null) { string html = sr.ReadToEnd(); // 关键是正则，要找到目标网页源码的规律，总结出正则的写法 // 各个大的搜索引擎派出的搜索机器人就是通过这种方式来抓取网页快照 System.Text.RegularExpressions.MatchCollection mc = System.Text.RegularExpressions.Regex.Matches(html, @"<a/s+href/s*=/s*[""|']?(?<uri>[^""' ]*)[""|']?[^<>]*>/s*(<[^<>]+>)*(?<title>[^<>]*)(<[^<>]+>)*/s*</a>"); for (int i = 0; i < mc.Count; i++) { list.Add(mc[i].Value.ToString());//将找到的匹配的项添加到ArrayList } foreach (string str in list) { Response.Write(str + "<br/>"); } sr.Close(); }

我个人认为这里最主要的是正则表达式，不同的正则表达式可以抓取到不同的内容。