现在的位置: 首页 > 综合 > 正文

ASP.net从其他网站抓取内容并截取有用信息

2013年08月10日 ⁄ 综合 ⁄ 共 831字 ⁄ 字号 评论关闭

ASP.net从其他网站抓取内容并截取有用信息,1. 需要引用的类库

1 using System.Net; 

2 using System.IO; 

3 using System.Text; 

4 using System.Text.RegularExpressions;

2. 获取其他网站网页内容的关键代码

1 WebRequest request = WebRequest.Create("/"); 

2 WebResponse response = request.GetResponse(); 

3 StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")); 

4 //reader.ReadToEnd() 表示取得网页的源码 

5 TextBox1.Text = reader.ReadToEnd();

 

3. 获取其他网站网页源码之后通过{正则表达式}帅选有用信息

1 MatchCollection TitleMatchs = Regex.Matches(reader.ReadToEnd(), @"发表评论</a></p></div><div class=""body"">([\s\S]*?)</div><div class=""share"">", RegexOptions.IgnoreCase | RegexOptions.Multiline); 

2 foreach (Match NextMatch in TitleMatchs) 

3 { 

4     s += "<br>" + NextMatch.Groups[1].Value; 

5     TextBox1.Text += "\n" + NextMatch.Groups[1].Value; 

6 }

RegexOptions.IgnoreCase: 表示不区分大小写, 一般网站源码大小写不敏感所以取消之.

RegexOptions.Multiline: 表示对多行内容进行帅选.

抱歉!评论已关闭.