C#采集器示例含翻页功能

最新推荐文章于 2022-06-19 17:06:48 发布
最新推荐文章于 2022-06-19 17:06:48 发布
阅读量1.1k 收藏
点赞数
分类专栏： asp.net
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaobao110/article/details/8558698
版权

最近做了一个采集翻页的小东东 ，使用c#写的，功能比较简单，主要就是做了个采集翻页的效果，这个是datagrid实现的翻页，datatgrid采用post提交，很恶心的，所谓魔高一尺道高一丈，呵呵，经过研究有破敌之术，直接上图吧，可以将数据导出到txt excle等

要采集的数据，如图所示：

采集界面显示如图

数据导出结果

代码就比较单间了，主要是模拟点击本来打算是用bs的异步采集呢，可以翻页较为困难，就采用cs的了，代码就不在贴了，就用了浏览器控件，也比较简单

zhaobao110
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
简单的网页内容采集器(C#)
03-31
预览图片见：http://www.cnblogs.com/xxpyeippx/archive/2008/03/31/1131211.html运行环境windows nt/xp/2003 or above.net Framework 1.1SqlServer 2000 开发环境 VS 2003目的学习了网络编程，总要做点什么东西才好。于是想到要做一个网页内容采集器。作者主页： http://www.fltek.com.cn使用方式测试数据采用自cnBlog。见下图用户首先填写“起始网页”，即从哪一页开始采集。然后填写数据库连接字符串，这里是定义了采集到的数据插入到哪个数据库，后面选择表名，不必说了。网页编码，不出意外的话，中国大陆都可以采用UTF-8爬取文件名的正则：呵呵 这个工具明显是给编程人员用的。正则都要直接填写啦。比如说cnblogs的都是数字的，所以写了\d建表帮助：用户指定要建立几个varchar型的，几个text型的，主要是放短数据和长数据啊。如果你的表里本来就有列，那就免啦。程序里面没有做验证哦。网页设置里面：采集内容前后标记：比如说都有 xxx，如果我要采集xxx就写“到”，意思，当然就是到之间的内容啦。后面的几个文本框是显示内容的。点击“获取URL”可以查看它捕获的Url对不对的。点击“采集”，可以把采集内容放到数据库，然后就用 Insert xx （） （select xx） 可以直接插入目标数据了。程序代码量非常小（也非常简陋），需要的改动一下啦。不足 应用到了正则表达式、网络编程由于是最简单的东西，所以没有用多线程，没有用其他的优化方法，不支持分页。测试了一下，获取38条数据，用了700M内存啊。。。。如果有用的人 ，可以改一下使用啦。方便程序员用，免写很多代码。Surance Yin@ Surance Center 转载请注明出处
Ｃ＃采集器
weixin_30877227的博客
03-07 68
http://www.cnblogs.com/duoe/archive/2007/12/16/996664.html 转载于:https://www.cnblogs.com/achun/archive/2008/03/07/1095420.html
C# 信息采集器
Welcome to Leonard's weblog!
09-15 767
<br />　　用C#做信息采集器还是比较简单的。用WebRequest抓取指定网页的内容，然后用正则表达式匹配出所需要的内容就可以了。 还可以将抓取规则抽象出来，对不同网页适用不同的规则，提取需要的内容。<br />　　这里以抓取CSDN Asp.Net小论坛http://forum.csdn.net/SList/ASPDotNET/ 为例做个简单的采集器。运行截图如下：<br /><br />代码全文：http://www.our-code.com/news/2010913/n5499115.html<
自己用C#写一个采集器、蜘蛛
weixin_30549175的博客
11-19 146
using System; using System.Collections.Generic; using System.Text; using System.Net; using System.Web; using System.IO; using System.Collections; using System.Text.RegularExpres...
C#可配置规则采集器
09-22
1、可通过配置，保存采集规则。 2、可通过采集规则，进行数据采集。 3、可分页，分关键字，进行采集。 4、可保存数据至数据库，文本中。 详见博客：http://www.cnblogs.com/yangda/p/4828061.html
C#结合数据库的数据采集器示例
09-04
总结来说，C#结合数据库的数据采集器示例展示了如何使用C#编程语言和.NET Framework中的数据访问组件与SQL Server数据库进行交互，实现数据的采集、存储和管理。通过理解这些关键知识点，开发者可以构建自己的数据...
中控指纹采集器C#示例
08-27
总之，中控指纹采集器C#示例代码是一个展示如何在C#环境中实现指纹识别功能的应用实例，对于想要在自己的项目中集成类似功能的开发者来说，这是一个很好的学习资源。通过理解和扩展这个示例，开发者可以创建更复杂、...
C#实现的简单随机数产生器功能示例
08-29
C#实现的简单随机数产生器功能示例 本文主要介绍了C#实现的简单随机数产生器功能，涉及C#简单界面布局、事件响应及随机数生成相关操作技巧。下面将对本文的标题、描述、标签和部分内容进行详细的解释和分析。 标题...
C#实现的滚动网页截图功能示例
01-01
本文实例讲述了C#实现的滚动网页截图功能。分享给大家供大家参考，具体如下： using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using ...
自己用C#写一个采集器、蜘蛛(转)
uwenKing
10-08 428
转：http://www.svnhost.cn/Article/Detail-116.shtml using System;using System.Collections.Generic;using System.Text;using System.Net;using System.Web;using System.IO;using System.Collections;using Sy
C#博客园多线程蜘蛛模式文章采集器
06-24
C#博客园多线程蜘蛛模式文章采集器，能够自动采集文章保存到本地html，可以正常流量，可以设置线程数量
c#写的非常完整的网络爬虫程序
11-03
c#写的非常完整的网络爬虫程序 本人收藏了3年的资源 现放出 都是总结了很多系统 软件项目实施过程中的经验的 慢慢积累的
C#多线程网页采集器(Spider)
dongxinxi的专栏
09-05 7073
这是一个C#语言编写的多线程网页自动采集程序。下面展示了主要类的代码。完整代码请点此下载。 转自：http://www.cnblogs.com/closetome/articles/1711764.html /** 软件工程过程实践: ------------------
【C#】自动文件采集器并进行持久化
liudan319的专栏
06-19 335
C#应用软件
爬虫中实现翻页（队列实现）
Tramp_fish的博客
05-15 630
在爬取列表页时，通常我们需要翻页，最简单的翻页实现是递归调用，伪代码如下 def crawl_list(url): next_url = crawl(url) #process html data ,extract next url if next_url is not None: crawl_list(next_url) 此种方式存在的问题是： 1.递归次数过多，会抛出RuntimeError: maximum recursion depth excee...
c# 网页采集类 （方法）
xi_meng的专栏
07-26 808
class WebCollection { /// /// 获取列表页所有URL链接地址 /// /// 列表页的URL /// 列表页开始的网页源代码 /// 列表页结束的网页源代码 /// 链接开始的网页源代码 /// 链接结束的网页源代码
c#关于网页内容抓取，简单爬虫的实现。（包括动态，静态的）
weixin_30807779的博客
02-29 1049
整理一下最近做的几个项目。总结几个用到的知识点和关键部分代码，以供大家学习交流。1、爬虫抓取网页内容信息。可以用System.Net.WebRequest、webclient等类来处理。2、对于某些动态网页，生成页面信心由javascript动态生成链接信息的。也可以进行分析传值的方式，在post的时候将参数带进去（大多数网站的参数是有规则的）。实在不行也可以使用webbrowser控件，模拟点击...
C#实现万年历查询与农历编程示例
在C#编程中，实现一个功能强大的万年历示例是实用且常见的需求，尤其是在处理与农历相关的日期计算和节日查询时。本文档提供了一个关于如何在C#中构建一个支持中国农历的类，名为`ChineseCalendar`，它覆盖了从1900...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值