精益求精

1、环境准备1.1 本期引言    前三期分别介绍了Nutch与Solr在Linux上面的安装，并做了简单的应用，这一期从开发的角度进行，因为我们日常最熟悉的开发环境是Windows，所以本期详细介绍Windows平台的Nutch二次开发所需要进行的配置安装。当我们开发好之后，最后在部署到Linux环境中。    为了方便以后Nutch开发以及软件安装的管理，我们对开发环境

nutch 编辑Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。中文名nutch本    质开源Java 实现的搜索引擎包    括全文搜索和Web爬虫最新版本version v2.3类    型开放源代码提    供运行自己的搜索引擎所需

1、Solr简介　　Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。　　Solr最初由CNET Networks开发，2006 年初，Apache Software Foundatio

1、相关资料官方文档：http://htmlparser.sourceforge.net/samples.htmlAPI：http://htmlparser.sourceforge.net/javadoc/index.html其它HTML 解释器：jsoup等。由于HtmlParser自2006年以后就再没更新，目前很多人推荐使用jsoup代替它。2、使

使用 HttpClient 和 HtmlParser 实现简易爬虫这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get 和 Post 请求操作，构建强大的网络应用程序。

一、jsoup简介               jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup的主要功能如下：        1. 从一个URL，文件或字符串中解析HTML；        2. 使用DOM或CSS选择器来查找、取出数

1、Nutch简介　　Nutch是一个由Java实现的，开放源代码（open-source）的web搜索引擎。主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行查询的一套工具。其底层使用了Hadoop来做分布式计算与存储，索引使用了Solr分布式索引框架来做，Solr是一个开源的全文索引框架，从Nutch 1.3开始，其集成了这个索引架构。　　

说到爬虫，使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能，但是对于一些比较高级的功能，比如重定向的处理，HTML标记的去除，仅仅使用URLConnection还是不够的。在这里我们可以使用HttpClient这个第三方jar包。接下来我们使用HttpClient简单的写一个爬去百度的Demo：import java.io.FileOutputStrea

转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。技术上使用Jsoup方便页面的解析，当然Jsoup很方

部分内容转自：http://blog.csdn.net/hguisu/article/details/8024799一、 开源项目apache lucene是apache下一个著名的开源搜索引擎内核，基于Java技术，处理索引，拼写检查，点击高亮和其他分析，分词等技术。nutch和solr原来都是lucene下的子项目。但后来nutch独立成为独立项目。nutc

Nutch命令详解Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。要看Nutch的命令说明，可执行"Nutch"命令。      下面是单个命令的说明：crawlcrawl是"org.apache.nutch.crawl.Crawl"的别称，它是一个完整的爬取和

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据jsoup的主要功能如下：从一个URL，文件或字符串中解析HTML； 使用DOM或CSS选择器来查找、取出数据； 可操作HTML元素、属性、文本； jsoup解析Jsoup提供

网络爬虫，也叫网络蜘蛛，有的项目也把它称作“walker”。维基百科所给的定义是“一种系统地扫描互联网，以获取索引为目的的网络程序”。网络上有很多关于网络爬虫的开源项目，其中比较有名的是Heritrix和Apache Nutch。        有时需要在网上搜集信息，如果需要搜集的是获取方法单一而人工搜集费时费力的信息，比如统计一个网站每个月发了多少篇文章、用了哪些标签，为自然语言处

扩展jQuery-easyui中的tab组件说扩展，我觉得有点过了，只是加入了右击TAB选项卡时显示关闭的上下文菜单，先看下效果图： 具体实现代码：右键菜单 HTML:　　div id="mm" class="easyui-menu" style="width:150px;">        div id="mm-tabclose">关闭di

div与span大家在初学div+css布局时,有很多困惑,在div与span的使用过程没觉得有一定的”章法”,觉得两个区别不大,在w3c的关于div和span的定义:div作为分割文档结构自然使它最官方的语义，但是这样的官方语义太让人迷惑，大的结构还好，但是小的地方到底是用div还是用span仍然让人迷惑。其实恰恰是《Microsoft MSDN Library》里面的定义让人豁然开

这个系列的第一部分介绍了Javascript模块的基本写法，今天介绍如何规范地使用模块。（接上文）七、模块的规范先想一想，为什么模块很重要？因为有了模块，我们就可以更方便地使用别人的代码，想要什么功能，就加载什么模块。但是，这样做有一个前提，那就是大家必须以同样的方式编写模块，否则你有你的写法，我有我的写法，岂不是乱了套！考虑到Javascript模块现在还没有官方规范，这

function isphone1(inpurStr){   var partten = /^0(([1,2]\d)|([3-9]\d{2}))\d{7,8}$/;   if(partten.test(inpurStr)){      //alert('是电话号码');       return true;   }else{       

function isPersonNumber(str){        if(""==str)    {             return false;        }        if(str.length!=15&&str.length!=18)    {//身份证长度不正确            return fals

//判断字符串是否为空function isNull(variable){if (variable !== null || variable !== undefined || variable !== '') { if (variable.replace(/(^s*)|(s*$)/g, "").length >0){return false} }return true;

function checkMobile（mobile）{   if(isNull(mobile)){         showDialog("请输入手机号码！");//字符串为空return;   }   if(isPhone(mobile)){//是否是手机号码     doAction();//做具体的事务处理  }else{     

//判断是否是手机号码function isMobile(mobile){      var regMobile = /^1[3|4|5|6|7|8|9][0-9]{1}[0-9]{8}$/;       if(!mobile || !regMobile.test(mobile)){             //请输入正确的手机号！             return f

JS跳转页面参考代码 第一种：  window.location.href="login.jsp?backurl="+window.location.href;  第二种：  alert("返回"); window.history.back(-1);  第三种：  window.navigate("top.jsp");  第四种：

js 中可以直接通过 EL 表达试接收，一定要加引号分两种情况1. JS代码在JSP页面中, 这可以直接使用EL表达式. 如:[html] view plaincopyprint?script type="text/javascript">      $(function () {     

$("#tel").html($("#tel").substring(0,3)+"****"+$("#tel").substring(8,11));

JavaScript中的setInterval用法JavaScript中的setInterval用法setInterval动作的作用是在播放动画的时，每隔一定时间就调用函数，方法或对象。可以使用本动作更新来自数据库的变量或更新时间显示。setInterval动作的语法格式如下：setInterval(function,interval[,arg1,arg2,......argn])

JS中的phototype是JS中比较难理解的一个部分 本文基于下面几个知识点: 1 原型法设计模式在.Net中可以使用clone()来实现原型法原型法的主要思想是，现在有1个类A,我想要创建一个类B,这个类是以A为原型的,并且能进行扩展。我们称B的原型为A。 2 javascript的方法可以分为三类：a 类方法b 对象方法c 原型方法例子：

函数：原型每一个构造函数都有一个属性叫做原型(prototype,下面都不再翻译，使用其原文)。这个属性非常有用：为一个特定类声明通用的变量或者函数。prototype的定义你不需要显式地声明一个prototype属性，因为在每一个构造函数中都有它的存在。你可以看看下面的例子：Example PT1CODE:function Test(){}alert(Test

网页越来越像桌面程序，需要一个团队分工协作、进度管理、单元测试等等......开发者不得不使用软件工程的方法，管理网页的业务逻辑。Javascript模块化编程，已经成为一个迫切的需求。理想情况下，开发者只需要实现核心的业务逻辑，其他都可以加载别人已经写好的模块。但是，Javascript不是一种模块化编程语言，它不支持"类"（class），更遑论"模块"（module）了。（正在制定中的

这个系列的第一部分和第二部分，介绍了Javascript模块原型和理论概念，今天介绍如何将它们用于实战。我采用的是一个非常流行的库require.js。一、为什么要用require.js？最早的时候，所有Javascript代码都写在一个文件里面，只要加载这一个文件就够了。后来，代码越来越多，一个文件不够了，必须分成多个文件，依次加载。下面的网页代码，相信很多人都见过。　　

/*判断输入是否为合法的手机号码*/function isphone2(inputString){             var partten = /^1[3,5,8]\d{9}$/;   var fl=false;    if(partten.test(inputString)){          //alert('是手机号码');