- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 码云私人定制年度报告（含Github哦）
一年过去了，我很怀念它。在过去的一年中，你写了多少行代码？删除了多少行代码？提交了多少次commit？在issue区参与了多少次讨论？关注了多少个大佬？收获了多少个支持者？创建了多少个仓库？参加了多少个组织？让我来帮助你回忆～
2022-01-01 16:45:08
298
原创 基于Node的爬虫框架Tai-Spider
大家都知道基于Python的爬虫框架Scrapy，Tai-Spider就是Scrapy基于Node的同人作品，下面我们就来看看这个框架有哪些能力吧。根据官方介绍，Tai-Spider是基于node-crawler进行改造，并使用了和scrapy类似的APIs。Tai Spider is grown from node-crawler, and has similar APIs with scrapy.官方提供了爬虫示例项目 tai-spider-example。安装直接使用 npm 或者 ya
2021-11-07 12:04:50
986
原创 MySQL 和 DBCP 连接池
MySQL 和 DBCP 连接池MySQL缺省8小时就会断开不活跃的连接，由参数 wait_timeout 和 interactive_timeout 控制DBCP连接池可以设置对空闲连接进行定时检查，检查方法是执行一条能够返回一条记录的查询语句，如果检查失败，则该连接将会被丢弃，这样就可以保证连接池中的连接一直可用，相关参数为 validationQuery 、 testWhileIdle...
2018-10-03 17:54:55
553
原创 Apc-Report
Apc-Report提供对动态报表的支持，支持多种格式输出，采用Freemaker作为模板引擎。支持Docx和PDF输出采用JSON格式数据输入支持图片内嵌在JSON文件中测试用例代码块语法遵循标准markdown代码，例如：@Testpublic void docxTest() throws IOException, TemplateException { ...
2018-09-07 11:11:11
209
原创 Window CMD 脚本中模拟数组的实现方法
CMD脚本中只有变量的概念，没有数组的概念，为了实现类似数组的功能，需要进行变量嵌套使用，并使用for命令将输出转换为内部变量值。
2017-03-07 17:12:02
7063
原创 Oracle集群断电恢复实例（续）
上一篇 Oracle集群断电恢复 介绍了当Redo日志没有损坏的情况下如何进行恢复的实例，本文介绍当Redo日志损坏的情况下如何进行恢复。按照上一篇文章进行恢复时，当进行到日志重做时，如果出现以下情况，则可判断日志文件已经损坏了。SQL> recover database until cancel using backup controlfile;ORA-00279: change 8977467
2016-12-20 11:14:45
720
原创 大龄程序员的未来之我见
本来今天已经完成了一篇博文的任务，但正好看到观点栏目在讨论大龄程序员的出路问题，不禁又想多啰嗦几句。本人干程序员工作已经20多年了，在程序员中应该算是大龄了，程序员这个工作对于我来说，早就不是求生的手段，而是一种兴趣爱好，就像书法之与书法爱好者，音乐之与音乐爱好者，编程实在已经成为了我的一种爱好。看着一段段代码从自己的手中诞生，在电脑上转化为应用，服务或是网页，甚至有时候我还会为正在玩的游戏写个外挂
2016-12-16 08:50:25
1506
原创 Oracle集群断电恢复
这是前段时间遇到的，今天有时间把它记录下来。情况是这样的，用户的OracleRAC集群机房没有安装UPS，而且供电不稳定，因此总是突然断电，前面几次还可以，供电后集群就自动恢复了，但到最后还是出问题了，现象就是实例启动不了。经过几次恢复，发现大概可以分为以下几种情况，现分别描述如下。情况一：可直接从redo日志中恢复[orasrv@db01 ~]$ sqlplus / as sysdbaSQL*Pl
2016-12-16 08:34:14
1532
原创 今天我的阿里云服务器中招了
接到电话说阿里云上的服务无法访问，让我去处理下。最近这个阿里云服务器老是不稳定，动不动就无法访问，正好今天有时间，打算彻底检查下。一检查，发现问题果然很严重，简单说，就是被人种了木马，而且还不止一个，晕倒了！下面把中招以及处理的方法介绍一下，也算是一个经验教训吧。木马1：挖矿木马minerd变种tplink典型现象就是在系统CPU资源高达100%，但是用top看不到任何异常进程信息，只有用lsof
2016-12-15 09:33:22
5392
2
原创 亚马逊AWS免费云服务实战
最近AWS推出了一个云服务免费使用一年的优惠，有免费的当然不能浪费咯，赶紧下手！本文重点介绍如何注册AWS的账号，以及申请使用免费云服务ES2（一台位于美国的虚拟机），话说如果是用阿里云在美国的ECS，要188RMB/月，这优惠可是杠杠的！点击下面的链接进入免费午餐领取页面 AWS免费午餐点击黄色的创建免费账号按钮，进入注册页面 这里只要输入你的邮箱，选择新用户就可以了，然后点击登录按钮 点击
2016-12-13 16:21:56
63991
4
原创 Maven使用初步
安装本文针对版本为Apache Maven 3.1.1，可在此处下载。需要预先安装JDK6以上版本。下载后解压到任意目录，并将环境变量 M2_HOME 指向解压后的maven目录。并将maven目录下bin路径添加到环境变量 Path 中，之后执行mvn -v得到如下的类似输出，表示Maven已成功安装。
2015-03-09 20:21:36
384
原创 AWF开发框架
支持两种模式：Local和Proxy两种模式的开发是一致的，仅在访问的URL上有区别，local的访问URL是serivce，Proxy的访问URL是vservice
2015-03-08 10:20:48
1538
原创 MySQL Cluster环境下如何恢复root密码
MySQL Cluster提供了一个sql脚本来实现分布式用户权限管理，文件为/usr/share/mysql/ndb_dist_priv.sql其工作原理是把user，db等表转换为ndbcluster engine，并将原来的表备份为user_backup，db_backup等。此时如果按照传统的使用“–skip-grant-tables” root密码恢复方式是无法进行恢复的。
2015-03-03 20:57:09
780
原创 爬虫中MD5值的计算逻辑
涉及到的属性包括：title、url、source和content，计算逻辑如下： public String calcMD5ID(Article item) { String dedupStr = item.url + item.title + item.source; String md5id = ""; if (item.content != null) md5id =
2013-02-04 12:24:39
529
原创 根据给定的URL自动获取其中的正文
采用了哈工大“基于行块分布函数”的算法实现，示例代码如下：import apollo.crawler.core.net.TextExtract;public class TextExtractDemo { /** * @param args */ public static void main(String[] args) { String urlStr = args[
2013-02-04 12:19:43
419
原创 紧急通知：近期网站改版列表
监控发现，近期继网易即时修改了后台JSON对象格式后，相继有以下网站也进行了类似改版，请及时更新模板。网站列表：和讯即时 http://roll.hexun.com/roolNews_listRool.action?type=all东方互动：http://news.on.cc/js/china_fullList.js?t=1356187600026人民网即时：http://news
2013-01-12 10:19:19
774
原创 使用工具时正常，但在抓取过程中很久都没有更新数据的问题分析
在分析韩中央日报滚动新闻时发现使用工具时能够正常看到分析出来的标题，如下但在抓取结果页面中仅出现很少的条目由于系统会自动把URL相同的记录进行去重处理，因此考虑是否是由于这个原因导致的。分析原始页面发现，该网站使用JavaScript脚本实现页面跳转，而所有的href都设置为#，因此导致记录都被错误去重。总统对赦免亲戚•亲信不感到羞愧吗？ 2013.01.10 14:27
2013-01-10 13:56:54
540
原创 一种特殊节点的XPATH表示
美国国务院网站（http://www.state.gov/r/pa/ei/speeches/index.htm）中的日期位置比较特别，如下所示January -01/08/13 Remarks at a Stakeout after UN Security Council Consultations on Sudan and South Sudan; U.S. Permanent Re
2013-01-09 21:38:54
562
原创 对于带命名空间定义的XML目标的处理
许多RSS源都使用了rdf命名空间，因此在进行XSLT转换时必须明确指定命名空间。以华尔街日报（http://cn.wsj.com/gbrsstest/rssall.xml?rand=7711219990160316）为例，进行分析添加该目标后，获取的数据内容如下：<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-synta
2013-01-09 20:05:07
880
原创 采集Google搜索结果
采集网址：http://www.google.com.hk/search?num=100&hl=zh-CN&tbm=nws&q=搜索引擎各参数含义：num：返回100条结果（最多100条）hl：语言tbm：搜索类别（nws表示搜索新闻类别）q：搜索的关键词打开SourceViewer，点击左下角的“原始文件”标签，在弹出的窗口中输入下面配置
2013-01-08 22:21:35
3074
1
原创 几种特殊时间格式的写法
除支持标准的Java时间格式外，系统还支持一些特殊格式，包括? 表示任意字符X 表示类似+00:00格式的时区long 表示1970年1月1日到现在的秒数LONG 表示1970年1月1日到现在的毫秒数下面举一些具体的例子：时间示例时间格式df-2012-11-21T15:32:12+00:00'df-'yyyy-MM-dd'T'HH:mm:s
2013-01-08 13:01:03
2693
原创 使用POST方式获取页面
问题网站：朝鲜中央通讯网址:http://www.kcna.kp/kcna.user.article.retrieveNewsViewInfoList.kcmsf问题描述：该网站支持多语言，默认返回朝鲜语。在网页上可以选择查看中文版，但在配置模板的时候，只返回朝鲜语。解决过程：经过分析，发现该网站是采用Post方式发送lang参数来获取不同语言的页面，相应操作如下。在Sou
2013-01-07 22:30:06
1738
原创 两种类型的页面分析
包含式页面11/11 19:16郭树清：RQFII投资额度拟将再增加2000亿元时间、URL、标题三个属性都被包含在同一个li标签内定位到li，然后分别对三个属性赋值即可并列式页面CrayCompletes Acquisition Of ApproNov 21, 2012 | Cray has completed thepreviously announce
2013-01-07 20:07:05
538
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人