- 博客(134)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 信息采集管理展示界面
我写的爬虫都是给自己用，或者是懂程序的朋友、同事用，一直没有一个容易给人使用的界面，我准备给爬虫写一个前端展示页面，用的架构是spring boot+vue 。刚把整站采集写完了。 整站采集，就是面对新闻网站，你需要采集整个网站的信息，这个网站的页面又拥有多个页面格式，用css xpath配置比较麻烦。比如我监控了几百家国内网站的数据，我要取得内容、标题，我只需要配置一个正则表达式就可以。比如https://www.fox34.com/这个网站，我需要网站网址符合表达式https://w...
2021-02-05 22:37:27
477
原创 使用frp暴露内网机器端口号进行远程登录及微信调试
需求：内网有几台linux、windows服务器需要远程维护，刚开始装上teamviewer、向日葵等商业软件，期望使用这些商业软件进行远程控制内网的机器，结果发现非常的不稳定，linux的服务器就更加的不稳定了。通过端口暴露可以ssh远程登录linux服务器，可以访问内网的web网页，可以进行微信调试，很爽。解决办法：1、刚开始希望通过ngrok来解决这个问题，ngrok的服务器都是放在国外，在国内被墙了。以前用过一段时间，现在不能用了。没办法，想到自己搭建ngrok服务器。自己用固定ip的服
2020-08-25 23:06:23
712
原创 物流管理系统
前端 vue 后端使用 spring boot，用户关注微信公众号“镖运”可以收到货物提醒。平台地址： www.good2service.cn
2020-08-15 14:01:26
265
1
原创 seo优化，提升独立网站流量（1）
现在amazon、淘宝收太多的平台费用，朋友这边做了一个独立网站。前期没有什么流量，让我这个程序员做下seo优化。本人是程序员也比较了解百度、google等搜索引擎是如何收录网站，如何能够把我们的网站排名靠前，就会有更多的用户去点击，从而有更多的人去购买独立站的物品。用户从google输入查询关键字，用跟多的用户从搜索引擎点击我们的网站，google会认为这个网站的内容更优秀，从而将这个网...
2020-02-04 22:22:18
498
原创 微信数据抓取 1
公司项目一直需要抓取微信数据，因为做微信爬取好几年了，所以对于腾讯微信团队的反爬策略已经比较熟悉了。部分数据通过web页面进行抓取，部分数据需要通过android手机客户端进行抓取，分析数据真是一个锻炼耐心的活，需要层层分析，才能得到最终想要的数据。最近帮朋友抓取微信的一些文章数据，监控部分账号发布的公众号文章。微信公众号现在真的是一个非常重要的营销平台。...
2019-12-15 10:28:39
1586
原创 利用爬虫进行整站信息抓取的优化
最近把自己的爬虫框架进行了一些优化，以前整站抓取时候需要进行比较多的配置，现在改成只要把一个网站首页加入爬虫系统，爬虫系统会自动爬取需要的所有网页。 2分钟便可以加入一个网站 另一个方面是抓取时间的优化，系统自动识别标题、内容、发布时间，特别是发布时间这块，以前是根据正则表达式匹配，比较容易出现不匹配的请款。现在机器学习自动识别时间，例如August英文、数字结合，都能够准确的识...
2019-12-15 10:26:11
261
原创 去哪儿 android手机客户端抓取
有个朋友需要抓取去哪儿手机客户端的机票数据，就找到我帮个忙。 我看了下说通过web页面抓取更容易，但是朋友就说要通过app客户端。好在本人有过app开发经验，以前也做过微信数据的抓取，正好可以复习下app的数据抓取。下面就开始吧~1、首先需要在电脑上安装appium，我这里在mac还是windows下都用对应的安装软件。配置环境这里不做多说，需要配置java home及android的环境。...
2019-11-21 08:59:54
967
原创 通过点击量提升网站在百度搜索的排名
大上个月，朋友跟我说自己做了个公司，网站在百度搜索中好几页才能看到，想让我帮忙优化下。我告诉他一下几点：1、让他或者找个文案多写点与自己业务有关的文章，涉及关键字数量比较多，就容易被百度收录。2、用到我软件工程师的技能，我写了个自动点击程序，通过不断在百度搜索中，点击朋友公司的网址，在百度搜索引擎中排名不断上升。点击的太快也害怕被百度查到，反正写了个计算机自动点击，每天都去点击，慢慢的...
2019-10-15 23:10:29
1004
原创 twitter、facebook、微博、微信、头条等信息抓取
总于可以把做的爬虫功能做一个总结了，几乎把互联网上重要的网址的信息抓取了一遍。1、刚开始因为工作需要需要采集微博、微信的信息，首先对国内的网址进行采集，供我们的系统对数据做分析。通过selenium、手机app、定制爬虫，对微博、微信做了数据采集。采集了内容、评论数、点赞数等。这个过程中需要解决反爬问题，微博、微信都有验证码的问题；利用浏览器进行请求中，也有个别的坑要填。2、对微博评论做了...
2019-07-16 20:01:24
1848
转载 B+树B-树
B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； 2.所有结点存储一个关键字； 3.非叶子结点的左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；如： B树的搜索，从根结点开始，如果查询的关键字与结点的关键字相等，那么就命中；否则，...
2019-06-20 16:41:17
246
原创 将GeckoDriver改为ChromeDriver [Selenium]
2018年通过Selenium能够抓取微博、微信数据及其他网站数据，用的是GeckoDriver驱动firefox进行抓取，在使用的过程中经常遇到内存使用过多的问题，排查的过程让我非常痛苦。在几年以前我也同时使用chrome跟firefox作为自己日常工作中的浏览器，那时候firefox就经常因为内存问题崩溃，所以firefox给我的印象不是太好。通过Selenium框架爬虫我为什么使用f...
2019-04-03 15:47:53
468
原创 mybatis与Spring JdbcTemplate进行关联
背景：手上有一个J2EE项目，数据库存储使用的Spring JdbcTemplate写的存储操作。现在将Mybatis加入，不想重写以前已经存在的JdbcTemplate操作语句，使项目同时支持Mybatis跟JdbcTemplate。 具体操作：Spring JdbcTemplate使用DataSource,DataSource可以作为参数传入JdbcTemplate。Jdbc...
2018-10-19 15:12:07
2876
原创 oracle设置主键自增长
oracle的主键自增长不像mysql的主键自增长设置那么方便，需要先设置序列，然后在设置触发器。此表的触发器可以复制以前类似触发器，然后对特定名字进行修改。设置完触发器，不需要再在数据表中做相关设置，因为触发器中已经进行了相关关联，当出入数据时，主键就会按照步长自动进行增加。步数：增加主键，设计数据表； 增加数据表主键相关序列； 增加数据表触发器。 ...
2018-08-31 16:48:20
2234
原创 mvn中，使用spring中获取bean实例
由于spring官方的例子都是用maven进行代码管理， 我打算以后的代码也用maven进行管理。spring一个重要的优点就是Ioc，也就是控制反转，可以用xml文件来生成类的实例。我以前都是用eclipse下的tomcat方式来管理bean实例，用spring自带的spring tool suits管理还有点不习惯，不过生产工具都是不断优化的，所以这里也学着习惯使用。配置文件可以放在r
2015-01-12 14:58:58
1285
原创 极光推送--服务器端
极光推送，由名字可知是一款推送软件。由于android自带的推送在大陆被墙掉了，所以在国内用第三方推送的用户特别多，比较有名的有极光推送、百度云推送。推送的主要用途是用来推送消息给客户端，比如说推送一个消息给android客户端或才iphone客户端，让所有的用户都接到这个通知。 我现在在写的这个程序是利用极光推送，写一个聊天程序，例用极光推送可以发到指定某人、某组或者全体用户。客户端及
2014-11-25 18:53:53
1661
原创 java中两个byte数组合并
/*** * @param data1* @param data2* @return data1 与 data2拼接的结果*/public static byte[] addBytes(byte[] data1, byte[] data2) {byte[] data3 = new byte[data1.length + data2.length];System.ar
2014-06-16 09:39:21
19520
原创 j2ee && jsp 基础配置
首先下载开发j2ee的eclipse，这样自己就不用配置eclipse的插件， 官方出的eclipse毕竟稳定性也比较高。 jsp是一个展示部分，也就是用户可见的界面， 我们看jsp的内容就会发现里面有html的标签，例如head body等。jsp的内容也就是展示部分， 需要一个地方来运行， 所以我们就需要一个服务器， 这里我们采用tomcat服务器。在运行jsp脚本时，
2014-03-04 11:14:27
1068
原创 windows配置cygwin ndk 编译cocos2d-x游戏
1.Cygwin为了安装方便我们把Devel下面的开发包都勾选了，这里编译cocos2d-x足够用了。单独更新这个Devel速度很快的。2.安装java,并且配置PATH值。3.安装sdk 和ndk 。sdk就用windows的方式写入PATH里。ndk配置path值为 ， 因为我们用到Cygwin，这里相当于一个Linux的环境。新建:NDK_ROOT
2014-01-03 09:48:12
1097
原创 cocos2d-x Effect效果显示
Effect其实也是也是一个action，放在目录\cocos2dx\actions下，声名文件为CCActionGrid3D.h. 我们可以单独的使用一个Effect,也可以把一组Effet放到一起。 我写的代码： //********added my code begin*********** //3为a重
2013-10-19 22:04:27
1374
原创 cocos2d-x Particle粒子效果
我们在写游戏的过程中为了显示爆炸或者碰撞的效果，需要以一定的形式进行表现，这时就可能需要粒子效果。例如碰撞时的碎片，子弹的运动过程中可能裹着一团火焰等。 CCParticleSmoke是类似冒烟的效果，下面看代码：头文件：MyParticleScence.h#pragma once#ifndef __MyParticleScence_H__#defi
2013-10-18 22:03:30
1267
原创 cocos2d-x Scene的启动加载
在cocos2d-x的自带例子中，我们通过scene()这个函数来返回一个CCScene指针，但在这个函数中又会调用别的函数，我加了几个打印输出来大概的跟踪一一流程：12345678910111213141516171819
2013-05-09 23:36:05
1134
原创 cocos2d-x离线文档下载
今天上午(2013/4/14)刚拉了cocos2d-x最新版本的代码，在ubuntu下编译通过并测试了android小例子。 在生成cocos2d-x文档时，需要使用linux下的doxygen工具，为了方便win的用户，我把编译出来的文档打包了方便大家的使用，接下来我会不定期的更新这份cocos2d-x离线文档。2013/4/14 http://pan.baidu.com
2013-04-14 22:28:07
1895
原创 Android主题定制及修改
Android主题定制及修改简介：在写Android的App时，我们在Layout中的xml文件中都会引用到大量的布局组件及风格，有时Android提供的原生组件并不能满足我们的需求，这时我们就要考虑对style及theme进行定制及修改。布局文件的解释原理：在Layout的每一个控件如TextView、EditText、Button等，例如Button控件，在目录framew
2012-11-09 09:40:00
1342
原创 全局变量定义为static与普通的区别
当在头文件定义一个变量，如果为全局，在多个.c文件中都引用这个头文件时，则这个变量是共用的，.c文件都可以修改。如：head.h:#include int a;aa.c:#include "head.h"foo(){ a = 3;}main.c:
2012-07-10 23:24:46
1311
原创 面向对象编程---多态性
#include "iostream"using namespace::std;class B0{public : virtual void display() {cout << "B0::display()"<<endl;}};
2012-05-20 15:06:01
1181
2
原创 bitmap size exceeds VM budget 的解决办法分享
Bitmap bm = BitmapFactory.decodeFile(lis.get(position).toString());这时会出现bitmap size exceeds VM budget的错误，可能是图片占用太多的内存。这时指定分配内存： BitmapFactory.Options bitmapOptions = new BitmapFactory.Options
2012-05-09 21:54:42
757
原创 Androoid中gstreamer自动生成Android.mk
gstreamer支持多个软件平台，当gstreamer在移植到Android平台时，可以根据自己的需要自动生成Android.mk,所以编译起来非常方便，但有些包并不会自动生成Androd.mk，这里说一下如何根据我们的需要为某个模块生成需要的Android.mk,从而可以得到我们的模块。 目的：我想为Android利用gstreamer加入某个模块。 我们由网址（http:
2012-05-08 18:31:47
3760
4
原创 android编译小结
diff --git a/core/combo/TARGET_linux-arm.mk b/core/combo/TARGET_linux-arm.mkindex ae1997c..e8c5263 100644--- a/core/combo/TARGET_linux-arm.mk+++ b/core/combo/TARGET_linux-arm.mk@@ -98,11 +98,1
2012-04-17 14:58:11
1207
原创 编译ics遇到的问题
xiaowen@xiaowen-OptiPlex-790:/opt/ics$ make============================================PLATFORM_VERSION_CODENAME=RELPLATFORM_VERSION=4.0.1TARGET_PRODUCT=fullTARGET_BUILD_VARIANT=engTARGET_BUILD_
2012-01-09 11:10:05
1092
转载 Linux下阅读源代码：(g)vim+Taglist+ctags
很多人都抱怨Linux下阅读源代码很不方便，说还是习惯于WIn下看代码，即便是编写Linux下的程序，也是先在Win下编写好，然后在Linux下编译。很多人习惯于Win下的IDE或者其他文本编辑器如UE，或者其他文本比较工具。这些工具固然是好，可是实际上这些软件都是需要fee的，而不是free的。我这个人比较吝啬，不愿意化这些冤枉钱，再者，加上本人有耻于无限盗版破解，所以呢就选择了免费的午
2011-12-08 14:58:05
1423
2
原创 android调试技巧
Addr2line 工具（它是标准的 GNU Binutils 中的一部分）是一个可以将指令的地址和可执行映像转换成文件名、函数名和源代码行数的工具。这种功能对于将跟踪地址转换成更有意义的内容来说简直是太棒了。要了解这个过程是怎样工作的，我们可以试验一个简单的交互式的例子。（我直接从 shell 中进行操作，因为这是最简单地展示这个过程的方法，如清单 4 所示。）这个示例 C 文件（test.
2011-12-01 11:32:58
2578
转载 如何解包／编辑／打包boot.img文件
感谢本文的作者：Alansj, DarkriftX, RyeBrye, Will, Try OP9, Tonyb486, Timmmm, Lxrose还有好多不知名的作者们在wiki上的不懈努力。来源：http://android-dls.com/wiki/index.php?title=HOWTO:_Unpack%2C_Edit%2C_and_Re-Pack_Boot_Images
2011-11-30 11:22:38
1707
转载 ubuntu下adb连接android手机调试
1.adb连接android手机默认情况下，Ubuntu下通过USB数据线连接G2手机后，adb可能无法正常连接到设备。按照一下步骤可以解决此问题。1）在terminal下面运行lsusb命令 会发现结果有会有如下类似记录: Bus 001 Device 008: ID 0bb4:0c02 High Tech Computer Corp. 这时输入命令
2011-11-28 19:52:00
1314
1
转载 ubuntu11.10 更新源
按Ubuntu的标志然后搜索terminal就可以了。由于连接外国的源速度比较慢，所以先改为163的源。sudo vi /etc/apt/sources.list，删除里面的内容然后换成：deb http://mirrors.163.com/ubuntu/ oneiric main universe restricted multiversedeb-src http://mirrors
2011-11-25 19:26:39
788
转载 error: insufficient permissions for device
在ubuntu下，通过adb命令向手机安装软件的时候，出现error: insufficient permissions for device。此时需要赋予超级用户权限。代码如下：stone@stone-System-Product-Name:~/android/androidSDK/tools$ sudo -s[sudo] password for stone: root@sto
2011-11-16 14:23:31
1022
转载 如何使用ADB命令查看Android手机相关信息参数
本文主要介绍的是教大家如何使用ADB命令来查看自己Android手机的相关硬件以及其他的参数信息，相信许多机友已经早已查看过，而新入门感兴趣的机友可以尝试一下……本文主要介绍的是教大家如何使用ADB命令来查看自己手机的相关硬件以及其他的参数信息，相信许多机友已经早已查看过，而新入门感兴趣的机友可以尝 试一下。运用这些ADB命令可以很直观的查看到你手机上的硬件与软件方面的
2011-11-15 20:47:38
6923
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人