2020年09月_zhangge3663

转载 Linux - 查看、修改、更新系统时间（自动同步网络时间）

本文以CentOS为例，演示如何查看、设置系统时间，以及自动从互联网更新系统时间。1，查看系统时间执行date命令可以查看当前系统的时间：2，手动修改系统时间（1）执行如下命令可以设置一个新的系统时间：date -s "20190712 18:30:50"(2) 设置完后还要执行如下命令保存一下设置:hwclock --systohc(3) 当然我们也可以将上面两个操作合二为一:date -s "20190712 18:30:50" &a...

2020-09-30 13:09:00 1622

转载解决pip is configured with locations that require TLS/SSL问题

python3.7安装，解决pip is configured with locations that require TLS/SSL问题1.安装相关依赖yum install gcc libffi-devel zlib* openssl-devel libffi-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make -y2.下载并解压wge

2020-09-30 11:51:42 3133

转载深夜，我偷听到程序员要对session下手.......

我是一个web服务器我是一个web服务器，我的工作是给人类提供上网服务，我每天要为数以万计的人提供网页浏览服务。已经是深夜了，我还在和手下几个兄弟为了一件事紧张讨论着。“老大，现在咱们每天处理的请求越来越多了，session同步的问题不能再拖了，必须想个办法”“二哥说的是啊，老大，不能再拖了”“老二，老三，咱们是一个集群，你们说的问题我不是不知道，我昨天听程序员们在讨论说要给我们接入一个叫Redis的家伙，相信这一问题很快就能得到解决啦，大家再忍忍。”“Redis，他是谁，什

2020-09-30 11:50:53 79

转载 python3安装过程中出现的ssl问题，No module named _ssl或者renaming “_ssl“ since importing it failed

如果安装Python或者运行Python的时候报了上面的错误，那么首先你需要确定自己是否安装了openssl，若安装了openssl，请确定openssl的安装位置及lib和include被安装在哪里，另外在/usr/lib64中是否有libssl.so.1.1和libcrypto.so.1.1等文件，一般而言openssl的lib及include位置为/usr/local/lib64/ 或 /usr/local/lib/ 或 /usr/local/openssl/lib/及/usr/local/inc..

2020-09-30 09:06:13 1131

转载标题：浅析图卷积神经网络

今天想和大家分享的是图卷积神经网络。随着人工智能发展，很多人都听说过机器学习、深度学习、卷积神经网络这些概念。但图卷积神经网络，却不多人提起。那什么是图卷积神经网络呢？简单的来说就是其研究的对象是图数据（Graph），研究的模型是卷积神经网络。为什么有图卷积神经网络自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。和传统方法相比，它好在哪里呢？假设有一张图，要做分类，传统方法需要手动提取一些特征，比如纹理啊，颜色啊，或者一些更高级的特征。然后再把这些特征..

2020-09-29 15:37:20 309

转载解决: pip install 由于目标计算机积极拒绝，无法连接

在虚拟环境pip install时，一开始我以为只是第三方包的问题，但是后面pip Install都这样:WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', NewConnectionError('<pip._vendor.urllib

2020-09-29 15:26:38 9071 6

转载 /usr/lib/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback

今天想使用光盘yum源安装东西，发现yum突然不好使了，错误如下：/usr/lib/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback在网上看了一些文档解决了。yum报错的主要错误就是因为libcurl.so.4 => /usr/local/lib/libcurl.so.4这个库的问题。所以直接修改链接库：vi /etc/ld.so.conf显示如下内容:in

2020-09-28 11:17:51 209

转载 linux安装xgboost快速高效方法

1.先安装gitubuntu: apt-get install gitcentos: yum install git2.下载xgboost仓库，注意有--recursive(有子模块)git clone --recursive https://github.com/dmlc/xgboost.gitcd xgboost./build.shcd python-packagepython setup.py install3.测试pythonimport xg.

2020-09-27 17:16:08 595

转载 pandas.DataFrame()的基本操作

感觉上pandas的DataFrame就像numpy中的矩阵，不过它拥有列名和索引名，实际操作起来会更方便一些。如:df = pd.read_clipboard()df.columnsdf.Ratingsimport numpy as npimport pandas as pdfrom pandas import Series, DataFrame# 使用浏览器打开某网址#import webbrowser#link = 'https://www.tiobe.com/

2020-09-25 16:17:52 118

转载 python数据分析之pandas里的Series

1 Series线性的数据结构，series是一个一维数组Pandas会默认用0到-1来作为series的index，但也可以自己指定index(可以把index理解为dict里面的key)1.1 创造一个series数据import pandas as pdimport numpy as nps = pd.Series([9, 'zheng', 'beijing', 128])print(s)打印0 91 zheng2 ...

2020-09-25 15:52:56 514

转载 nginx动态库加载出现is not binary compatible问题

Error nginx: [emerg] module "/usr/local/nginx/modules/ngx_http_vhost_traffic_status_module.so" is not binary compatible in /etc/nginx/nginx.conf:6项目中遇到此问题，原因在于不同的系统中的特性对加载动态库有影响。Your nginx binary is already installed through package system and you are

2020-09-23 15:14:35 1568

转载注入eval，Function等系统函数，截获动态代码

正文现在很多网站都上了各种前端反爬手段，无论手段如何，最重要的是要把包含反爬手段的前端javascript代码加密隐藏起来，然后在运行时实时解密动态执行。动态执行js代码无非两种方法，即eval和Function。那么，不管网站加密代码写得多牛，我们只要将这两个方法hook住，即可获取到解密后的可执行js代码。注意，有些网站会检测eval和Function这两个方法是否原生，因此需要一些小花招来忽悠过去。挂钩代码首先是eval的挂钩代码:(function() { if (

2020-09-18 10:32:18 904

转载爬虫神器！用它可以实时处理和保存 Ajax 数据

做爬虫的时候我们经常会遇到这么一个问题：网站的数据是通过Ajax加载的，但是Ajax的接口又是加密的，不费点功夫破解不出来。这时候如果我们想绕过破解抓取数据的话，比如就得用Selenium了，Selenium能完成一些模拟点击、翻页等操作，但又不好获取Ajax的数据了，通过渲染后的HTML提取数据又非常麻烦。或许你会心想：要是我能用 Selenium 来驱动页面，同时又能把 Ajax 请求的数据保存下来就好了。办法自然是有，比如可以加层代理，用 mitmdump 来实时处理就好了。但如果

2020-09-18 09:57:20 299

转载如何避免Puppeteer被前端JS检测

工具和资料QQ群 - Javascript高级爬虫https://jq.qq.com/?_wv=1027&k=5Bcu3YU -作者自建群，欢迎加入! 中国商标网加密接口https://github.com/rockswang/wsjs.saic.mmewmd -仅做演示 awesome-jave-crawlerhttps://github.com/rockswang/awesome-java-crawler- 作者收集的爬虫相关工具和资料前言这两天开始看puppeteer，发现居..

2020-09-17 10:14:54 1533

转载 2020HW必备-蜜罐如何在攻防演练中战术部防

原创作者：长亭科技，已获授权。文末记得获取《红蓝对抗——蓝队手册》，或许对你目前的HW工作有参考价值。网络攻防演练活动以模拟真实攻击为重要标准，对参与演练单位的各类系统进行渗透，通过设定演练规则，根据统计攻击和防守方得失分情况，判定防守方防护能力水平。在这个过程中，防守方对攻击方是谁、从哪里发动攻击、用何种手段均一无所知，处于“攻防不对称”下的天然劣势。本次我们将以某个行业开展的攻防演练活动为示例，从防守方的视角，看其怎样利用欺骗伪装技术，实现主动对抗，及时诱捕、发现、处置、溯源，甚至..

2020-09-17 09:43:43 2437

转载 jupyter命令把.ipynb文件转化为.py文件

在当前文件夹下面按下Shift + 右键打开cmd终端然后输入:jupyter nbconvert --to script *.ipynb就能把当前文件夹下面的所有的.ipynb文件转化为.py文件

2020-09-16 16:55:29 207

转载第二届高校大数据比赛之鼠标轨迹识别

比赛地址http://bdc.saikr.com/c/cql/34541赛题鼠标轨迹识别当前广泛运用于多种人机验证产品中，不仅便于用户的理解记忆，而且极大增加了暴力破解难度。但攻击者可通过黑产工具产生类人轨迹批量操作以绕过检测，并在对抗过程中不断升级其伪造数据以持续绕过同样升级的检测技术。我们期望用机器学习算法来提高人机验证中各种机器行为的检出率，其中包括对抗过程中出现的新的攻击手段的检测。数据格式评测指标F = 5PR/(2P+3R)*100数据读取和处理######数据

2020-09-15 13:55:29 1074

转载大数据挑战赛-鼠标轨迹识别

大数据挑战赛-鼠标轨迹识别，竞赛官网：http://bdc.saikr.com/c/cql/345411.我们看一下整个竞赛的详情赛题描述鼠标轨迹识别当前广泛运用于多种人机验证产品中，不仅便于用户的理解记忆，而且极大增加了暴力破解难度。但攻击者可通过黑产工具产生类人轨迹批量操作以绕过检测，并在对抗过程中不断升级其伪造数据以持续绕过同样升级的检测技术。我们期望用机器学习算法来提高人机验证中各种机器行为的检出率，其中包括对抗过程中出现的新的攻击手段的检测。比赛数据本题目...

2020-09-15 12:01:48 2769 2

转载大数据挑战赛（大佬篇）

相对于我的杂乱无章，dalao们做比赛时将每个环节分文件处理，这样好看也好改，分别分为以下几个步骤：1.数据处理2.特征选择3.调参4.模型融合5.过拟合的处理在做特征提取时，可以提取得到的数据都提取了12种特征，一共提取了大概一百多个特征...可能这就是我与大佬的差距。这是特征提取的代码:# -*- coding: utf-8 -*-"""Created on Sat Jul 8 10:45:13 2017@author: YangE-mail: xieear

2020-09-14 20:48:20 987

转载 PyAutoGUI——图形用户界面自动化

PyAutoGUI模块通过屏幕xy坐标系统确定目标位置，控制鼠标和键盘发送虚拟击键和鼠标点击，完成点击按钮、填写表单等操作，在没有模块对应你要操作的无聊任务的时候，也不失为一个不错的选择。PyAutoGUI的坐标轴系统pyautogui的鼠标函数使用x,y坐标，原点在屏幕左上角，向右x坐标增加，向下y坐标增加,所有坐标都是正整数，没有负数坐标。如图所示：pyautogui.size() #返回屏幕宽高像素数的元组 .

2020-09-14 15:52:48 343

转载 Python控制鼠标和键盘-PyAutoGUI用法详解

PyAutoGUI——让所有GUI都自动化安装命令：pip install pyautogui1.简介1.1 目的PyAutoGUI是一个纯Python的GUI自动化工具，其目的是可以用程序自动控制鼠标和键盘操作，多平台支持（Windows，OS X，Linux）。可以用pip安装，Github上有源代码。下面的代码让鼠标移到屏幕中央。import pyautoguiscreenWidth, screenHeight = pyautogui.size()pyautogu

2020-09-14 15:50:04 789

转载仿12306铁路客服服务中心登录验证码效果

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" /> <title>铁路客服服务中心</title> <link rel="icon" type="image/x-icon" href="http://www.12306.cn/mormhweb/images/favicon.ico"> <style>..

2020-09-09 11:18:50 280

转载监听localStorage变化（同页面监听）

“当同源页面的某个页面修改了localStorage,其余的同源页面只要注册了storage事件，就会触发”同页面监听，重写localStorage的方法，抛出自定义事件：<!doctype html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, user-.

2020-09-08 10:43:43 1028

转载 localStorage使用总结

WEB应用的快速发展，是的本地存储一些数据也成为一种重要的需求，实现的方案也有很多，最普通的就是cookie了，大家也经常都用，但是cookie的缺点是显而易见的，其他的方案比如：IE6以上的userData，Firefox下面的globalStorage，以及Flash的本地存储，除了Flash之外，其他的几个都有一些兼容性的问题。sessionStorage与localStorageWeb Storage实际上由两部分组成：sessionStorage与localStorage。sessio

2020-09-08 10:42:24 150

转载 js检测开发者工具Devtools是否打开防调试

之前写过一篇文章《Javascript检测开发者工具Devtools是否打开》，主要是讲如何通过js来检测开发者工具是否打开，防止别人恶意调试我们的代码，那段代码也是查了蛮多资料整理出来的，当时可以兼容chrome，firefox，ie，但是随着浏览器版本的更新，已经基本上没有作用了，最近我发现还是有蛮多人去浏览那篇文章，所以这里再放出一段代码，算是个升级版吧，之前的版本里在firefox上还有有限制的，下面提供的这个版本我测试过通杀现在的chrome 69，firefox，IE，也不存在之前firefox

2020-09-08 10:24:36 1340

转载某网站高度加密混淆的javascript的分析

前言对某网站加密混淆后的javascript代码也算分析了一段时间了，虽然还没搞出来，但多少有些新得，这里记录一下。工具和资料https://jq.qq.com/?_wv=1027&k=5Bcu3YU QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入! https://github.com/rockswang/awesome-java-crawler awesome-java-crawler - 我收集的爬虫相关工具和资料 https://github.com...

2020-09-07 11:52:39 454

转载某数加密的流程与原理简析

啃了这么长时间，基本上已经把某数的套路摸了个八九不离十，不愧是中国反爬界的集大成者，感觉收获满满，这里就简单记录一下分析成果。注意：某数在不同的网站上有不同的版本，其流程也略有不同，这里的流程不一定适用于其它网站。工具和资料之前的文章1- 记录了之前尝试的其它方法之前的文章2- 对加密混淆后的js的一些初步分析 awesome-java-crawler- 我收集的爬虫相关工具和资料 java-curl- 我编写的java HTTP库另一个用了某数加密的网站的破解SDK前端流程...

2020-09-04 13:45:47 533

转载瑞数(裁判文书)js的加密分析

抓了半年多的裁判文书突然停了，查看log发现HTTP响应码全是202，分析页面发现原网站在cookie上做了加密。经分析正确的请求流程如下1. 请求首页，返回两个set-cookie响应头，cookie名称分别为FSSBBIl1UgzbN7N80S,FSSBBIl1UgzbN7N80T，响应码为202。响应体中有三段不明代码<html><head><metahttp-equiv="Content-Type"content="text/html;c...

2020-09-04 13:13:30 9614 7

转载爬虫进阶:反反爬虫技术--5 网页隐藏信息

1、注意网页隐藏的信息在HTML表单中，"隐含"字段可以让字段的值对浏览器可见，但是对用户不可见(除非看网页源代码)。随着越来越多的网站开始用cookie存储状态变量来管理用户状态，在找到另一个最佳用途之前，隐含字段主要用于阻止爬虫自动提交表单。下图显示的例子就是Facebook登录页面上的隐含字段。虽然表单里只有三个可见字段(username、password和一个确认按钮),但是在源代码里表单会向服务器传送大量的信息。Facebook 登录页面上的隐含字段用隐含字段阻止网络数据采集的

2020-09-04 13:11:57 2311

转载 Pyppeteer库之四:Pyppeteer的页面操作(下)

执行自定义的JS脚本Pyppeteer Page对象提供了一系列evaluate方法，你可以通过他们来执行一些自定义JS代码，主要提供了下面三个API:(1) page.evaluate(pageFunction [,...args]), 返回pageFunction执行的结果,pageFunction表示要在页面执行的函数或表达式，args表示传入给pageFunction的参数示例:await page.goto('https://www.baidu.com')# 输出字符串awa

2020-09-04 11:02:20 5333

转载自动化系列-pyppeteer键盘输入点击

一个小例子，通过pyppeteer实现访问百度搜索指定关键代码:from pyppeteer import launchimport asyncioimport timeasync def main(): # 启动一个浏览器 browser = await launch(headless=False,args=['--disable-infobars']) # 创建一个页面 page = await browser.newPage() # 跳转到百度

2020-09-03 09:24:45 2009 4

转载 JS键盘事件(非常详细)

在JavaScript中，当用户操作键盘时，会触发键盘事件，键盘事件主要包括下面3中类型:keydown: 在键盘上按下某个键时触发。如果按住某个键，会不断触发该事件，但是Opera浏览器不支持这种连续操作。该事件处理函数返回false时，会取消默认的动作(如输入的键盘字符，在IE和Safari浏览器下还会禁止keypress事件响应). keypress: 按下某个键盘键并释放时触发。如果按住某个键，会不断触发该事件。该事件处理函数返回false时，会取消默认的动作(如输入的键盘字符). keyu

2020-09-01 11:42:11 5423

zhangge3663的博客