关注
分享
分三个系列：初，中，高来记录自己的学习docker的历程，帮助他人，成长自己！
zhugeaming2018
13年IT生涯，13年IT圈故事
展开
-
「docker实战篇」python的docker-打造多任务端app应用数据抓取系统（终结）（36）
通过前面35篇文章，完成了python和docker配合抓取移动端，一起总结下吧。总结爬虫分为：web网页数据的抓取，app应用数据的抓取，软件应用数据的抓取，本「docker实战篇」主要是针对app应用数据的抓取的，爬虫的工程师抓取应用的时候的痛点有哪些呢？不会抓包，不知道手机移动数据如何抓包 有些app为了防止破解做了加壳，强证书校验，导致无从下手 ...原创 2019-07-09 10:52:30 · 265 阅读 · 0 评论 -
「docker实战篇」python的docker-打造多任务端app应用数据抓取系统（下）（35）
上次已经把python文件挂载到虚拟机上了，这次主要设置下虚拟机通过docker容器的方式。运行python 代码运行 >启动一个crt的会话 docker run -it -v /root/docker:/root --name python zhugeaming/python3-appiummitmdump的运行启动一个crt的会话，可以通过重名...原创 2019-07-08 10:37:23 · 262 阅读 · 0 评论 -
「docker实战篇」python的docker-打造多任务端app应用数据抓取系统（上）（34）
上次说了如果通过dockerfile创建docker的镜像，接下来老铁们咱们通过创建好的镜像，创建容器，并且将代码映射到容器当中去，最终完成多任务端app抓取系统。源码：https://github.com/limingios/dockerpython.git （源码/「docker实战篇」python的docker-docker系统管理-基础概念（27））任务需求详解需要...原创 2019-07-07 12:54:08 · 446 阅读 · 0 评论 -
「docker实战篇」python的docker-docker镜像的创建使用dockerfile（33）
>>原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！>>原文链接地址：「docker实战篇」python的docker-docker镜像的创建使用dockerfile（33）从上篇docker commit学习可以了解到，镜像的定制其实每一层添加的配置和文件，如果把每一层的修改配置，修改文件，都写入脚本，用这个脚本构建定制镜像，无法重复的问题，镜像构...原创 2019-07-06 10:46:34 · 350 阅读 · 0 评论 -
「docker实战篇」python的docker-docker镜像的创建使用docker commit命令（32）
>>原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！>>原文链接地址：「docker实战篇」python的docker-docker镜像的创建使用docker commit命令（32）上次说了将docker appium镜像下载到本地后，通过docker run命令appium的端口，并且通过python脚本启动了夜神模拟器内的抖音应用，之前也没说过doc...原创 2019-07-05 17:45:50 · 239 阅读 · 0 评论 -
「docker实战篇」python的docker-创建appium容器以及设置appium容器连接安卓模拟器（31）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker-创建appium容器以及设置appium容器连接安卓模拟器（31）上一节已经下载好了appium的镜像，接下来说下如何创建appium如何创建容器和模拟器如何连接appium容器。源码：https://github.com/limingios/dockerpython....原创 2019-07-04 10:05:07 · 1447 阅读 · 0 评论 -
「docker实战篇」python的docker-docker-appium镜像（30）
>>原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！>>原文链接地址：「docker实战篇」python的docker-docker-appium镜像（30）docekr的基本命令上次讲了常用的，有老铁问我，docker内部的容器如何让互联网访问？如何让互联网访问docker（一）首先让docker host部署在公网上 比...原创 2019-07-03 09:23:45 · 746 阅读 · 2 评论 -
「docker实战篇」python的docker-docker系统管理-基本命令（29）
>>原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！>>原文链接地址：「docker实战篇」python的docker-docker系统管理-基本命令（29）经常使用linux、mac的系统的老铁，都习惯使用命令，要灵活的使用一种操作系统，必须要熟悉里面的命令，并不是所有都可以进行界面化的。来一起熟悉下docker的命令。命令合集...原创 2019-07-02 10:29:12 · 477 阅读 · 0 评论 -
「docker实战篇」python的docker-docker系统管理-基础概念（28）
大概说下docker了，其实在之前的docker文章里已经很深入了说了docker，【初级】，【中级】，【高级】等等，这里在说一下吧，可能不够深入，但是对了解docker的老铁也是个回顾吧。源码：https://github.com/limingios/dockerpython.git （源码/「docker实战篇」python的docker-docker系统管理-基础概念（27））...原创 2019-06-27 09:49:15 · 349 阅读 · 0 评论 -
「docker实战篇」python的docker-打造多任务端app应用数据抓取系统-系统介绍（27）
总结下之前app应用数据抓取学习的文章。####（一）回顾的之前一起学习的内容模拟器，抓包工具，客户端自动化工具appium。模拟器 对比了三款模拟器，最终选择了应用型高功能性强的夜神模拟器，也不是其他两款模拟器。这个是根据个人的喜好，其实在真实的环境中最好使用真实的移动设备。手机进行抓取。 抓包工具 对比了三款抓包工具，fiddler，pack...原创 2019-06-25 09:42:04 · 358 阅读 · 0 评论 -
「docker实战篇」python的docker- 抖音视频抓取（中）（25）
本次主要针对python对上次抖音分享的页面中的_signature进行解析并完成抖音视频的下载。源码：https://github.com/limingios/dockerpython.git （源码/「「docker实战篇」python的docker- 抖音视频抓取（下）（24））https://github.com/limingios/dockerpython.git （谷歌插件）...原创 2019-06-21 20:10:16 · 804 阅读 · 0 评论 -
「docker实战篇」python的docker- 抖音视频抓取（上）（24）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker- 抖音视频抓取（上）（24）上节主要说了通过多模拟器的并行进行数据的抓取，在没有docker环境的情况下，本次主要针对抖音的视频数据进行抓取，无论你是个人喜好，还是项目需求，大家对抖音的视频数据都很感兴趣，比如喜欢那个漂亮的小姐姐都想把他的视频保存下来，方便日后的...原创 2019-06-17 09:16:46 · 595 阅读 · 0 评论 -
「docker实战篇」python的docker- 多设备端并发抓取抖音粉丝数据（23）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker- 多设备端并发抓取抖音粉丝数据（23）之前的文章搞过，抖音web端用户信息的抓取和抖音app端粉丝的抓取。一台设备抓取抖音粉丝数据实在是太慢了，这次咱们来演示下多模拟器同时爬取信息。源码：https://github.com/limingios/dockerpyt...原创 2019-06-13 11:02:54 · 788 阅读 · 0 评论 -
「docker实战篇」python的docker-抖音appium模拟滑动操作（22）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker- 多设备端并发抓取抖音粉丝数据（23）之前的文章搞过，抖音web端用户信息的抓取和抖音app端粉丝的抓取。一台设备抓取抖音粉丝数据实在是太慢了，这次咱们来演示下多模拟器同时爬取信息。源码：https://github.com/limingios/dockerpyt...原创 2019-06-10 09:30:45 · 733 阅读 · 0 评论 -
「docker实战篇」python的docker-抖音分析接口数据分析（21）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker-抖音分析接口数据分析（21）上节xposed已经安装完毕，设置对应的android的版本和代理服务器。准备工作1.xposed和JustTruestMe的安装2.抖音安装完毕启动fildder点击进入指定的粉丝界面查看数据...原创 2019-06-03 09:46:55 · 535 阅读 · 0 评论 -
「docker实战篇」python的docker-破解App中间人无法联网之ssl pining技术分析与xponsed框架安装（20）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker-破解App中间人无法联网之ssl pining技术分析与之前完成了抖音抓包分析。当你使用fiddler进行抓包工具运行模拟器或者真机的时候，发现抖音无法联网了。需要破解了。什么是SSLpinningSSL pinning，即SSL证书绑定，是验证服务器身...原创 2019-05-31 09:29:25 · 520 阅读 · 0 评论 -
「docker实战篇」python的docker-抖音web端数据抓取（19）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker-抖音web端数据抓取（19）抖音抓取实战，为什么没有抓取数据？例如：有个互联网的电商生鲜公司，这个公司老板想在一些流量上投放广告，通过增加公司产品曝光率的方式，进行营销，在投放的选择上他发现了抖音，抖音拥有很大的数据流量，尝试的想在抖音上投放广告，看看是否利润和效...原创 2019-05-29 15:09:41 · 708 阅读 · 1 评论 -
「docker实战篇」python的docker爬虫技术-appium+python实战（18）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-appium+python实战（18）上次通过appium进行了，录制脚本的功能，而且还可以进行转换成python，java，js等等语言的，这次实战下，从登陆，到进入某个页面操作获取信息。源码：https://github.com/limingios/...原创 2019-05-28 09:02:36 · 550 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-移动自动化控制工具appium工具（17）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-移动自动化控制工具appium工具（17）Appium是一个开源测试自动化框架，可用于原生，混合和移动Web应用程序测试。 它使用WebDriver协议驱动iOS，Android应用程序。直接多种语言：java，python等等。appium架构...原创 2019-05-27 08:44:18 · 255 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-移动自动化控制工具uiautomator工具（16）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-移动自动化控制工具uiautomator工具（16）uiautomator 是 安卓4.3之后发布的测试工具，uiautomator是用来做UI测试的。也就是普通的手工测试，点击每个控件元素 看看输出的结果是否符合预期。比如 登陆界面 分别输入正确和错误的...原创 2019-05-24 14:27:59 · 176 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-移动自动化控制工具安卓ADB的使用（15）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-移动自动化控制工具安卓ADB的使用（15）adb（Android Debug Bridge），安卓平台调试桥，是连接Android手机与PC端的桥梁，通过adb可以管理、操作模拟器和设备，如安装软件、查看设备软硬件参数、系统升级、运行shell命令等。...原创 2019-05-23 09:06:40 · 293 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-移动自动化控制工具安卓SDK安装和配置（14）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-移动自动化控制工具安卓SDK安装和配置（14）为什么要一起学习移动的自动化，在app这里，有50%的app的通过抓包软件就可以分析出来抓包的参数，抓取到信息。比如上次说的app，通过fiddler就可以进行分析就可以抓取里面的数据了，还有30%的需要适当的...原创 2019-05-21 11:05:45 · 216 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-python脚本app抓取（13）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-python脚本app抓取（13）上次已经分析出来具体的app的请求连接了，本次主要说说python的开发，抓取APP里面的信息。源码：https://github.com/limingios/dockerpython.git分析app数据包查看...原创 2019-05-19 22:23:09 · 1219 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-fiddler分析app抓取（12）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-python脚本app抓取（13）上次已经分析出来具体的app的请求连接了，本次主要说说python的开发，抓取APP里面的信息。源码：https://github.com/limingios/dockerpython.git分析app数据包查看...原创 2019-05-18 21:59:00 · 428 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-mitmproxy之安卓模拟器mitmdump（11）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-mitmproxy之安卓模拟器mitmdump（11）本节主要一个特别重要的组件，mitmproxy中的mitmdump，为什么说它重要？因为它可以跟python脚本进行交互，是不是美滋滋！如何进行交互mitmdump的启动默认的端口是80...原创 2019-05-17 20:24:07 · 395 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包（十）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-mitmproxy之安卓模拟器如何抓包（十）之前说了fiddler抓包软件，这次主要说说mitmproxy的app抓包。源码：https://github.com/limingios/netFuture/blob/master/mitmproxy/l...原创 2019-05-06 08:07:12 · 334 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-fiddler之安卓模拟器如何抓包（九）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-fiddler之安卓模拟器如何抓包（九）上次说了web端通过fiddler的抓包，本次说下如何通过fiddler抓取app端。查看本机IP现在都是wifi上网，直接点击wifi 图标右键更改网络属性笔记本的ip 192.168....原创 2019-05-05 10:31:59 · 358 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-fiddler的断点设置（八）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-fiddler的断点设置（八）抓包其实很多人的最终目的，其实你的想法我早已看透，就是为了设置断点修改下数据看看他的神奇之处，中间人的工具其实就是这样，有句话捎话捎多，捎钱少捎少，如果修改了数据中间人就是这种角色。###设置断点的两种方式####（一...原创 2019-04-30 08:47:53 · 239 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-fiddler抓包软件详细配置（七）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-fiddler抓包软件详细配置（七）挑选常用的功能给各位老铁介绍下。fiddler第一次进入fiddlerfiddler会请求fiddler的官网，检查更新操作布局分布工具栏File -capture traffic...原创 2019-04-29 08:51:59 · 315 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-移动端自动化测试工具appium介绍和安装（六）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-移动端自动化测试工具appium介绍和安装（六）Appium是一个自动化测试开源工具，支持iOS和android平台上的移动原生应用、移动Web应用和混合应用。Appium是一个跨平台工具，它允许测试人员使用同样的接口、基于不同的平台写自动化测试代码，大大...原创 2019-04-28 00:08:54 · 297 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-packet capture介绍和安装（五）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-packet capture介绍和安装（五）mitmproxy和fiddler目前讲的演示都是web端的抓包，并没有进行app端的，在介绍下第三款软件Packet Capture针对app的抓包。packet capture官网http:/...原创 2019-04-27 08:47:55 · 316 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-在linux下mitmproxy介绍和安装（四）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-在linux下mitmproxy介绍和安装（四）上次说了fiddler的抓包和参数介绍，通过fiddler抓包工具可以完成app和web端的数据，这次介绍另一款抓包公司mitmproxy，可以和python语言结合通过爬虫抓取数据。源码：https://...原创 2019-04-26 09:06:44 · 465 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-fiddler抓包工具（三）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-fiddler抓包工具（三）fiddler转包软件的安装和介绍。对比3款APP抓包工具软件名称支持的操作系统使用平台调试难易程度软件功能程度fiddlerWindows/linux/mac网页端，APP端一般多...原创 2019-04-25 08:40:58 · 473 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-安卓模拟器（二）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-安卓模拟器（二）为什么要手机模拟器，如果有条件正好有不使用的安卓手机，任何操作都有一定风险，抓取数据之前为了创造一个干净的环境，要进行刷机，适合一个合适的安卓版本，需要格式，所以使用安卓模拟机更方便，性价比也更高。使用安卓模拟机可以随意的定制各种安卓的版本...原创 2019-04-23 09:40:17 · 1093 阅读 · 0 评论 -
「docker实战篇」python的docker爬虫技术-导学（一）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-导学（一）这个专辑开始从环境的搭建到app数据抓取的整套的实战流程。我们会学到什么？老铁，只有个电脑没有手机怎么办，没事我想到了用模拟器，说实话模拟器没有手机爬的效率快，但是模拟器都会了手机还是问题不？安卓模拟器的搭建抓包工具自动化控制...原创 2019-04-15 01:06:21 · 283 阅读 · 0 评论 -
「实战篇」开源项目docker化运维部署（终结篇）（11）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「实战篇」开源项目docker化运维部署（终结篇）（11）最早系统部署到自己的服务器，有虚拟IP，可以完成热备，大概是2013年的时候，公司的服务器要升级到云端放到阿里云上，阿里云没有虚拟ip，keepalived没办法完成热备。只能通过nginx来进行负载完成十几台机器的负载。也有nginx挂的时候，2014年...原创 2019-04-14 12:44:05 · 255 阅读 · 1 评论 -
「实战篇」开源项目docker化运维部署-Portainer管理集群部署（十）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「实战篇」开源项目docker化运维部署-Portainer管理集群部署（十）之前都是通过命令的方式，管理docker的，其实docker还是有图形界面的。使用图形界面如何管理docker，其实业界很多公司都对docker进行了图形化的封装。之前在初级和中级的时候也有界面marathon。这里说下业界比较出名的p...原创 2019-04-12 09:39:26 · 265 阅读 · 0 评论 -
「实战篇」开源项目docker化运维部署-借助dockerSwarm搭建集群部署（九）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「实战篇」开源项目docker化运维部署-借助dockerSwarm搭建集群部署（九）为了让学习的知识融汇贯通，目前是把所有的集群都放在了一个虚拟机上，如果这个虚拟机宕机了怎么办？俗话说鸡蛋不要都放在一个篮子里面，把各种集群的节点拆分部署，应该把各种节点分机器部署，多个宿主机，这样部署随便挂哪个主机我们都不担心。...原创 2019-04-10 18:17:26 · 1117 阅读 · 0 评论 -
「实战篇」开源项目docker化运维部署-前端java部署（八）
本节主要说说前端的部署需要注意的点，本身renren-fast这个项目就是通过nodejs来进行开发的，nodejs编译后生成html，css，img所以，咱们不用在容器直接用nginx就可以访问静态文件。源码：https://github.com/limingios/netFuture/blob/master/前端/https://github.com/daxiongYang/renren-...原创 2019-04-09 10:39:09 · 198 阅读 · 0 评论 -
「实战篇」开源项目docker化运维部署-后端java部署（七）
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「实战篇」开源项目docker化运维部署-后端java部署（七）本节主要说说后端的部署需要注意的点，本身renren-fast这个项目就是通过springboot来进行开发的，springboot内置的有tomcat所以，咱们不用在容器内安装tomcat，直接用jar文件来进行运行。源码：https://gith...原创 2019-04-04 08:53:45 · 220 阅读 · 0 评论