zzqtty的博客

原创 instagram 爬虫 2021，下载可用

1.爬虫选择由于我是java开发人员，所以首先选择的是java爬虫。但是java做爬虫不太友好。之前我是用的nutch2.2.1，爬取的newsbrak和vmate,但是这个工具比较老。最近需要爬取instagram的图片的视频，首先排除了nutch因为需要登录和ajax动态加载数据。然后尝试了下webmagic，但是账号被提示封禁。在尝试了许多网上的方法后，找到了解决方案。大部分实现方案都是python，还有的使用js实现。但是都没有被模块化，使用不方便。还有的项目比较老，现在运行报错。2.jav

原创 nutch爬取笔记简单记录

将apache-nutch-2.2.1-src.zip上传到liunx服务器路径 /opt/nutch修改配置解压apache-nutch-2.2.1-src.tar.gz修改gora.properties的数据库配置$ wget http://archive.apache.org/dist/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz $ tar zxf apache-nutch-2.2.1-src.tar.gz2.替...

原创 java中的设计模式 - 七个结构型模式（完整代码实现）

目录​​​​​​​​​​​适配器模式桥接模式组合模式装饰模式外观模式享元模式代理模式 适配器模式 适配器模式(Adapter Pattern)：将一个接口转换成客户希望的另一个接口，使接口不兼容的那些 类可以一起工作，其别名为包装器(Wrapper)。适配器模式既可以作为类结构型模式，也可以作为对 象结构型模式。 桥接模式 组合模式 装饰模式 外观模式 享元模式 代理模式 ...

原创 java中的设计模式 - 六个创建模式(完整代码)

1.简单工厂模式 2.工厂方法模式 3.抽象工厂模式 4.单例模式 5.原型模式 6.建造者模式

原创 java中的设计模式 - 面向对象设计7个原则

设计模式理解面向对象设计原则1.单一职责原则2.开闭原则3.里氏替换原则4.依赖颠倒原则5.接口隔离原则6.合成复用原则7.迪米特法则 设计模式理解 设计模式即是内功 面向对象设计原则 1.单一职责原则 一个类，只有一个引起它变化的原因 2.开闭原则 对扩展开发，对修改关闭代码中尽量不要出现 if else 语句 3.里氏替换原则 所有引用基类的地方必须能透明低使用其子类对象 ..

原创 人生感悟

2020-8-18 到 2020-9-28每天一个水果 每天晚上语音谈话交友 亚马逊组件研究 零和博弈搞不得，还是得看股市无线游戏，价值投资 技术的不断提升，才能不被社会淘汰 学如逆水行舟，不进则退 罗曼.罗兰在《约翰•克利斯朵夫》曾说过，“大部分人在二三十岁上就死去了，因为过了这个年龄，他们只是自己的影子，此后的余生则是在模仿自己中度过，日复一日，更机械，更装腔作势地重复他们在有生之年的所作所为，所思所想，所爱所恨。 5G的到来，需要强有力的电池，可否重电池入手？能源，环保的革命，必将石

原创 将idea项目使用exe4j打包成exe文件，带jre，jdk环境

1.将项目打包成jar新建java或maven项目，编写可执行的main文件 打包jar文件选择项目和main文件输出报名和位置设置结束，下一步导出导出后会在刚才设置的位置有个jar包，到此，jar包导出完成2.将jar包转成exe文件直接使用我参考的文档，还不错https://wenku.baidu.com/view/e7ed6741b307e87101f696d4.html注意：文章的这个位置，一定是 ./...

原创 面向对象编程 深度学习分析--进阶-类（三）

类Point p = new Point();再次理解以前我一直以为对象都是放在堆中的，栈是数据临时运输存储的，这里理解可能有问题。

原创 基本数据类型 深度学习分析--进阶（二）

==符号认识参数可变函数package test20623Method;public class MethodTestMain { /** * 返回最大值 -- 参数长度可变函数 * * @param min * @param a 可以理解成数组 */ public static int max(int min ,int ... a){ int max = min ; for(int i =0;i<a.length;i+..

原创 基本数据类型 深度学习分析--进阶（一）

long 字符定义需要加Lfloat字符定义需要加f数组类型与基本类型明显不同=====================================垃圾百度--来自程序员的吐槽，坐等夸克电脑版

原创 流方式读取excel内容工具

日常小工具：excle解析读取public static List<List<Object>> excel(FileInputStream fis,String fileName) throws IOException { //用流的方式先读取到你想要的excel的文件 //FileInputStream fis=new FileInputStream(file); //获取整个excel //根据版本选择创建Workbook的方式

原创 慢查询

SHOW VARIABLES LIKE '%slow_query%'SET GLOBAL slow_query_log = ONSET GLOBAL long_query_time = 3SHOW VARIABLES LIKE 'long_query_time'SET GLOBAL slow_query_log_file = slow_logSELECT SLEEP(8);...

原创 mysql:(八)

11 | 怎么给字符串字段加索引？https://download.csdn.net/download/zzqtty/1200549112 | 为什么我的MySQL会“抖”一下？https://download.csdn.net/download/zzqtty/1200556113 | 为什么表数据删掉一半，表文件大小不变？https://down...

转载 程序人生

https://www.cnblogs.com/linjiqin/p/3148278.html感谢文章出处==============================================01. 自己的户口档案、养老保险、医疗保险、住房公积金一定要保管好。由于程序员行业每年跳槽一次，我不隐瞒大家，我至少换过5个以上的单位，这期间跳来跳去，甚至是城市都换过3个。还好户口没丢掉...

原创 mysql:(七)索引

10 | MySQL为什么有时候会选错索引前面我们介绍过索引，你已经知道了在 MySQL 中一张表其实是可以支持多个索引的。但 是，你写 SQL 语句的时候，并没有主动指定使用哪个索引。也就是说，使用哪个索引是由 MySQL 来确定的。 不知道你有没有碰到过这种情况，一条本来可以执行得很快的语句，却由于 MySQL 选错 了索引，而导致执行速度变得很慢？ 我们一起来看一个例...

原创 mysql:(六)事务

08 | 事务到底是隔离的还是不隔离的InnoDB 的行数据有多个版本，每个数据版本有自己的 row trx_id，每个事务或者语句有 自己的一致性视图。普通查询语句是一致性读，一致性读会根据 row trx_id 和一致性视图 确定数据版本的可见性。 对于可重复读，查询只承认在事务启动前就已经提交完成的数据； 对于读提交，查询只承认在语句启动前就已经提交完成的数据； 而当...

原创 日志选择

日志工具：

原创 量级评估标准

原创 多线程 - 练习题（二）

第四章为何应该避免使用线程组竞态条件使得大多数方法废弃package thread;import java.util.Timer;import java.util.TimerTask;public class t201909101 { static volatile int i = 1; public static void main(Stri...

原创 多线程 - 练习题（一）

第一章节线程的定义一条在程序代码中独立执行的路径给出runnable的定义一段封装在对象中的代码序列，它的类实现了runnable接口thread类和runnable接口完成了什么类thread提供了一个底层操作系统线程架构的统一。runnable接口为关联thread对象的线程提供执行代码。创建一个runnable对象的两种方式创建一个实现了run...

原创 多线程 - 选择

原创 mysql：行锁（五）

感谢文章出处：极客邦科技================在上一篇文章中，我跟你介绍了 MySQL 的全局锁和表级锁，今天我们就来讲讲 MySQL 的行锁。 MySQL 的行锁是在引擎层由各个引擎自己实现的。但并不是所有的引擎都支持行锁，比 如 MyISAM 引擎就不支持行锁。不支持行锁意味着并发控制只能使用表锁，对于这种引 擎的表，同一张表上任何时刻只能有一个更新在执行，这...

原创 mysql:全局锁和表锁(四)

感谢文章出处：极客邦科技================MySQL 里面的锁大致可以分成全局锁、表级锁和行锁三类全局锁顾名思义，全局锁就是对整个数据库实例加锁。MySQL 提供了一个加全局读锁的方法， 命令是 Flush tables with read lock (FTWRL)。当你需要让整个库处于只读状态的时候， 可以使用这个命令，之后其他线程的以下语句会被阻塞：数据更...

原创 mysql ： 事务隔离，深入浅出索引（三）

感谢文章出处：极客邦科技================事务隔离文章较多，此处不详细解析；深入浅出索引三种模型的区别：哈希表是一种以键 - 值（key-value）存储数据的结构，我们只要输入待查找的值即 key， 就可以找到其对应的值即 Value。哈希的思路很简单，把值放在数组里，用一个哈希函数 把 key 换算成一个确定的位置，然后把 value 放在数组的这个位...

原创 mysql：一条SQL更新语句是如何执行的（二）

感谢文章出处：极客邦科技===========================查询语句的那一套流程，更新语句也是同样 会走一遍。在一个表上有更新的时候，跟这个表有关的查询缓存会失效，所以这条语 句就会把表 T 上所有缓存结果都清空。这也就是我们一般不建议使用查询缓存的原因。更新流程还涉及两个重要的日志模块，它们正是我们今天要讨论 的主角：redo log（重做...

原创 MySQL 的逻辑架构

运行一条sql，mysql 到底是怎么运行的？Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核 心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引 擎的功能都在这一层实现，比如存储过程、触发器、视图等。而存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持 InnoDB、 MyISAM、Me...

转载 intelliJ idea 学习使用 + 最全快捷键

结构插件神器free mybatis 从dao到xml的神器Key promoter 快捷键提示 我没安装的JRebel Plugin 热部署 GsonFormat 把 JSON 字符串直接实例化成类 其他快捷键Ctrl快捷键 介绍 Ctrl + F 在当前文件进行文本查找 ...

原创 设计模式代码实现（二）

观察者（ Observer ）模式观察者模式又称为发布订阅模式，是对象的行为模式。观察者模式定义了 对多的依赖关系，让多个观察者对象同时监视着被观察者的状态，当被观察者的状态发生变化会通知所有观察者 并让其自动更新自己ProductListpackage Test2019616;import java.util.ArrayList;import java.uti...

原创 设计模式代码实践

1.反射package Test2019616;public class ReflectImpl { public void sayHello(String name) { System.out.print("Hello" + name); } public ReflectImpl getInstance() { Reflect...

原创 mysql 优化查询

复制表结构mysql&gt; create table t3 like t2;插入数据索引视图--可以理解成中间表，它是依赖于表的，数据是动态的，mysql内置日期函数mysql的预处理---将SQL语句存储到mysql中，方便用时直接拿mysql的事务存储过程触发器正则表达式help帮助...

原创 mysql 进阶-主从，分区

liunx下mysql的安装https://blog.csdn.net/a774630093/article/details/79270080注意版本问题mysqld_safe error: log-error set to '/var/log/mariadb/mariadb.log', however file don't exists. Create writable for ...

原创 面试经验总结

题外话等了一天hr的电话，终于确定了新的工作。从刚开始过了面试的高兴，到等hr的通知焦虑，最终的确定，可谓是一波多折，心境也起起伏伏。面试了几家公司，总结了一下自己的一些心得送给有需要的人。楼主本人不知名的 211大学，软件工程，一般的技术，2017年正式毕业，而后在上海，然后回的成都。其实在大学的时候，真的该认认真真学习的，如果和高中一样努力的话，现在也应该是在知名企业了。在学...

原创 代码理解多线程（三）

非多线程安全容器ArrayListpackage test19218;import java.util.ArrayList;import java.util.Collections;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;impo...

原创 代码理解多线程（二）

volatile 到底有什么用？package test19218;import java.util.ArrayList;import java.util.List;public class ListAdd1 {            //变量    private  static List list = new ArrayList();              ...

原创 代码理解多线程（一）

 多线程访问会有什么问题？？ public class TestMyThread extends Thread{        //共享变量    private int a = 5;        //重写run方法    @Override    public  void  run(){                a--;        System.ou...

原创 java-数据结构

感谢：https://www.cnblogs.com/ysocean/p/7889153.html 编程好比是一辆汽车，而数据结构和算法是汽车内部的变速箱。一个开车的人不懂变速箱的原理也是能开车的，同理一个不懂数据结构和算法的人也能编程。但是如果一个开车的人懂变速箱的原理，比如降低速度来获得更大的牵引力，或者通过降低牵引力来获得更快的行驶速度。那么爬坡时使用1档，便可以获得更大的牵引力；下...

原创 lvs

网站加速 也可使用nginx，redis，solr等 网站服务，流量监控 监控服务器可以用sigar和GitHub的开源shiro；数据连接池druid LVS ISO⑦层模型交换机原理路由器工作原理 路由和交换的对比 lvs模式         lvs的三种模式的demo;  ...

原创 为什么使用PostgreSQL

感谢：https://www.yiibai.com/postgresql/postgresql-datatypes.html=============================================PostgreSQLPostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)。 用于安全地存储数据; 支持最佳做法，并允许在处理请求时检索它们。Po...

原创 java面试-汇总篇

并发编程，网络通信，java虚拟机，linux的常用命令与分布式的环境搭建，数据库的设计和优化，消息中间件熟悉netty，redis，mysql，oracle，mongodb，postgresql，activemq，rocketmq，zookeeper，nginx==================================分布式：负载均衡：　　　　Nginx：高性能、高并...

原创 redis 进阶

1.基本数据结构redis是单线程的C语言编写string，hash，list，set，zset新增 2.其他功能  3.应用场景命令     结构 String    mget用于减少网络传输，提高性能  hash list  set  zset 慢...