Spark（RDD和action操作算子、transformation转换算子） Spark中什么是RDD，什么是算子RDD(Resilient Distributed Dataset)，弹性分布式数据集。 RDD理解图 RDD是Spark数据结构最基本的抽象化概念之一。 本质上 RDD是不存数据的，存的是计算逻辑，打个比方： 有一个流水线工厂里面有工人RDD1、RDD2、RDD3当一个工件下来时RDD1做的是flatMap（）加工，做完之后，被加工后的工件传到RDD2那边做map（）加工，之后再传给RDD3做一些其他加工。 直到工件加工完成 出货为止。.
Mysql05 导入项目 索引提高查询效率每个字段都可以加索引给经常做查询的字段加索引主键默认包含索引alter table 表名 add index 索引名称(字段)alter table student add index nameindex(name);alter table student drop index nameindex;事务mysql批处理 执行一批SQL语句 原子性的 不可再分割 要成功 都成功 要失败都失败sql的执行每一条都是独立的事务可以对于多张表进行同时操
Mysql04 连表联查 where 和 havingwhere和having都是用做筛选where:处理元数据(from读取的数据)having:对from读取数据的处理结果进行再次筛选where->group by ->havingselect *,age-18 as c from student where c>2; # 报错select *,age-18 as c from student having c>2; # 正确select sex,count(*)
Mysql03 时间函数 排序 逻辑判断 时间函数获取时间 获取年月日 获取时分秒 获取年月日时分秒-- 获取所有select CURRENT_TIMESTAMP();select CURRENT_TIMESTAMP;-- 获取年月日select CURRENT_DATE();select CURRENT_DATE;-- 获取时分秒SELECT CURRENT_TIME();SELECT CURRENT_TIME;时间和varchar相互转换 时间转str-- SELECT CURRENT_Date;
Mysql02 对表进行操作 alter修改的作用 修改库 修改表 修改字段修改库的编码集alter database shujia character set utf8修改表的编码集alter table students character set utf8修改表名alter table student rename to students修改字段:change(字段一旦包含数据:类型的变化)能修改字段的所有内容:可以修改成新的 也可以在原字段上修改# 修改成一个新的字段al
MySQL01 SQL语言基础语法特点SQL对关键字的大小写不敏感SQL语句可以以单行或者多行书写，以分号结尾SQL的注释单行注释 - - ，- - 后面一定要加一个空格；单行注释#，#可以不加空格；多行注释： /*多行注释*/...
Shell脚本命令 1 Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 Shell是用户与Linux操作系统沟通的桥梁。在学习Shell语言之前，我们需要先去安装一个可视化界面，连通Linux虚拟机方便我们操作，这里选择finalshell或者选择Xshell和Xftp组合使用，我使用的是finalshell。打开是一个这样的界面，点击那个.
Linux虚拟机的安装和环境变量配置 Linux介绍常见的批操作系统有Linux、Unix、Windows。Linux是一段程序代码，是我们计算机的操作系统，是一个自由的，免费的，源码开放的操作系统。也是开源软件中最著名的例子。和windows一样有32位和64位。Unix也是一款强大的服务器操作系统，历史悠久，商业性质较强。对比：1、Linux思想源于Unix进行开发，2、Linux属于开源免费软件，公开内核源代码。而Unix属于闭源收费软件。 3、Linux可以自由安装，支持绝大部分硬件平台，而Unix通常和硬件进行配套，比如S
递归算法的简单解释和用法 递归：方法定义中调用方法本身的现象注意： 1、搞清楚递归和嵌套的区别：递归是方法定义的时候出现，嵌套是方法使用的时候出现的 2、递归要有出口条件（结束条件），如果没有，就成了死递归，要不就是从前有座山山里有座庙，庙里有个老和尚和小和尚说从前有座山…………，一个死循环的故事3、构造方法不能递归，递归次数也不能太多，否则造成栈溢出 //死递归 public void show(){ show(); }递归案例，求18 求1+2!+3!+.....
File类的概述及其功能 File类的概述它是文件和目录路径名的抽象表示，文件和目录是可以通过File封装成对象的。对于File而言，其封装的并不是一个真正的文件，仅仅是一个路径名，他可以是存在的，也可以是不存在的，将来要通过具体的操作把这个路径的内容转化成具体存在的。构造方法：public File(String pathname) 通过将给定的路径名字符串转换为抽象路径名来创建新的File实例。 如果给定的字符串是空字符串，则结果是空的抽象路径名。 public File(Strin...
Throwable异常和处理异常的方案（try……catch……finally；throws） Throwable异常的概念java程序出现了不正常的现象，异常主要分为两大类Exception和ErrorError表示非常严重的错误，一般情况下我们无法自己处理，那就不处理。Exception异常有两类，一类是RuntimeException，表示运行时期异常，这样的异常一般是由于代码逻辑不够严谨导致的，可以按照编译时期异常的处理方式去处理，另外一种是非RuntimeException异常，叫做编译时期异常，一定要处理，如果不处理，编译不通过，程序无法运行处理异常的方式1.try……
Map接口及其实现类（集合） Map接口的概念特点Map 接口元素是由一个一个键值对组成，键不允许重复，值允许重复，<K,V> 键值对--HashMap 底层数据结构是哈希表，保证了元素的唯一（指的是键的唯一性），元素是无序 当键是自定义类型的时候，要想保证唯一性，就必须重写hashCode()方法和equals()方法 --LinkedHashMap 底层数据结构是哈希表和链表 哈希表保证的是元素的唯...
Collection接口中的Set接口及其实现类（集合） Set集合及其子类的相关概念--Set Set集合中存储的元素是不重复的，并且无论你存进去的先后顺序怎样，它都是无序的--HashSet底层数据结构是哈希表，哈希表保证元素的唯一性但是当存储的是自定义对象的时候，要重写hashCode()和equals()方法 --LinkedHashSet底层数据结构是哈希表和链表，哈希表保证元素的唯一性，链表保证元素的有序（存储和取出顺序一致）--TreeSet底层数据结构是红黑树，遍历的时候中...
Collection接口中的List接口及其实现类（集合） List接口的概念--List 元素允许重复，是有序的（存储和取出顺序一致），拥有下标索引的特点，List接口里面我们主要学习ArrayList、Vector、LinkedList实现类--ArrayList 底层数据结构是数组，查询快，增删慢 线程不安全的，效率高--Vector 底层数据结构是数组，查询快，增删慢 线程是安全的，效率低 （即使是线程安全的，我们将来不会去使用，因为有更好...
集合体系结构Collection 集合Collection接口Collection层次结构中的根接口，Collection表示一组对象，这些对象也称为Collection的元素，Collection是单列集合，分为List和Set两大类，List接口里可以重复，有ArrayList，LinkList等实现类，Set接口里不可以重复，有HashSet，TreeSet等实现类Map接口Map接口是双列集合，有HashMap等实现类我们在学习的时候先学习接口，这样我们在学习实现类的时候，就可以只需要去学习实现类的特有方法，我们
关注
