- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据与spark的简介
首先了解一下，大数据是什么呢？大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的四大V：数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Value)第一代诞生的大数据生态圈是由Google通过各种发表关于Hadoop的相关论文，开源等措施推动的，然后各个成员跟随，例如Apache等。其标志性的组件为：Hadoo
2021-06-11 14:16:15
235
1
原创 作业
Spark是一种安全的、经正式定义的编程语言，被设计用来支持一些安全或商业集成为关键因素的应用软件的设计。其通过运行用户定义的main函数，在集群上执行各种并发操作和计算Spark提供的最主要的抽象，Spark的正式和明确的定义使得多种静态分析技术在Spark源代码的应用中成为可能。从高的层面来看，其实每一个Spark的应用，都是一个Driver类，通过运行用户定义的main函数，在集群上执行各种并发操作和计算Spark提供的最主要的抽象，是一个弹性分布式数据集(RDD)，它是一种特殊集合，可以分布在集
2021-03-03 11:04:10
70
原创 第五次
1.）时间戳------->时间元组:1.time1 = time.time()2.tuple = time.gmtime(time1) # UTC时间3.print(tuple)4.tuple1 = time.localtime(time1) # UTC + 8 时间5.print(tuple1)21.tuple = time.localtime()2.字符串strTime = time.strftime("%Y-%m-%d %H:%M:%S",tuple)3.print(strTime)4.
2020-11-30 18:14:16
69
1
原创 第四次
什么是模块?python中的模块是一个 包含事先定义好的函数和变量的文件，其后缀名是.py。模块可以被别的程序引入，以使用该模块中的函数等功能。使用模块想使用Python源文件，只需在另一个源文件里执行 import语句语法如下:import模块名例如import os个模块只会被导入一次，不管你执行了多少次import。 这样可以防止导入模块被一遍又-一遍地执行。Python 模块(Module)，是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语
2020-11-25 19:58:01
144
原创 第三次
认识字典字典(散列表)是一种通过”键”来引用”值”的数据结构.字典中的值没有特殊的顺序，但都是存储在个特定的健(key)下{ “key” :None,“1”:"a”}是数字，字符串，也可以是元组键只能是不可变数据类型。变量名= {key:value}另一个非常有用的 Python 内建数据类型是字典。序列是以连续的整数为索引，与此不同的是，字典以关键字为索引，关键字可以是任意不可变类型，通常用字符串或数值。理解字典的最佳方式是把它看做无序的键=>值对集合。在同一个字典之内，关键字必须是
2020-11-18 20:47:11
207
原创 2020-11-11
函数是Python里面组织代码的最小单元def add(x, y):函数定义是使用def关键字来定义的，仅接着是函数名，函数名后面用一对小括号列出参数列表，参数列表侯曼使用冒号结束函数体，参数可有可无，不影响函数的定义print(x + y)函数体是正常的Python语句，可以包含任何结构return x + yreturn 语句表示函数的返回值函数是由输入(参数)和输出(返回值)，函数其实是一个代码单元，把输入转化为输出函数的调用定义函数的时候，并不会执行函数体，当调用函数的时候，才会
2020-11-11 21:37:25
58
原创 2020-11-04
字符串什么是字符串？##1.字符串或串(String)是由数字、字母、下划线组成的一串字符。它是编程语言中表示文本的数据类型。在需要在字符中使用特殊字符时，python用反斜杠()转义字符。常用转义符如下：l(在行尾时) 续行符l\ 反斜杠符号l’ 单引号l" 双引号l\n 换行l\v 纵向制表符l\t 横向制表符序列序列序列的定义##2.什么是序列？序列是被排成一列的数据,也就是说是有序的数据集合.python中有三种常用的序列：(1)列表 list [1,2,3,4]
2020-11-04 19:33:16
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人