这节课学的是关于文件的操作,完整的程序都包括数据的储存和读取,一般的程序数据都没有实际储存,在解释器执行完就消失了,需要从外部储存到介质中来读取数据,或是将程序生产的数据储存到文件中,实现持久化保存,储存的形式有基于数据库或是文件形式。
文本文件和二进制文件:文本文件:python默认的是unicode字符集,可以使用记事本程序打开;二级制文件:把数据内容用字节进行储存,无法用记事本打开,必须使用专用的软件解码。
文件操作相关模块:这个地方所涉及到io、os、glob、fnmatch、fileinput、filecmp、cvc、pickle、cPickle、xml包。
创建文件对象open(),open()函数用于创建文件对象,如果只是文件名,代表在当前目录下的文件。文件名可以录入全路径。为了减少“\”的输入,可以使用原始字符串:r"d:\b.txt"。模式中r代表的是读read模式,w为写writre模式,a为append追加模式,b为二进制binary模式,+为读写模式。
文本文件的写入:基本文件写入操作:1、创建文件对象;2、写入数据;3、关闭文件对象。
f = open(r"b.txt","w")
s = "itbaizhan\nsxt\n"
f.write(s)
f.close()
常见编码的介绍:在操作文本文件的时候,经常会操作中文,这时候就会经常碰到乱码的问题。所有用到的编码为:ASCII、ISO8859-1、GB2312、GBK、GB18030、Unicode、UTF-8。这些编码的问题很多编程都是统一的,这个地方不在说太多。
中文乱码问题:window操作系统默认的编码是GBK,Linux操作系统默认的编码是UTF-8,在使用open()时调用的是操作系统打开的文件,默认的编码是GBK。
# 测试中文
f = open(r"a.txt","a",encoding="utf-8")
s = "尚学堂\n百战程序员\n"
f.write(s)
f.close()
write()/writelines()写入数据,前者是把字符串a写入到文件中,后者是把字符串列表写入到文件中,不添加换行符。
#coding=utf-8
f = open(r"d:\bb.txt","w",encoding="utf-8")
s = ["赵航\n","李四\n","王五\n"]
f.writelines(s)
f.close()
这里存在一个问题,就是我每次在新的.py文件敲代码的时候必须要加上#coding=utf-8,不知道这是为什么,之前是不用加的。
close()关闭文件流:文件底层是有操作系统控制,打开文件的对象必须是显式调用,close()方法关闭文件对象,当调用close()方法是时,首先会把缓冲区数据写入文件,也可以直接调用flush(),再关闭文件,释放文件对象。
#使用异常机制来管理文件对象的关闭操作
try:
f = open(r"c.txt","a")
str = "zhaohang"
f.write(str)
except BaseException as e:
print(e)
finally:
f.close()
with语句(上下文管理器):with关键词,可以自动管理上文资源,无论什么原因跳出with块,都能确保文件正常的关闭,并且可以在代码块执行完毕后自动还原进入代码块时的现场。
with open(r"d.txt","a") as f:
f.write("zhaohang")
文本文件的读取:1、read([size]):从文件中读取size个字符,并作为结果返回,如果没有size参数,则读取整个文件,读取到文件末尾,会返回空字符串。2、readline():读取一行内容作为结果返回,读取到文件末尾,会返回空字符串;3、文本文件中,每一行作为一个字符串存入列表中,并返回改列表。
#a = ["I love you!\n","西农\n","水建\n"]
#b = enumerate(a)
#print(a)
#print(list(b))
with open("e.txt","r",encoding="utf-8") as f:
lines = f.readlines()
lines = [ line.rstrip()+"#"+str(index) for index,line in enumerate(lines)]
with open("e.txt","w",encoding="utf-8") as f:
f.writelines(lines)
二进制文件的读取和写入:二进制文件处理流程和文本文件流程一致,首先还是要创建文件对象,指定二进制模式,从而创建出二进制文件对象。
#二进制文件的读取和写入
with open("aa.gif","rb") as f:
with open("aa_copy.gif","wb") as w:
for line in f.readlines():
w.write(line)
print("图片拷贝完成!")
文件对象的常用属性和方法:文件对象封装了文件相关的操作;name:返回文件名字;mode:返回文件的打开模式;closed:若文件被关闭则返回True。文件对象的打开模式:和上面讲述创建文件对象的含义是一致的,包括:r、w、a、b、+;文件对象常用的方法:read([size])、readline()、readlines()、write()、seek(offset[,whence])、tell()、truncate([size])、flush()、close()。这些属性和方法对应相关的功能,记忆的内容比较多,用的时候可以再次查找。
文件任意位置的操作:采用seek()来移动文件指针。
with open("e.txt","r",encoding="utf-8") as f:
print("文件名:{0}".format(f.name))
print(f.tell())
print()
print("读取内容:{0}".format(str(f.readline())))
print(f.tell())
f.seek(0,0)
print("读取内容:{0}".format(str(f.readline())))
pickle()序列化:一切皆为对象,对象的本质就是存储数据的内存块,需要对象的序列化和反序列化;序列化:就是将对象转化成串行化数据形式,存储到硬盘或是通过网络传输到其他地方;反序列化:是指的反向的过程,将读取的串行化数据转化成对象。可以使用pickle模块中的函数没实现序列化和反序列操作。
a1 = "赵航"
a2 = 234
a3 = [10,20,30]
with open("data.dat","wb") as f:
pickle.dump(a1,f)
pickle.dump(a2,f)
pickle.dump(a3,f)
with open("data.dat","rb") as f:
b1 = pickle.load(f);b2 = pickle.load(f);b3 = pickle.load(f)
print(b1);print(b2);print(b3)
print(id(a1));print(id(b1))
CSV文件的操作:是逗号分隔符文本格式,常用于数据交换,在CSV文件中值没有类型,所有的值都是字符串,不能指定字体颜色等样式,不能指定单元格的宽高,不能合并单元格,没有多个工作表,不能嵌入图形图标等。
#测试CSV文件的读取和写入
import csv
with open("CSV text.csv","r") as f:
a_csv = csv.reader(f)
# print(list(a_csv))
for row in a_csv:
print(row)
with open("ee.csv","w") as f:
b_csv = csv.writer(f)
b_csv.writerow(["ID","姓名","年龄"])
b_csv.writerow(["1001","赵三","18"])
os和os.path模块:os模块可以直接对操作系统进行操作,直接调用操作系统的可执行文件、命令,直接操作文件、目录等等;
os模块-嗲用操作系统命令,os.system可以直接调用系统的命令。
import os
#os.system("notepad.exe") 调动记事本
#os.system("regedit") 调动注册表
#os.system("ping www.baidu.com")
#os.system("cmd")
#调用可执行的文件
os.startfile(r"D:\微信\WeChat\WeChat.exe") #调用微信
os模块-文件和目录操作,可以通过文件对象实现对于文件内容的读写操作,可以使用os和os.path模块。remove(path):删除指定的文件;rename(src,dest):重命名文件和目录;stat(path):返回文件的所有属性;listdir(path)返回path目录下的文件和文件列表。
os关于目录操作的相关方法:mkdir(path):创建目录;makedirs():创建多级目录;rmdir(path):删除目录;removedires():删除多级目录;getcwd():返回当前工作目录:current work dir;chdir(path):把path设为当前目录;walk():遍历目录数;sep:当前操作系统所使用的路径分隔符。
#coding=utf-8
# 测试os模块中,关于文件和目录的操作
import os
################获取文件和文件夹相关的信息#################
#print(os.name) #window nt linux和unix posix
#print(os.sep) #window \ linux和unix /
#print(repr(os.linesep)) #window \r\n linux \n\
#print(os.stat("my02.py"))
#############关于工作目录的操作#################
#print(os.getcwd())
#os.chdir("d:") #改变工作目录为d盘
#os.mkdir("书籍")
#################创建目录、创建多级目录、删除###################
#os.mkdir("书籍")
#os.rmdir('书籍')
#os.makedirs("电影/港台/周星驰")
#os.removedirs("电影/港台/周星驰") #只能删除空目录
#os.makedirs("../音乐/香港/李德华/")
################重命名#########################
#os.rename("电影","movie") #重新命名文件的名字
############
from t
dirs = os.listdir("movie")
print(dirs)
os.path模块提供了目录相关(路径判断、路径切分、路径连接、文件夹遍历)的操作:isabs(path):判断path是否是绝对路径;isdir(path):判断path是否是目录;isfile(path):判断是否是文件;exist(path):判断指定路径的文件是否存在;getsize(filename):返回文件大小;abspath:返回绝对路径;dirname(p):返回目录的路径;getatime(filename):返回文件的最后访问时间;getmtime(filename):返回文件的最后修改时间;walk(top,func,arg):递归方式遍历目录;join(path,*path):;连接多个path;split(path):对路径进行分割,以列表的形式返回;splitexe(path):从路径中分割文件的扩展名。
#coding=utf-8
#测试 os.path中关于目录、路径的操作
import os
import os.path
#from os import path
#############判断绝对路径、是否是目录、是否是文件、是否存在#############
print(os.path.isabs("d:/a.txt")) #Ture
print(os.path.isdir("d:/a.txt"))
print(os.path.isfile("d:/a.txt"))
print(os.path.exists("a.txt"))
#####################获得文件信息######################
print(os.path.getsize("b.txt")) #文件大小
print(os.path.abspath("b.txt")) #输出的绝对路径
print(os.path.dirname("d:/b.txt")) #输出目录
print(os.path.getctime("b.txt"))
print(os.path.getatime("b.txt"))
print(os.path.getmtime("b.txt"))
##################对于路径的操作##############################
path = os.path.abspath("b.txt")
print(os.path.split(path))
print(os.path.splitext(path))
print(os.path.join("aa","bb","cc"))
#coding=utf-8
#列出工作目录所有的.py文件,并输出文件名
import os
path = os.getcwd() #获得工作空间
file_list = os.listdir(path) #列出子目录、子文件
for filename in file_list:
if filename.endswith("py"):
print(filename)
print("#################################")
file_list2 = [filename for filename in os.listdir(path) if filename.endswith(".py")]
for filename in file_list2:
print(filename,end="\t")
walk()递归遍历所有文件和目录:返回三个元素的元组:dirpath:要累出指定目录的路径;dirnames:目录下所有的文件夹;filenames:目下所有的文件。
#测试os.walk()递归遍历所有的子目录和子文件
#coding=utf-8
import os
all_files = []
path = os.getcwd()
list_files = os.walk(path)
for dirpath,dirnames,filenames in list_files:
for dir in dirnames:
all_files.append(os.path.join(dirpath,dir))
for file in filenames:
all_files.append(os.path.join(dirpath,file))
for file in all_files:
print(file)
shutil模块(拷贝和压缩):shutil模块时Python标准库提供的,主要是用来做文件和文件夹的拷贝、移动、删除等;还可以做文件和文件夹的压缩、解压缩操作。os模块提供的是对目录和文件的一般操作,shutil模块时作为补充,提供了移动、复制、压缩、解压等操作,这些os模块是没有的。
#coding=utf-8
#测试shutil模块的使用方法
import shutil
#shutil.copyfile("1.test","1_copy")
#shutil.copytree("movie/港台","电影") #电影目录不存在时才能正常拷贝
#shutil.copytree("movie/港台","电影",ignore=shutil.ignore_patterns("*.txt,*.html"))
#shutil.make_archive("电影/gg0","zip","movie/港台")
z1 = zipfile.ZipFile("a.zip","w")
z1.write(1.txt)
z1.write(2.txt)
z.close()
递归算法:递归把问题逐渐简单化,递归的基本思想就是自己调用自己,一个递归技术的方法将会直接或是间接的调用自己,利用递归可以用简单的程序来解决一些复杂的问题。
递归结构包括两部分:1、定义递归头;2、递归体:什么时候需要调用自身方法。
#使用递归来求阶乘
#coding=utf-8
def factorial(n):
if n==1:
return n
else:
return n*factorial(n-1)
print(factorial(5))
递归缺陷:简单的程序是递归的优点之一,但是递归调用占用大量系统的堆栈,内存耗用多,在递归调用层次多时速度要比循环慢的多,多以递归在使用的时候要慎用。
#coding=utf-8
#递归打印所有的目录和文件
import os
allfiles = []
def getAllFile(path,level):
childFiles = os.listdir(path)
for file in childFiles:
filepath = os.path.join(path,file)
if os.path.isdir(filepath):
getAllFile(filepath,level+1)
print("\t"*level+filepath)
allfiles.append("\t"*level+filepath)
getAllFile("text_os",0)
for f in reversed(allfiles):
print(f)