小白学python日志（10）-文件操作（IO技术）

这节课学的是关于文件的操作，完整的程序都包括数据的储存和读取，一般的程序数据都没有实际储存，在解释器执行完就消失了，需要从外部储存到介质中来读取数据，或是将程序生产的数据储存到文件中，实现持久化保存，储存的形式有基于数据库或是文件形式。

文本文件和二进制文件：文本文件：python默认的是unicode字符集，可以使用记事本程序打开；二级制文件：把数据内容用字节进行储存，无法用记事本打开，必须使用专用的软件解码。

文件操作相关模块：这个地方所涉及到io、os、glob、fnmatch、fileinput、filecmp、cvc、pickle、cPickle、xml包。

创建文件对象open（），open（）函数用于创建文件对象，如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径。为了减少“\”的输入，可以使用原始字符串：r"d:\b.txt"。模式中r代表的是读read模式，w为写writre模式，a为append追加模式，b为二进制binary模式，+为读写模式。

文本文件的写入：基本文件写入操作：1、创建文件对象；2、写入数据；3、关闭文件对象。

f = open(r"b.txt","w")
s = "itbaizhan\nsxt\n"
f.write(s)
f.close()

常见编码的介绍：在操作文本文件的时候，经常会操作中文，这时候就会经常碰到乱码的问题。所有用到的编码为：ASCII、ISO8859-1、GB2312、GBK、GB18030、Unicode、UTF-8。这些编码的问题很多编程都是统一的，这个地方不在说太多。

中文乱码问题：window操作系统默认的编码是GBK，Linux操作系统默认的编码是UTF-8，在使用open（）时调用的是操作系统打开的文件，默认的编码是GBK。

# 测试中文
f = open(r"a.txt","a",encoding="utf-8")
s = "尚学堂\n百战程序员\n"
f.write(s)
f.close()

write（）/writelines（）写入数据，前者是把字符串a写入到文件中，后者是把字符串列表写入到文件中，不添加换行符。

#coding=utf-8
f = open(r"d:\bb.txt","w",encoding="utf-8")
s = ["赵航\n","李四\n","王五\n"]
f.writelines(s)
f.close()

这里存在一个问题，就是我每次在新的.py文件敲代码的时候必须要加上#coding=utf-8，不知道这是为什么，之前是不用加的。

close（）关闭文件流：文件底层是有操作系统控制，打开文件的对象必须是显式调用，close（）方法关闭文件对象，当调用close（）方法是时，首先会把缓冲区数据写入文件，也可以直接调用flush（），再关闭文件，释放文件对象。

#使用异常机制来管理文件对象的关闭操作
try:
    f = open(r"c.txt","a")
    str = "zhaohang"
    f.write(str)
except BaseException as e:
    print(e)
finally:
    f.close()

with语句（上下文管理器）：with关键词，可以自动管理上文资源，无论什么原因跳出with块，都能确保文件正常的关闭，并且可以在代码块执行完毕后自动还原进入代码块时的现场。

with open(r"d.txt","a") as f:
    f.write("zhaohang")

文本文件的读取：1、read（[size]）：从文件中读取size个字符，并作为结果返回，如果没有size参数，则读取整个文件，读取到文件末尾，会返回空字符串。2、readline（）：读取一行内容作为结果返回，读取到文件末尾，会返回空字符串；3、文本文件中，每一行作为一个字符串存入列表中，并返回改列表。

#a = ["I love you!\n","西农\n","水建\n"]
#b = enumerate(a)
#print(a)
#print(list(b))

with open("e.txt","r",encoding="utf-8") as f:
    lines = f.readlines()
    lines = [ line.rstrip()+"#"+str(index) for index,line in enumerate(lines)]
with open("e.txt","w",encoding="utf-8") as f:
    f.writelines(lines)

二进制文件的读取和写入：二进制文件处理流程和文本文件流程一致，首先还是要创建文件对象，指定二进制模式，从而创建出二进制文件对象。

#二进制文件的读取和写入
with open("aa.gif","rb") as f:
    with open("aa_copy.gif","wb") as w:
        for line in f.readlines():
            w.write(line)
print("图片拷贝完成！")

文件对象的常用属性和方法：文件对象封装了文件相关的操作；name：返回文件名字；mode：返回文件的打开模式；closed：若文件被关闭则返回True。文件对象的打开模式：和上面讲述创建文件对象的含义是一致的，包括：r、w、a、b、+；文件对象常用的方法：read（[size]）、readline()、readlines()、write()、seek(offset[,whence])、tell()、truncate([size])、flush()、close()。这些属性和方法对应相关的功能，记忆的内容比较多，用的时候可以再次查找。

文件任意位置的操作：采用seek（）来移动文件指针。

with open("e.txt","r",encoding="utf-8") as f:
    print("文件名：{0}".format(f.name))
    print(f.tell())
    print()
    print("读取内容：{0}".format(str(f.readline())))
    print(f.tell())
    f.seek(0,0)
    print("读取内容：{0}".format(str(f.readline())))

pickle()序列化：一切皆为对象，对象的本质就是存储数据的内存块，需要对象的序列化和反序列化；序列化：就是将对象转化成串行化数据形式，存储到硬盘或是通过网络传输到其他地方；反序列化：是指的反向的过程，将读取的串行化数据转化成对象。可以使用pickle模块中的函数没实现序列化和反序列操作。

a1 = "赵航"
a2 = 234
a3 = [10,20,30]
with open("data.dat","wb") as f:
    pickle.dump(a1,f)
    pickle.dump(a2,f)
    pickle.dump(a3,f)
with open("data.dat","rb") as f:
    b1 = pickle.load(f);b2 = pickle.load(f);b3 = pickle.load(f)
    print(b1);print(b2);print(b3)
print(id(a1));print(id(b1))

CSV文件的操作：是逗号分隔符文本格式，常用于数据交换，在CSV文件中值没有类型，所有的值都是字符串，不能指定字体颜色等样式，不能指定单元格的宽高，不能合并单元格，没有多个工作表，不能嵌入图形图标等。

#测试CSV文件的读取和写入
import csv
with open("CSV text.csv","r") as f:
    a_csv = csv.reader(f)
# print(list(a_csv))
    for row in a_csv:
        print(row)
with open("ee.csv","w") as f:
    b_csv = csv.writer(f)
    b_csv.writerow(["ID","姓名","年龄"])
    b_csv.writerow(["1001","赵三","18"])

os和os.path模块：os模块可以直接对操作系统进行操作，直接调用操作系统的可执行文件、命令，直接操作文件、目录等等；

os模块-嗲用操作系统命令，os.system可以直接调用系统的命令。

import os

#os.system("notepad.exe") 调动记事本
#os.system("regedit") 调动注册表
#os.system("ping www.baidu.com")
#os.system("cmd")
#调用可执行的文件
os.startfile(r"D:\微信\WeChat\WeChat.exe") #调用微信

os模块-文件和目录操作，可以通过文件对象实现对于文件内容的读写操作，可以使用os和os.path模块。remove(path)：删除指定的文件；rename(src,dest)：重命名文件和目录；stat(path)：返回文件的所有属性；listdir(path)返回path目录下的文件和文件列表。

os关于目录操作的相关方法：mkdir(path)：创建目录；makedirs()：创建多级目录；rmdir(path)：删除目录；removedires()：删除多级目录；getcwd()：返回当前工作目录：current work dir；chdir(path)：把path设为当前目录；walk()：遍历目录数；sep：当前操作系统所使用的路径分隔符。

#coding=utf-8
# 测试os模块中，关于文件和目录的操作

import os

################获取文件和文件夹相关的信息#################
#print(os.name) #window  nt      linux和unix    posix
#print(os.sep)  #window   \       linux和unix    /
#print(repr(os.linesep))     #window   \r\n    linux     \n\
#print(os.stat("my02.py"))
#############关于工作目录的操作#################
#print(os.getcwd())
#os.chdir("d:")    #改变工作目录为d盘
#os.mkdir("书籍")
#################创建目录、创建多级目录、删除###################
#os.mkdir("书籍")
#os.rmdir('书籍')
#os.makedirs("电影/港台/周星驰")
#os.removedirs("电影/港台/周星驰") #只能删除空目录
#os.makedirs("../音乐/香港/李德华/")
################重命名#########################
#os.rename("电影","movie")    #重新命名文件的名字
############
from t

dirs = os.listdir("movie")
print(dirs)

os.path模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作：isabs(path)：判断path是否是绝对路径；isdir(path)：判断path是否是目录；isfile(path)：判断是否是文件；exist(path)：判断指定路径的文件是否存在；getsize(filename)：返回文件大小；abspath：返回绝对路径；dirname(p)：返回目录的路径；getatime(filename)：返回文件的最后访问时间；getmtime(filename)：返回文件的最后修改时间；walk(top,func,arg)：递归方式遍历目录；join(path,*path)：；连接多个path；split(path)：对路径进行分割，以列表的形式返回；splitexe(path)：从路径中分割文件的扩展名。

#coding=utf-8
#测试 os.path中关于目录、路径的操作
import os
import os.path
#from os import path
#############判断绝对路径、是否是目录、是否是文件、是否存在#############
print(os.path.isabs("d:/a.txt"))  #Ture
print(os.path.isdir("d:/a.txt"))
print(os.path.isfile("d:/a.txt"))
print(os.path.exists("a.txt"))
#####################获得文件信息######################
print(os.path.getsize("b.txt"))  #文件大小
print(os.path.abspath("b.txt"))  #输出的绝对路径
print(os.path.dirname("d:/b.txt"))  #输出目录

print(os.path.getctime("b.txt"))
print(os.path.getatime("b.txt"))
print(os.path.getmtime("b.txt"))
##################对于路径的操作##############################
path = os.path.abspath("b.txt")
print(os.path.split(path))
print(os.path.splitext(path))
print(os.path.join("aa","bb","cc"))

#coding=utf-8
#列出工作目录所有的.py文件，并输出文件名
import os
path = os.getcwd()  #获得工作空间
file_list = os.listdir(path)  #列出子目录、子文件
for filename in file_list:
    if filename.endswith("py"):
        print(filename)
print("#################################")

file_list2 = [filename for filename in os.listdir(path) if filename.endswith(".py")]
for filename in file_list2:
    print(filename,end="\t")

walk()递归遍历所有文件和目录：返回三个元素的元组：dirpath：要累出指定目录的路径；dirnames：目录下所有的文件夹；filenames：目下所有的文件。

#测试os.walk()递归遍历所有的子目录和子文件
#coding=utf-8
import os
all_files = []
path = os.getcwd()
list_files = os.walk(path)
for dirpath,dirnames,filenames in list_files:
    for dir in dirnames:
        all_files.append(os.path.join(dirpath,dir))
    for file in filenames:
        all_files.append(os.path.join(dirpath,file))
for file in all_files:
    print(file)

shutil模块（拷贝和压缩）：shutil模块时Python标准库提供的，主要是用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。os模块提供的是对目录和文件的一般操作，shutil模块时作为补充，提供了移动、复制、压缩、解压等操作，这些os模块是没有的。

#coding=utf-8
#测试shutil模块的使用方法
import shutil
#shutil.copyfile("1.test","1_copy")
#shutil.copytree("movie/港台","电影")  #电影目录不存在时才能正常拷贝
#shutil.copytree("movie/港台","电影",ignore=shutil.ignore_patterns("*.txt,*.html"))
#shutil.make_archive("电影/gg0","zip","movie/港台")
z1 = zipfile.ZipFile("a.zip","w")
z1.write(1.txt)
z1.write(2.txt)
z.close()

递归算法：递归把问题逐渐简单化，递归的基本思想就是自己调用自己，一个递归技术的方法将会直接或是间接的调用自己，利用递归可以用简单的程序来解决一些复杂的问题。

递归结构包括两部分：1、定义递归头；2、递归体：什么时候需要调用自身方法。

#使用递归来求阶乘
#coding=utf-8
def factorial(n):
    if n==1:
        return n
    else:
        return n*factorial(n-1)

print(factorial(5))

递归缺陷：简单的程序是递归的优点之一，但是递归调用占用大量系统的堆栈，内存耗用多，在递归调用层次多时速度要比循环慢的多，多以递归在使用的时候要慎用。

#coding=utf-8
#递归打印所有的目录和文件

import os
allfiles = []
def getAllFile(path,level):
    childFiles = os.listdir(path)
    for file in childFiles:
        filepath = os.path.join(path,file)
        if os.path.isdir(filepath):
            getAllFile(filepath,level+1)
            print("\t"*level+filepath)
        allfiles.append("\t"*level+filepath)
getAllFile("text_os",0)
for f in reversed(allfiles):
    print(f)