Python数据分析与机器学习实战(2)处理txt,csv,xsl,json,xml格式数据

如果需要数据，评论区留下邮箱！

Python IO与档案处理

f = open('tmp.txt','w')
f.write('hello world')
f.close()

使用with语句省去close()操作

with open('tmp.txt','w') as f:
    f.write('hello\nworld')

with open('tmp.txt','r') as f:
    print(f.read())

hello
world

将文本一行一行的输出，Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。

with open('tmp.txt','r') as f:
    for line in f.readlines():
        print(line.strip())

hello
world

处理CSV，Excel格式数据

数据来源：国家数据近五年人口数

with open('data\population.csv','r')as f:
    for line in f.readlines():
        print(line)

指标,2017年,2016年,2015年,2014年,2013年

年末总人口(万人),139008,138271,137462,136782,136072

男性人口(万人),71137,70815,70414,70079,69728

女性人口(万人),67871,67456,67048,66703,66344

城镇人口(万人),81347,79298,77116,74916,73111

乡村人口(万人),57661,58973,60346,61866,62961

使用pandas库的dataframe结构能更好的操作这些数据

import pandas as pd
df = pd.read_csv('data\population.csv',encoding='ANSI')
df

	指标	2017年	2016年	2015年	2014年	2013年
0	年末总人口(万人)	139008	138271	137462	136782	136072
1	男性人口(万人)	71137	70815	70414	70079	69728
2	女性人口(万人)	67871	67456	67048	66703	66344
3	城镇人口(万人)	81347	79298	77116	74916	73111
4	乡村人口(万人)	57661	58973	60346	61866	62961

import pandas as pd
df = pd.read_excel('data\population.xls',encoding='ANSI')
df

	指标	2017年	2016年	2015年	2014年	2013年
0	年末总人口(万人)	139008	138271	137462	136782	136072
1	男性人口(万人)	71137	70815	70414	70079	69728
2	女性人口(万人)	67871	67456	67048	66703	66344
3	城镇人口(万人)	81347	79298	77116	74916	73111
4	乡村人口(万人)	57661	58973	60346	61866	62961

处理json格式数据

数据来源城市信息

with open('data\city.json','r',encoding='utf-8') as f:
    city=f.read()

从json格式转换成Python中的字典

import json
dic = json.loads(city)
dic

[{'Code': '414500',
  'Name': '郑州市',
  'level': [{'Code': '414500', 'Name': '二七区', 'sort': 1},
   {'Code': '414500', 'Name': '中原区', 'sort': 2}],
  'sort': 1},
 {'Code': '414530',
  'Name': '新乡市',
  'level': [{'Code': '414530', 'Name': '卫滨区', 'sort': 1},
   {'Code': '414530', 'Name': '牧野区', 'sort': 2}],
  'sort': 2}]

for city in dic:
    print(city.get('Code'),city.get('Name'))

414500 郑州市
414530 新乡市

将字典形式编码为 JSON 格式数据：

json.dumps(dic)

'[{"Code": "414500", "Name": "\\u90d1\\u5dde\\u5e02", "level": [{"Code": "414500", "Name": "\\u4e8c\\u4e03\\u533a", "sort": 1}, {"Code": "414500", "Name": "\\u4e2d\\u539f\\u533a", "sort": 2}], "sort": 1}, {"Code": "414530", "Name": "\\u65b0\\u4e61\\u5e02", "level": [{"Code": "414530", "Name": "\\u536b\\u6ee8\\u533a", "sort": 1}, {"Code": "414530", "Name": "\\u7267\\u91ce\\u533a", "sort": 2}], "sort": 2}]'

使用pandas库处理json数据

import pandas as pd
df = pd.read_json('data\city.json',encoding='utf-8')
df

	Code	Name	level	sort
0	414500	郑州市	[{'Code': '414500', 'Name': '二七区', 'sort': 1},...	1
1	414530	新乡市	[{'Code': '414530', 'Name': '卫滨区', 'sort': 1},...	2

处理xml格式数据

数据来源中国气象网北京天气，如下图

<city name="北京">
      <county id="010101" name="北京" weatherCode="101010100"/>
      <county id="010102" name="海淀" weatherCode="101010200"/>
      <county id="010103" name="朝阳" weatherCode="101010300"/>
      <county id="010104" name="顺义" weatherCode="101010400"/>
      <county id="010105" name="怀柔" weatherCode="101010500"/>
      <county id="010106" name="通州" weatherCode="101010600"/>
      <county id="010107" name="昌平" weatherCode="101010700"/>
      <county id="010108" name="延庆" weatherCode="101010800"/>
      <county id="010109" name="丰台" weatherCode="101010900"/>
      <county id="010110" name="石景山" weatherCode="101011000"/>
      <county id="010111" name="大兴" weatherCode="101011100"/>
      <county id="010112" name="房山" weatherCode="101011200"/>
      <county id="010113" name="密云" weatherCode="101011300"/>
      <county id="010114" name="门头沟" weatherCode="101011400"/>
      <county id="010115" name="平谷" weatherCode="101011500"/>
</city>

对xml数据进行处理

import xml.etree.ElementTree as ET
tree = ET.parse('data\weathercode.xml')
root = tree.getroot()
root

<Element 'city' at 0x0000000008459EF8>

for weather in root.iter('county'):
    print(weather.get('id'),weather.get('name'),weather.get('weatherCode'))

010101 北京 101010100
010102 海淀 101010200
010103 朝阳 101010300
010104 顺义 101010400
010105 怀柔 101010500
010106 通州 101010600
010107 昌平 101010700
010108 延庆 101010800
010109 丰台 101010900
010110 石景山 101011000
010111 大兴 101011100
010112 房山 101011200
010113 密云 101011300
010114 门头沟 101011400
010115 平谷 101011500

参考：基于Python数据科学挖掘精华实战课程