对csv文件,又get了新的认知

背景

在数据分析时,有时我们会碰到csv格式文件,需要先进行数据处理,转换成所需要的数据格式,然后才能进行分析

业务侧的同学可能对Excel文件比较熟悉,Excel可以把单个sheet直接保存为csv文件,也可以直接读取csv文件,变成Excel文件

技术侧的同学有时需要把数据库里面的数据导出到一个csv文件,有时也需要把别人给的csv文件加载到数据库中

csv文件在各个地方都这么流行,你真的彻底了解它吗?

CSV(逗号分隔值文件格式),逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号)


csv文件包含的各种数据

  • 常规的内容
    表格中:
    常规内容-表格中
    csv文件中:
    常规内容-csv文件中
  • 字段内部有逗号
    表格中:
    字段内部有逗号-表格中
    csv文件中:
    字段内部有逗号-csv文件中
  • 字段内部有引号
    表格中:
    字段内部有引号-表格中
    csv文件中:
    字段内部有引号-csv文件中
  • 字段内部有换行符
    表格中:
    字段内部有换行符-表格中
    csv文件中:
    字段内部有换行符-csv文件中
  • 字段内部有空格
    表格中:
    字段内部有空格-表格中
    csv文件中:
    字段内部有空格-csv文件中

csv文件规则

从上面的各种内容可以看出,当字段中包含特殊的字符时,在csv文件中会用双引号进行特殊处理

官方标准:
RFC4180:https://www.rfc-editor.org/rfc/rfc4180.txt
维基百科wiki:https://wiki.lazarus.freepascal.org/CSV

  • 字段内包含逗号, 双引号, 或是换行符的字段必须放在双引号内
  • 字段内包含引号必须在其前面增加一个引号,来实现引号的转码
  • 元素中的换行符将被保留下来
  • 分隔符逗号前后的空格仍然会被保留

用pandas进行解析

  • 常规的内容
    常规的内容-解析
import pandas as pd

data1=pd.read_csv('1-常规的内容.csv',encoding='GB2312')

data1
  • 字段内部有逗号
    字段内部有逗号-解析
import pandas as pd

data1=pd.read_csv('2-字段内部有逗号.csv',encoding='GB2312',quotechar='"')

data1
  • 字段内部有引号
    字段内部有引号-解析
import pandas as pd

data1=pd.read_csv('3-字段内部有引号.csv',encoding='GB2312',quotechar='"')

data1
  • 字段内部有换行符
    该程序是在 Windows 平台运行,换行符为 \r\n
    字段内部有换行符-解析
import pandas as pd

data1=pd.read_csv('4-字段内部有换行符.csv',
                  encoding='GB2312',
                  quotechar='"',
                  engine='python')

data1
  • 字段内部有空格
    字段内部有空格-解析
import pandas as pd

data1=pd.read_csv('5-字段内部有空格.csv',
                  encoding='GB2312',
                  quotechar='"')

data1

pd.read_csv部分参数解释

import pandas as pd
print(pd.__version__)   #1.3.4

完整的参数:

pd.read_csv(
    filepath_or_buffer: 'FilePathOrBuffer',
    sep=<no_default>,delimiter=None,header='infer',names=<no_default>,
    index_col=None,usecols=None,squeeze=False,prefix=<no_default>,
    mangle_dupe_cols=True,dtype: 'DtypeArg | None' = None,
    engine=None,converters=None,true_values=None,
    false_values=None,skipinitialspace=False,skiprows=None,
    skipfooter=0,nrows=None,na_values=None,keep_default_na=True,
    na_filter=True,verbose=False,skip_blank_lines=True,
    parse_dates=False,infer_datetime_format=False,keep_date_col=False,
    date_parser=None,dayfirst=False,cache_dates=True,iterator=False,
    chunksize=None,compression='infer',thousands=None,
    decimal: 'str' = '.',lineterminator=None,quotechar='"',
    quoting=0,doublequote=True,escapechar=None,
    comment=None,encoding=None,encoding_errors: 'str | None' = 'strict',
    dialect=None,error_bad_lines=None,warn_bad_lines=None,
    on_bad_lines=None,delim_whitespace=False,low_memory=True,
    memory_map=False,float_precision=None,storage_options: 'StorageOptions' = None,
)

下面主要解释一些常用的参数:
  • sep
    sep参数是字符型的,代表每行数据内容的分隔符号,默认是逗号,另外常见的还有制表符(\t)、空格等,根据数据的实际情况传值
    还提供了一个参数名为delimiter的定界符,这是一个备选分隔符,是sep的别名,效果和sep一样。如果指定该参数,则sep参数失效

  • dtype
    指定各数据列的数据类型,建议在导入数据时全部使用字符型,dtype='str',后面在数据处理时再转换为需要的类型

  • engine
    解析器、引擎,可以选择C或Python。
    C语言的速度最快,Python语言的功能最为完善

  • iterator
    是否设置为迭代器,如果设置为True,则返回一个TextFileReader对象,并可以对它进行迭代,以便逐块处理文件,一般结合chunksize使用,指定文件块的大小,分块处理大型CSV文件

  • lineterminator
    每行的解释符号,但只能允许一个字符长度,仅对C解析器有效

  • quotechar
    字段之间的定界符,这样就能正确解析包含特殊符号的字段了

历史相关文章


以上是自己实践中遇到的一些问题,分享出来供大家参考学习,欢迎关注微信公众号:DataShare ,不定期分享干货

  • 6
    点赞
  • 55
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据人阿多

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值