python 中文字符串处理-获得子串

由于python的处理是按照编码来处理的比如:
str=”中国年”
源文件编码格式是utf-8
str[0:len(str)-1]=”中国” ?
这是错误的!
年有三个uft-8编码,所以还剩2个
所以会出现中国+乱码,选取字符串子串和 长度的操作是对unicode编码的字符串和ASCII编码字符串操作进行。这里就当其为ASCII字符串,所以出现错误

str=u”中国年”
print str[0:len(str)-1]//正确

str=”中国年”
print str[0:len(str)-1]//乱码

Python的字符串

搞清楚了令人头疼的字符编码问题后,我们再来研究Python对Unicode的支持。

因为Python的诞生比Unicode标准发布的时间还要早,所以最早的Python只支持ASCII编码,普通的字符串’ABC’在Python内部都是ASCII编码的。Python提供了ord()和chr()函数,可以把字母和对应的数字相互转换:

ord(‘A’)
65
chr(65)
‘A’

Python在后来添加了对Unicode的支持,以Unicode表示的字符串用u’…’表示,比如:

print u’中文’
中文
u’中’
u’\u4e2d’

写u’中’和u’\u4e2d’是一样的,\u后面是十六进制的Unicode码。因此,u’A’和u’\u0041’也是一样的。

两种字符串如何相互转换?字符串’xxx’虽然是ASCII编码,但也可以看成是UTF-8编码,而u’xxx’则只能是Unicode编码。

把u’xxx’转换为UTF-8编码的’xxx’用encode(‘utf-8’)方法:

u’ABC’.encode(‘utf-8’)
‘ABC’
u’中文’.encode(‘utf-8’)
‘\xe4\xb8\xad\xe6\x96\x87’

英文字符转换后表示的UTF-8的值和Unicode值相等(但占用的存储空间不同),而中文字符转换后1个Unicode字符将变为3个UTF-8字符,你看到的\xe4就是其中一个字节,因为它的值是228,没有对应的字母可以显示,所以以十六进制显示字节的数值。len()函数可以返回字符串的长度:

len(u’ABC’)
3
len(‘ABC’)
3
len(u’中文’)
2
len(‘\xe4\xb8\xad\xe6\x96\x87’)
6
len(‘中文’)
6

反过来,把UTF-8编码表示的字符串’xxx’转换为Unicode字符串u’xxx’用decode(‘utf-8’)方法:

‘abc’.decode(‘utf-8’)
u’abc’
‘\xe4\xb8\xad\xe6\x96\x87’.decode(‘utf-8’)
u’\u4e2d\u6587’
print ‘\xe4\xb8\xad\xe6\x96\x87’.decode(‘utf-8’)
中文

由于Python源代码也是一个文本文件,所以,当你的源代码中包含中文的时候,在保存源代码时,就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时,为了让它按UTF-8编码读取,我们通常在文件开头写上这两行:

!/usr/bin/env python

-- coding: utf-8 --

解决方法:

str.decode(“utf-8”)[0:len(str.decode(“utf-8”)-1].encode(“utf-8”)

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值