python基础---不同字符编码的转换

最新推荐文章于 2021-06-23 20:29:04 发布
最新推荐文章于 2021-06-23 20:29:04 发布
阅读量220 收藏
点赞数
分类专栏： python 文章标签： python 字符编码转换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoweiping123/article/details/79738464
版权 
 

 

1.解释说明：文件的编码格式，跟python解释器的读取声明应该要一致，比如文件编码格式是GBK，
    开头也应该用# _*_coding:gbk_*_声明，这样才能保证python解释器读取的每个字符字节数跟文件编码字节数是一致 

 

代码：
 


 


 

运行结果:
 


 


 

 




                

        

        

    




    

      

        

            

              
                
                  劈柴喂马、周游世界
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python如何解析包含不同编码的字符串

				
			

			

				

					Snipergzf的博客
				

				

					11-18
					
					1442
					
				

			

		

		

			
				
问题的描述 
有个同学从网上下了一个数据包，是一个dat结尾的文件。读取出来的时候发现是GB2312的编码，但是当用GB2312去解码的时候还是遇到了问题。似乎有个别的字节解析不了。最后发现是字符串中的一个空格的编码并不是GB2312。那么问题来了，怎么做到正确解析这样的字符串呢？问题的发现with open('./news_sohusite_xml.dat', 'r') as f:
    for

			
		

	



                

              
                



	

		

			

				
					
python基础二 、2、常见字符编码及其转换

				
			

			

				

					weixin_51652371的博客
				

				

					11-19
					
					310
					
				

			

		

		

			
				
一、python常见字符编码
ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符

for i in range(100):
    print(chr(i))
    


encode转bytes形式
通过encode()方法可以编码为指定的bytes

decode转utf8
把这个乱码转回来，乱码就是中文，以后都是会看到这个bytes形式，

如果有不能转译的字符，用保留**'ignore’忽略错误的字节，加引号**
len函数
len 统计字符串多少字符

如果换成bytes，

			
		

	



                


  
              

                


	

		

			

				
					
网页中的编码和Python处理

				
			

			

				

					qq_53388087的博客
				

				

					06-23
					
					454
					
				

			

		

		

			
				
不同网站的编码并本完全相同，在爬虫应用中解析文本信息的时候需要考虑网页的编码方式， 否则获得的结果可能是乱码

可以从网页， 代码里的meta标签的charset属性中看到其编码方式， 倒如<meta charset="utf-8>指定了网页的编码为utl-8
用于解析文本的Python库主要有BeautifulSoup.BeautifulSoup使用编码自动检测字库(unicodeDammit、chardet等) 来识别输人文档的编码， 并将其转换成unicode编码：同时， Beautif.

			
		

	





	

		

			

				
					
python 如何编码问题中的len函数和ord函数

				
			

			

				

					小傅
				

				

					04-19
					
					482
					
				

			

		

		

			
				
Python2.x



len函数

对unicode字符串而言，求的是字符个数

对于str字符串而已，求的是字节（8bit一个）个数



ord函数

对于unicode字符串而已，如hex(ord(u'试试‘）[0])，求出的是unicode的·16进制表示

对于str而言，是存储的第一个字节
...

			
		

	



		

			
		



	

		

			

				
					
Python实现对比不同字体中的同一字符的显示效果

				
			

			

				

					12-24
				

			

		

		

			
				
有人在 openSUSE 中文论坛询问他的输入法打出的「妩媚」的「妩」字为什么显示成「女」+「元」。怀疑是字体的问题，于是空闲时用好友写的 python-fontconfig 配合 Pillow （PIL 的一个 fork）写了个脚本，使用系统上所有包含这个「妩」字的字体来显示这个字，看看到底是哪些字体有问题。
（更新后的）脚本如下：
Google Chrome / Chromium 用户请注意：如果复制得到的代码中含有不间断空格（0xa0），请手动替换下。
#!/usr/bin/env python3
# vim:fileencoding=utf-8
from PIL import Imag

			
		

	





	

		

			

				
					
Python爬虫之网页编码格式查询与编码格式详解

				
			

			

				

					云淡风轻ing的博客
				

				

					06-04
					
					4382
					
				

			

		

		

			
				
学了爬虫之后，我一直在纠结一个问题，那就是decode与encode
在这我也分享一下我的见解
首先我们都知道不同网页的编码格式是不一样的
查询方法如下：


当我们知道编码格式后就可以解析网页并转换格式
代码是这样的
     url = "     网-----------址    "
     a = urllib.request.urlopen(url)
     result = a.r...

			
		

	





	

		

			

				
					
Python基础知识之字符编码和转码

				
			

			

				

					BearKChan的博客
				

				

					12-08
					
					561
					
				

			

		

		

			
				
字符编码python解释器在加载.py文件中的代码时，会对内容进行编码（默认ASCII）ASCII码ASCII（American Standard Code for Information Interchange,美国标准信息交换代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，其最多只能用8位来表示（一个字节），ASCII码最多只能表示255个字符。 
中文的处理GB23

			
		

	





	

		

			

				
					
python-latin1-to-utf8:将错误的 Latin-1 字符转换为 UTF-8 字符

				
			

			

				

					07-18
				

			

		

		

			
				
python-latin1-to-utf8  将错误的 Latin-1 字符转换为 UTF-8 字符。  是对编码问题的全面描述和解释。 用法  $ python latin1-to-utf8.py Automática > Automática 相关项目

			
		

	





	

		

			

				
					
Python字符编码转码之GBK,UTF8互转

				
			

			

				

					09-18
				

			

		

		

			
				
Python字符编码转换是编程过程中经常会遇到的问题，尤其是在处理多语言数据或者与不同系统交互时。本文将详细讨论Python中GBK和UTF-8两种编码格式之间的转换，并解释它们各自的特点。  首先，了解Python中的字符编码...

			
		

	





	

		

			

				
					
第三周-第10章节-Python3.5-字符编码转换详解2.avi

				
			

			

				

					02-10
				

			

		

		

			
				
第三周-第10章节-Python3.5-字符编码转换详解2.avi

			
		

	





	

		

			

				
					
计算机二级python题库-基本操作题之Unicode字符.zip

					
最新发布

				
			

			

				

					03-24
				

			

		

		

			
				
但需要注意的是，当你读写文件或与外部系统交互时，可能需要考虑字符编码问题，因为不同的系统和文件格式可能使用不同的编码方式（如UTF-8、GBK等）。  在Python中，`encode`函数可以将Unicode字符串转化为特定编码...

			
		

	





	

		

			

				
					
python源码-案例框架-自动办公-04 快速提取一串字符中的中文.zip

				
			

			

				

					02-22
				

			

		

		

			
				
3. **编码处理**：由于Python 2和Python 3对字符串的处理方式不同，这个案例可能涉及了`unicode`和`str`之间的转换，确保在处理中文字符时正确地处理编码问题。  4. **函数定义**：可能定义了一个或多个函数，用于...

			
		

	





	

		

			

				
					
Python爬取网页的编码处理

				
			

			

				

					点点寒彬的博客
				

				

					09-17
					
					5558
					
				

			

		

		

			
				
不是中秋节的中秋快乐！！！背景中秋的时候，一个朋友给我发了一封邮件，说他在爬链家的时候，发现网页返回的代码都是乱码，让我帮他参谋参谋(中秋加班，真是敬业= =！)，其实这个问题我很早就遇到过，之前在爬小说的时候稍微看了一下，不过没当回事，其实这个问题就是对编码的理解不到位导致的。问题很普通的一个爬虫代码，代码是这样的：# ecoding=utf-8
import re
import requests

			
		

	





	

		

			

				
					
Python实现不同编码字符串标准化所遇到的问题及解决方案

				
			

			

				

					comeonbabe_的博客
				

				

					10-11
					
					820
					
				

			

		

		

			
				
这是这学期创新实践的一个作业，主要用于实现对垃圾信息（如色情信息‘+qQ①②③④’利用不同编码使得对其的屏蔽十分麻烦）的标准化，令其 变成更易于识别的通用标准字符串。

汉字及部首等Unicode码范围（https://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php）

 一些可能有帮助的资料：
UT（https://unicode-table.com/en/...

			
		

	





	

		

			

				
					
python3 对不同编码类型的处理

				
			

			

				

					静心学习、耐心沉淀
				

				

					05-09
					
					520
					
				

			

		

		

			
				
处理方式一
对与一些文件，只是分析其内容，修改其编码类型不会产生其他影响的情况下可以采用此方式。
import chardet
def file_endcoding_format_convert(path):
    newData = b''
    with open(path, 'rb') as fp:
        data = fp.read()
        oldEncode =...

			
		

	





	

		

			

				
					
python3编码问题和len函数用法还有文件字节问题

				
			

			

				

					qq_40067879的博客
				

				

					01-02
					
					625
					
				

			

		

		

			
				
python3 默认是按utf-8编码自己的脚本（xx.py文件）的，如你的xx.py文件内容为文本  “这是我的第一个python程序”  点ctrl+s或者保存时 该文本内容会按照utf-8的对照格式将二进制存入磁盘，即存入磁盘的值为111110001011..............下图对应的是16进制“易识别”格式


当解释器执行文本是会按照utf-8的对应规则吧这些二进制转换为相应的可...

			
		

	





	

		

			

				
					
转义及编码（\u, \x）

				
			

			

				

					weixin_30273763的博客
				

				

					11-10
					
					4131
					
				

			

		

		

			
				
首先前面的 \表示转义，


\x：只是 16 进制的意思，后边跟两位，则表示单字节编码；

\d：十进制；\o：八进制；
对于 \xaa ⇒ chr(0xaa) ⇒ chr(16*a+a)
\u：unicode 码；

一般其后跟 4 个 16 进制数，因此，一般为 unicode-16
Python：字符串的decode和encode成员函数，可对其进行转换
...

			
		

	





	

		

			

				
					
python爬虫编码彻底解决

					
热门推荐

				
			

			

				

					不知博者的博客
				

				

					03-22
					
					2万+
					
				

			

		

		

			
				
目录




目录
编码原理及区别
编码与解码
爬取中文百度首页
第一步：
第二步：
第三步：


BeautifulSoup库
参考资料









编码原理及区别


第一阶段：编码的由来：大家都知道计算机的母语是英语，英语是由26个字母组成的。所以最初的计算机字符编码是通过ASCII来编码的，也是现今最通用的单字节编码系统，使用7位二进制数来表示所有的字母、数字、标点符号及一些特殊控制...

			
		

	





	

		

			

				
					
python文件变成exe可执行文件方法

				
			

			

				

					zhaoweiping123的博客
				

				

					05-21
					
					1万+
					
				

			

		

		

			
				
1.这里要用到第三方库pyinstaller，所以需要先安装，采用pip或者pip3python自带的管理工具，在cmd命令里，输入pip install pyinstaller即可安装该模块



安装完成会出现如下成功标志





2.找到你要转换的py文件路径，在该路径下打开cmd,然后输入pyinstaller -F 文件名.py，注意文件名称不能是中文，然后将会在该路径下产生几个...

			
		

	





	

		

			

				
					
python-字符编码数据类型转换

				
			

			

				

					05-26
				

			

		

		

			
				
在 Python 中，可以使用以下方法进行字符编码数据类型的转换：  1. 转换为字节类型（bytes）：使用字符串的 `encode()` 方法，指定编码方式，将字符串转换为字节类型。  ```python string = "hello" byte_string = ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值