C++编码转换

最新推荐文章于 2024-02-06 16:48:18 发布
最新推荐文章于 2024-02-06 16:48:18 发布
阅读量759 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouwei1221q/article/details/44806087
版权

    最近在c++项目中经常会遇到编码转换问题，例如ASCII码，UTF-8，多字节等等，特此总结下来并附上代码,也方便大家学习和使用。

#include <Windows.h>

enum u78 {utf8NoBOM=0, ascii7bits=1, ascii8bits=2};
typedef unsigned short utf16; // 16 bits
typedef unsigned char utf8; // 8 bits
typedef unsigned char ubyte;

enum UniMode {uni8Bit=0, uniUTF8=1, uni16BE=2, uni16LE=3, uniUTF8_NoBOM=4, uni7Bit=5, uni16BE_NoBOM=6, uni16LE_NoBOM=7, uniEnd};


u78 utf8_7bits_8bits(utf8 *pucBuf, DWORD dwBufLen);
UniMode determineEncoding(utf8 *pucBuf, DWORD dwBufLen);
int convert_to_multibyte(UniMode encode, const char *pSrcBuf, int iSrcLen, char *pDstBuf, int iDstLen);

// Returned value :
// 0 : utf8
// 1 : 7bits
// 2 : 8bits
u78 utf8_7bits_8bits(utf8 *pucBuf, DWORD dwBufLen)
{
    int rv = 1;
    int ASCII7only = 1;
    utf8 *sx	= (utf8 *)pucBuf;
    utf8 *endx	= sx + dwBufLen;

    while (sx<endx)
    {
        if (!*sx)
        {				//如果是NULL的话就不是UTF8字符
            ASCII7only = 0;
            rv = 0;
            break;
        } 
        else if (*sx < 0x80)
        {			// 如果字节的第一个十六进制代码是0-7,那么它就是ASCII字符.
            sx++;
        } 
        else if (*sx < (0x80 + 0x40)) 
        {                     
            ASCII7only=0;
            rv=0;
            break;
        } 
        else if (*sx < (0x80 + 0x40 + 0x20))
        {					  // 如果它以C或者D开头,那么它就是一个11位字符 
            ASCII7only=0;
            if (sx>=endx-1) 
                break;
            if (!(*sx & 0x1F) || (sx[1]&(0x80+0x40)) != 0x80) {
                rv=0; break;
            }
            sx+=2;
        } 
        else if (*sx < (0x80 + 0x40 + 0x20 + 0x10))
        {						// <span style="font-family: Arial, Helvetica, sans-serif;">如果它以C或者D开头,那么它就是一个11位字符 </span>

            ASCII7only=0;
            if (sx>=endx-2) 
                break;
            if (!(*sx & 0xF) || (sx[1]&(0x80+0x40)) != 0x80 || (sx[2]&(0x80+0x40)) != 0x80) {
                rv=0; break;
            }
            sx+=3;
        } 
        else 
        {					  // 不能超过16位
            ASCII7only=0;
            rv=0;
            break;
        }
    }
    if (ASCII7only) 
        return ascii7bits;
    if (rv)
        return utf8NoBOM;
    return ascii8bits;
}

/*
【函数功能】转换编码格式为多字节编码
【函数输入】encode:待转换buf的编码格式，参见UniMode
            pSrcBuf:待转换的buf
            iSrcLen:待转换的buf字节长度
            pDstBuf:接收转换的buf
            iDstLen:接收转的的buf长度
【函数输出】无            
【函数返回】转换的字节长度
【修改记录】
20150401 zhouw UTF16编码格式解析修改
 */
int convert_to_multibyte(UniMode encode, const char *pSrcBuf, int iSrcLen, char *pDstBuf, int iDstLen)
{
    int ret = 0;
    int i;
    int j;
    unsigned char tmpChar;
    unsigned char *pTmpBuf;
    unsigned char ucUtf82Utf16Buf[1024+3] = "";

    if (NULL == pSrcBuf || iSrcLen <= 0 || NULL == pDstBuf || iDstLen < iSrcLen)
        return 0;
    switch(encode)
    {
    case uni7Bit:
    case uni8Bit:
        {
            ret = iSrcLen;
            memcpy(pDstBuf, pSrcBuf, iSrcLen);
            break;
        }
    case uniUTF8:      // utf8带标识头
        {
              // 去除带标识头
            pSrcBuf += 3;
            iSrcLen -=3;
        }
    case uniUTF8_NoBOM: // utf8不带带标识头
        {
            pTmpBuf = (unsigned char*)pSrcBuf;
            j = 0;
            i = 0;
             // 转成utf16小字节序
            while (i < iSrcLen)
            {
                if (pTmpBuf[i] < 0x80)
                {
                    ucUtf82Utf16Buf[j++] = pTmpBuf[i];
                    ucUtf82Utf16Buf[j++] = 0;
                    i++;
                }
                else if (pTmpBuf[i] < (0x80 + 0x40))
                {
                    break;
                }
                else if (pTmpBuf[i] < (0x80 + 0x40 + 0x20))
                {
                    if (i+1 < iSrcLen)
                    {
                        ucUtf82Utf16Buf[j++] = ((pTmpBuf[i]&0x3)<<6) | (pTmpBuf[i+1] &0x3F);
                        ucUtf82Utf16Buf[j++] = (pTmpBuf[i]>>2)&0x7;
                    }
                    i += 2;
                }
                else if (pTmpBuf[i] < (0x80 + 0x40 + 0x20 + 0x10))
                {
                    if (i+2 < iSrcLen)
                    {
                        ucUtf82Utf16Buf[j++] = ((pTmpBuf[i+1]&0x3)<<6) | (pTmpBuf[i+2]&0x3F);
                        ucUtf82Utf16Buf[j++] = ((pTmpBuf[i]&0xF)<<4) | ((pTmpBuf[i+1]>>2)&0xF);
                    }
                    i += 3;
                }
                else
                {
                    break;
                }

                // 每次转换不超过1024字节
                if (j >= 1024 )
                {
                    ret += WideCharToMultiByte( CP_ACP, 0, (wchar_t *)ucUtf82Utf16Buf, j>>1, pDstBuf+ret, iDstLen-ret, NULL, NULL );
                    j = 0;
                }
            }

            // 转换最后剩余的字符
            if (j > 0)
            {
                ret += WideCharToMultiByte( CP_ACP, 0, (wchar_t *)ucUtf82Utf16Buf, j>>1, pDstBuf+ret, iDstLen-ret, NULL, NULL );
            }

            break;
        }
    case uni16BE:
        {
            pTmpBuf = (unsigned char*)pSrcBuf;
            iSrcLen &= 0xFFFFFFFE;
            // 转成小字节序
            for (i=0; i<iSrcLen; i+=2)
            {
                tmpChar = pTmpBuf[i];
                pTmpBuf[i] = pTmpBuf[i+1];
                pTmpBuf[i+1] = tmpChar;
            }
        }
    case uni16LE:
        {
            // 转成多字节
            ret = WideCharToMultiByte( CP_ACP, 0, (wchar_t *)(pSrcBuf+2), (iSrcLen-2)>>1, pDstBuf, iDstLen, NULL, NULL );
            break;
        }
    case uni16BE_NoBOM:
        {
            pTmpBuf = (unsigned char*)pSrcBuf;
            iSrcLen &= 0xFFFFFFFE;
            // 转成小字节序
            for (i=0; i<iSrcLen; i+=2)
            {
                tmpChar = pTmpBuf[i];
                pTmpBuf[i] = pTmpBuf[i+1];
                pTmpBuf[i+1] = tmpChar;
            }
        }
    case uni16LE_NoBOM:
        {
            // 转成多字节
            ret = WideCharToMultiByte( CP_ACP, 0, (wchar_t *)(pSrcBuf), iSrcLen>>1, pDstBuf, iDstLen, NULL, NULL );
            break;
        }
    case uniEnd:
    default:
        {
            break;
        }
    }

    return ret;
}


/*
【函数功能】判断所给内容的编码类型
【函数输入】pucBuf:待检测编码格式的指针
			dwBufLen:待检测内容的字节长度
【函数输出】无            
【函数返回】编码类型，参见UniMode定义，成功，返回文本长度；失败，返回错误代码
 */
UniMode determineEncoding(utf8 *pucBuf, DWORD dwBufLen)
{
    UniMode    eEncoding = uni8Bit;
    
    utf8 k_Boms[uniEnd][3] = {
        {0x00, 0x00, 0x00},  // Unknown
        {0xEF, 0xBB, 0xBF},  // UTF8
        {0xFE, 0xFF, 0x00},  // Big endian
        {0xFF, 0xFE, 0x00},  // Little endian
    };

    // 检测带标识头的UTF-16大头编码
    if (dwBufLen > 1 && pucBuf[0] == k_Boms[uni16BE][0] && pucBuf[1] == k_Boms[uni16BE][1])
    {
        eEncoding = uni16BE;
    }
    // detect UTF-16 little-endian with BOM
    else if (dwBufLen > 1 && pucBuf[0] == k_Boms[uni16LE][0] && pucBuf[1] == k_Boms[uni16LE][1])
    {
        eEncoding = uni16LE;
    }
    // detect UTF-8 with BOM
    else if (dwBufLen > 2 && pucBuf[0] == k_Boms[uniUTF8][0] && 
        pucBuf[1] == k_Boms[uniUTF8][1] && pucBuf[2] == k_Boms[uniUTF8][2])
    {
        eEncoding = uniUTF8;
    }
    // 检测不带标识头的 UTF-16 小头编码
    /*else if (m_nLen > 1 && m_pBuf[0] != NULL && m_pBuf[1] == NULL && IsTextUnicode(m_pBuf, m_nLen, NULL))
    {
        eEncoding = uni16LE_NoBOM;
    }
    else if (m_nLen > 1 && m_pBuf[0] == NULL && m_pBuf[1] != NULL)
    {
        eEncoding = uni16BE_NoBOM;
    }
    */
    else
    {
        u78 detectedEncoding = utf8_7bits_8bits(pucBuf, dwBufLen);
        if (detectedEncoding == utf8NoBOM)
        {
            eEncoding = uniUTF8_NoBOM;
        }
        else if (detectedEncoding == ascii7bits)
            eEncoding = uni7Bit;
        else //(detectedEncoding == ascii8bits)
        {
            eEncoding = uni8Bit;
            // 8bit继续判断是utf16或GB2312
            utf8 *sx	= (utf8 *)pucBuf;
            utf8 *endx	= sx + dwBufLen;
            DWORD dwPos = 0;
            while (sx < endx)
            {
                dwPos = sx - pucBuf;
                // 判断 0x00是在奇数位置还是偶数位置，若0x00在奇数位置且前面一字节是 <0x80，则是小字节序，
                // 若0x00在偶数位置且后一字节 <0x80，则是大字节序
                if (0x00 == *sx)
                {
                    if ( 1 == (dwPos & 1))
                    {
                        if (( 0 < dwPos ) &&(0x80 > *(sx-1)))
                        {
                            eEncoding = uni16LE_NoBOM;
                            break;
                        }
                    }
                    else
                    {
                        if ( 0x80 > *(sx+1))
                        {
                            eEncoding = uni16BE_NoBOM;
                            break;
                        }
                    }
                }
                sx++;
            }
        }
    }

    return eEncoding;
}


void Test_Code_Type()
{
    // 测试UTF8
    // UTF8编码 我们hello
    char szBuf[] = {0xE6, 0x88, 0x91, 0xE4, 0xBB, 0xAC, 'h', 'e', 'l', 'l', 'o', 0};
    char szDstBuf[512];
    int  iDstBufLen = sizeof(szDstBuf);
    int iConvLen;

    // 直接输入编码格式，适用于已知的编码类型
    iConvLen = convert_to_multibyte(uniUTF8_NoBOM, szBuf, sizeof(szBuf), szDstBuf, iDstBufLen);


    // 未知的编码格式，要先判断编码类型
    UniMode um = determineEncoding((utf8*)szBuf, sizeof(szBuf));
    iConvLen = convert_to_multibyte(um, szBuf, sizeof(szBuf), szDstBuf, iDstBufLen);
}


Citronnelle2
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
C或C++的编码转换函数
04-28
ANSI和Unicode相互转换，Unicode和UTF8相互转换，多字符和宽字符相互转换等源码举例
C++11 Unicode编码转换
01-19
1.char16_t与char32_t 在C++98中，为了支持Unicode字符，使用wchar_t类型来表示“宽字符”，但并没有严格规定位宽，而是让wchar_t的宽度由编译器实现，因此不同的编译器有着不同的实现方式，GNU C++规定wchar_t为32位，Visual C++规定为16位。由于wchar_t宽度没有一个统规定，导致使用wchar_t的代码在不同平台间移植时，可能出现问题。这一状况在C++11中得到了一定的改善，从此Unicode字符的存储有了统一类型： （1）char16_t：用于存储UTF-16编码的Unicode字符。 （2）char32_t：用于存储UTF-32
C++实现编码转换的示例代码
08-18
主要介绍了C++实现编码转换的示例代码，帮助大家快捷的实现编码转换，感兴趣的朋友可以了解下
VS2008中自定义C++工程模板与修改新建文件默认编码的办法
webcenterol
10-13 127
VS2008中自定义C++工程模板与修改新建文件默认编码的办法 write by 九天雁翎(JTianLing) -- blog.csdn.net/vagrxie 讨论新闻组及文件 一、 需求 网上讲VS（以下VS均特指VS2008）自定义模板的不少，不过大部分都是讲C#或者Web开发的，什么export template的，都不适合C++工程，由于MS的确是减弱了对C++的支持，（这点没...
c/c++ UTF-8 UTF-16互转
wojiaolbl的博客
05-14 1286
typedef unsigned long UTF32; /* at least 32 bits / typedef unsigned short UTF16; / at least 16 bits / typedef unsigned char UTF8; / typically 8 bits */ typedef unsigned int INT; /* UCS-2编码 UTF-8 字节流(二进制) 0000 - 007F 0xxxxxxx 0080 - 07FF 110
C++编译器对字符串的编码转换.pdf
10-08
C++编译器对字符串的编码转换.pdf
C++ string wstring CString 字符串转换
Saka0-0 VS Dimension
03-18 1054
说明： 0、实质是 char* <--> wchar_t* 的转换 1、cout输出char*，wcout输出wchar_t*或char* 2、ANSI (Multi-byte Character)/UNICODE types均使用，使用了条件编译，处理CString中的TCHAR在不同字符集 3、使用中文，建议在UNICODE字符集下，用wstring...
C++：编码转换
似水流年
12-13 1129
1.GBK转UTF-8（解码），这方法包含两部分：DecodeUtf8fromString函数和WString2String函数--windows环境 std::string WString2String(std::wstring &in) { int nLen = WideCharToMultiByte(CP_ACP, 0, in.c_str(), -1, NULL, 0, NULL, NULL); if (nLen <= 0) return std::string("")...
C/C++ 编码转换
suhiymof的专栏
07-10 1183
(1) iconv_t iconv_open(const char *tocode, const char *fromcode); //此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。 (2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char
python写的批量将c/c++代码文件转换为utf8编码脚本
Orange Lion的专栏
11-01 1960
平时经常会遇到一些国外的C/C++代码中包含非标准ANSI字符集的字符（不少优秀的开源项目都会遇到），通常这些源代码文件都不是unicode的，导致在中文代码页系统下VC编译器出现大量警告，有些出现在常量字符串定义中的字符，还会影响程序运行的结果。之前写了个python脚本批量转换这些源代码文件为utf8编码的，在此记录。 #!/usr/bin/env python #coding:utf
C++各种编码转换（神奇的总结）
Werial
07-23 873
UTF-8转string std::string UTF8Tostring(const std::string& strSrc) { int nwLen = MultiByteToWideChar(CP_UTF8, 0, strSrc.c_str(), -1, NULL, 0); wchar_t* pwszBuf = new wchar_t[nwLen + 1]; //一定要加1，不然会出现尾巴 memset(pwszBuf, 0, nwLen * 2 + 2); MultiByt
用C++实现文件压缩
Fireplusplus的博客
08-15 2万+
乍一听，这个文件压缩的名字貌似是很高大上的，其实，在数据结构中学完Huffman树之后，就可以理解这个东西其实不是那么的高不可攀。 文件压缩 所谓文件压缩，其实就是将对应的字符编码转换为另一种占据字节数少的编码来进行存储。 举个栗子：有一串文本：aaaabbbccd,其中单独将这串字符存放在文件中，它所占据的将会是至少10个字节（为什么说是至少，因为还有一些必要的文件信息要保存的说）。由
UTF-8、GB2312、GB18030、GBK和BIG5等字符集编码范围的具体说明
小李专栏
12-09 7505
如果您喜欢这些文章，欢迎点击此处订阅本Blog<!--google_ad_client = "pub-7343546549496470";google_ad_width = 468;google_ad_height = 60;google_ad_format = "468x60_as";google_ad_type = "image";//2
浅谈C/C++编程中的字符编码转换
许振坪的专栏
03-02 2万+
背景在写跨平台的C/C++代码过程中（本文的研究只限于C/C++范畴），经常会遇到中文字符串乱码的问题。比如，同一个源码，用MSVC编译/运行能正常显示中文字符串，但在linux下编译/运行显示中文字符串就乱码。导致这种现象的根源就在于字符集编码不匹配导致，本文将探索隐藏在编程过程中鲜为人知的字符集转换问题，如果你彻底理解了以下几个字符集的概念，以及编程过程中哪些因素会影响这些字符集，将有助于你从根
C++：中文编码转换
热门推荐
netyeaxi的专栏
07-13 3万+
C++11标准库，中文编码转换问题。
c++ 万能 编码转换函数 UTF-8 GBK UTF-16 USC-2 USC-4
qq_59609466的博客
12-11 496
【代码】c++ 万能 编码转换函数 UTF-8 GBK UTF-16 USC-2 USC-4。
字符编码认知、互相转换和C++代码判断是UTF8还是GBK
最新发布
时间不说谎
02-06 679
字符编码认知、互相转换和C++代码判断是UTF8还是GBK
c++程序编码
whl0071的专栏
07-08 2339
C++ 编码问题
c++ linux xml 编码转换
09-23
在Linux系统中，要进行XML编码转换，可以使用一些工具和库来实现。一种常用的工具是iconv，它可以完成不同字符编码之间的转换。iconv可以在命令行中使用，也可以在C程序中通过库函数调用。 首先，安装iconv工具，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值