在c中处理utf-8

UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

 

看代码

size_t utf_length(u_char *p, size_t n)                                    // u_char*p 指向一个可能包含utf-8的字符串，n = strlen(p)

{
    u_char      c;
    size_t      len;
    u_int32_t i;

    for (len = 0, i = 0; i < n; len++, i++) {

        c = p[i];

        if (c < 0x80) {      // 0x80 的2进制度（10000000），单字节的时候，最大的编码是（01111111）， 也就是127，也就是ascii
            continue;
        }

        if (c >= 0xc0) {   //根据utf-8的第2条规则， 如果是2个字节编码成一个符号的时候，那么应该是（110*****，10******）

/*如果是3个字节编码成一个符号， 那么应该是（1110****，10******，10******）

   如果是4个字节编码成一个符号， 那么应该是（11110***，10******， 10******，10******）
            for (c <<= 1; c & 0x80; c <<= 1) {  /*for的用法，第一个代表赋初始值， 第2个判断， 第3个赋值， 第2次循环的时候，第一个c<<1 已经不用了 */
                i++; //跳过的个数
            }

            continue;
        }

        /* invalid utf */

        return n;
    }

    return len;
}

 

知道以上的规律， 那么不管是拷贝也好， 显示也好， 基本的原理都是一样的

下面是utf-8copy函数

 

u_char * utf_cpystrn(u_char *dst, u_char *src, size_t n)  // n 代表utf-8的符号个数，如果src = “博客”, 那么n = 2
{
    u_char  c;

    if (n == 0) {
        return dst;
    }

    for ( /* void */ ; --n; dst++, src++) {

        c = *src;
        *dst = c;

        if (c < 0x80) {
            if (*dst != '/0') {
                continue;
            }

            return dst;
        }

        if (c >= 0xc0) {
            for (c <<= 1; c & 0x80; c <<= 1) {
               *++dst = *++src;
            }

            continue;
        }

        /* invalid utf */
    }

    *dst = '/0';

    return dst;
}