学步园

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符

例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　   01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
class CChineseCode<br /> {<br /> public:<br /> static void UTF_8ToUnicode(wchar_t* pOut,char *pText); // 把UTF-8转换成Unicode<br /> static void UnicodeToUTF_8(char* pOut,wchar_t* pText); //Unicode 转换成UTF-8<br /> static void UnicodeToGB2312(char* pOut,wchar_t uData); // 把Unicode 转换成 GB2312<br /> static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode<br /> static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8<br /> static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312<br /> };<br />

类实现

void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)<br /> {<br /> char* uchar = (char *)pOut;</p> <p> uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);<br /> uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);</p> <p> return;<br /> }</p> <p>void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)<br /> {<br /> // 注意 WCHAR高低字的顺序,低字节在前，高字节在后<br /> char* pchar = (char *)pText;</p> <p> pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));<br /> pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);<br /> pOut[2] = (0x80 | (pchar[0] & 0x3F));</p> <p> return;<br /> }</p> <p>void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)<br /> {<br /> WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);<br /> return;<br /> } </p> <p>void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)<br /> {<br /> ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);<br /> return ;<br /> }</p> <p>void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)<br /> {<br /> char buf[4];<br /> int nLength = pLen* 3;<br /> char* rst = new char[nLength];</p> <p> memset(buf,0,4);<br /> memset(rst,0,nLength);</p> <p> int i = 0;<br /> int j = 0;<br /> while(i < pLen)<br /> {<br /> //如果是英文直接复制就可以<br /> if( *(pText + i) >= 0)<br /> {<br /> rst[j++] = pText[i++];<br /> }<br /> else<br /> {<br /> wchar_t pbuffer;<br /> Gb2312ToUnicode(&pbuffer,pText+i);</p> <p> UnicodeToUTF_8(buf,&pbuffer);</p> <p> unsigned short int tmp = 0;<br /> tmp = rst[j] = buf[0];<br /> tmp = rst[j+1] = buf[1];<br /> tmp = rst[j+2] = buf[2]; </p> <p> j += 3;<br /> i += 2;<br /> }<br /> }<br /> rst[j] = '/0';</p> <p> //返回结果<br /> pOut = rst;<br /> delete []rst; </p> <p> return;<br /> }</p> <p>void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)<br /> {<br /> char * newBuf = new char[pLen];<br /> char Ctemp[4];<br /> memset(Ctemp,0,4);</p> <p> int i =0;<br /> int j = 0;</p> <p> while(i < pLen)<br /> {<br /> if(pText[i] > 0)<br /> {<br /> newBuf[j++] = pText[i++];<br /> }<br /> else<br /> {<br /> WCHAR Wtemp;<br /> UTF_8ToUnicode(&Wtemp,pText + i);</p> <p> UnicodeToGB2312(Ctemp,Wtemp);</p> <p> newBuf[j] = Ctemp[0];<br /> newBuf[j + 1] = Ctemp[1];</p> <p> i += 3;<br /> j += 2;<br /> }<br /> }<br /> newBuf[j] = '/0';</p> <p> pOut = newBuf;<br /> delete []newBuf;</p> <p> return;<br /> }

-------------------------------------------------

判断字符串是否UTF8编码

UTF8是以8bits即1Bytes为编码的最基本单位，当然也可以有基于16bits和32bits的形式，分别称为UTF16和UTF32，但目前用得不多，而UTF8则被广泛应用在文件储存和网络传输中。
　　编码原理
　　先看这个模板：
　　UCS-4 range (hex.) UTF-8 octet sequence (binary)
　　0000 0000-0000 007F 0xxxxxxx
　　0000 0080-0000 07FF 110xxxxx 10xxxxxx
　　0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
　　0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
　　0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
　　0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx
　　编码步骤：
　　1) 首先确定需要多少个8bits(octets)
　　2) 按照上述模板填充每个octets的高位bits
　　3) 把字符的bits填充至x中，字符顺序：低位→高位，UTF8顺序：最后一个octet的最末位x→第一个octet最高位x
　　根据UTF8编码,最多可由6个字节组成,所以UTF8是1-6字节编码组成
　　C++代码如下:
int IsTextUTF8(char* str,ULONGLONG length)<br /> 　　{<br /> 　　int i;<br /> 　　DWORD nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节<br /> 　　UCHAR chr;<br /> 　　BOOL bAllAscii=TRUE; //如果全部都是ASCII, 说明不是UTF-8<br /> 　　for(i=0;i<length;i++)<br /> 　　{<br /> 　　chr= *(str+i);<br /> 　　if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx<br /> 　　bAllAscii= FALSE;<br /> 　　if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数<br /> 　　{<br /> 　　if(chr>=0x80)<br /> 　　{<br /> 　　if(chr>=0xFC&&chr<=0xFD)<br /> 　　nBytes=6;<br /> 　　else if(chr>=0xF8)<br /> 　　nBytes=5;<br /> 　　else if(chr>=0xF0)<br /> 　　nBytes=4;<br /> 　　else if(chr>=0xE0)<br /> 　　nBytes=3;<br /> 　　else if(chr>=0xC0)<br /> 　　nBytes=2;<br /> 　　else<br /> 　　{<br /> 　　return FALSE;<br /> 　　}<br /> 　　nBytes--;<br /> 　　}<br /> 　　}<br /> 　　else //多字节符的非首字节,应为 10xxxxxx<br /> 　　{<br /> 　　if( (chr&0xC0) != 0x80 )<br /> 　　{<br /> 　　return FALSE;<br /> 　　}<br /> 　　nBytes--;<br /> 　　}<br /> 　　}<br /> 　　if( nBytes > 0 ) //违返规则<br /> 　　{<br /> 　　return FALSE;<br /> 　　}<br /> 　　if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8<br /> 　　{<br /> 　　return FALSE;<br /> 　　}<br /> 　　return TRUE;<br /> 　　}