学步园

 字符集之间转换(UTF-8,UNICODE,Gb2312)

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
UTF-8:   1~3字节可变
UNICODE: 2字节一个字符
GB2312:  2字节一个字符
例子： “你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　   01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义 </p> <p>class CChineseCode </p> <p>{ </p> <p> public: </p> <p> static void UTF_8ToUnicode(wchar_t* pOut,char *pText); // 把UTF-8转换成Unicode </p> <p> static void UnicodeToUTF_8(char* pOut,wchar_t* pText); //Unicode 转换成UTF-8 </p> <p> static void UnicodeToGB2312(char* pOut,wchar_t uData); // 把Unicode 转换成 GB2312 </p> <p> static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode </p> <p> static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8 </p> <p> static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312 </p> <p>}; </p> <p>类实现 </p> <p>void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText) </p> <p>{ </p> <p> char* uchar = (char *)pOut; </p> <p> uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F); </p> <p> uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F); </p> <p> return; </p> <p>} </p> <p>void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText) </p> <p>{ </p> <p> // 注意 WCHAR高低字的顺序,低字节在前，高字节在后 </p> <p> char* pchar = (char *)pText; </p> <p> pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4)); </p> <p> pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6); </p> <p> pOut[2] = (0x80 | (pchar[0] & 0x3F)); </p> <p> return; </p> <p>} </p> <p>void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData) </p> <p>{ </p> <p> WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL); </p> <p> return; </p> <p>} </p> <p>void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer) </p> <p>{ </p> <p> ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1); </p> <p> return ; </p> <p>} </p> <p>void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen) </p> <p>{ </p> <p> char buf[4]; </p> <p> int nLength = pLen* 3; </p> <p> char* rst = new char[nLength]; </p> <p> memset(buf,0,4); </p> <p> memset(rst,0,nLength); </p> <p> int i = 0; </p> <p> int j = 0; </p> <p> while(i < pLen) </p> <p> { </p> <p> //如果是英文直接复制就可以 </p> <p> if( *(pText + i) >= 0) </p> <p> { </p> <p> rst[j++] = pText[i++]; </p> <p> } </p> <p> else </p> <p> { </p> <p> wchar_t pbuffer; </p> <p> Gb2312ToUnicode(&pbuffer,pText+i); </p> <p> UnicodeToUTF_8(buf,&pbuffer); </p> <p> unsigned short int tmp = 0; </p> <p> tmp = rst[j] = buf[0]; </p> <p> tmp = rst[j+1] = buf[1]; </p> <p> tmp = rst[j+2] = buf[2]; </p> <p> j += 3; </p> <p> i += 2; </p> <p> } </p> <p> } </p> <p> rst[j] = ''; </p> <p> //返回结果 </p> <p> pOut = rst; </p> <p> delete []rst; </p> <p> return; </p> <p>} </p> <p>void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen) </p> <p>{<br /> char * newBuf = new char[pLen];<br /> char Ctemp[4];<br /> memset(Ctemp,0,4);<br /> int i =0;<br /> int j = 0;<br /> while(i < pLen) </p> <p> { </p> <p> if(pText[i] > 0) </p> <p> { </p> <p> newBuf[j++] = pTex[i++];<br /> }<br /> else </p> <p> {<br /> WCHAR Wtemp;<br /> UTF_8ToUnicode(&Wtemp,pText + i);<br /> UnicodeToGB2312(Ctemp,Wtemp);<br /> newBuf[j] = Ctemp[0];<br /> newBuf[j + 1] = Ctemp[1];<br /> i += 3;<br /> j += 2;<br /> } </p> <p> }<br /> newBuf[j] = '';<br /> pOut = newBuf;<br /> delete []newBuf;<br /> return;<br /> }<br />