最近遇到了C++处理中文问题，系统收到UDP消息中的中文为Unicode编码按字符转为ascii码的格式发过来的，例如，外部系统要发个“君”过来，则实际发过来的是“541b”四个字符，现在需要将收到的消息解析后用occi插入DB。
下面就这两天学到的知识做一个总结，有不对的地方还请大家指正。
一、对字符集和编码格式有概念混淆的问题
常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。
注意，UTF-8和UTF-16都是基于Unicode字符集的编码格式，前面提到的“君”的UTF-16编码是“541b”，UTF-8的编码是“c5909b”,UTF-16与UTF-8编码格式之间的转换，只需要移位处理即可，但UTF-16与GBK之间的转换，由于跨越了字符集，所以需要做相应的字符映射（也就相当于查表），没有表也就没办法转了。
二、UTF-8与UTF-16编码格式的对应关系如下：
字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
------------------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
三、附上网上找的UTF-16转UTF-8的代码(由于本人的应用只涉及两个字节的UTF-16编码，故以下代码不大于0xFFFF的字符转换)
static void UTF16ToUTF8(uint16_t* pUTF16, int32_t UTF16Len,
UTF8* pUTF8,
int32_t UTF8Len)
{
uint16_t* pData = NULL;
int32_t utf8Offset = 0;
for (int32_t i = 0; i < UTF16Len; i++)
{
pData = &pUTF16[i];
if (*pData <= 0x007F && (utf8Offset + 1) <= UTF8Len)
{
pUTF8[utf8Offset++] = *pData;
}
else
if ((*pData >= 0x0080 && *pData <= 0x07ff)
&& (utf8Offset + 2) <= UTF8Len)
{
pUTF8[utf8Offset++] = (*pData >> 6) | 0XC0;
pUTF8[utf8Offset++] = (*pData & 0x3F) | 0x80;
}
else
if (*pData >= 0x0800 && utf8Offset + 3 <= UTF8Len)
{
pUTF8[utf8Offset++] = (*pData >> 12) | 0xE0;
pUTF8[utf8Offset++] = ((*pData >> 6) & 0x3F) | 0x80;
pUTF8[utf8Offset++] = (*pData & 0x3F) | 0x80;
}
else
{
break;
}
}
}
static void UnicodeCharToUtf8(const char *pUncodeChar,
int32_t UncodeCharLength,
UTF8* pUTF8,
int32_t UTF8Len)
{
if (NULL == pUncodeChar || UncodeCharLength <= 0)
{
return;
}
int32_t wcharLen = UncodeCharLength / 4;
wchar16_t* wStr = new wchar16_t[wcharLen + 1];
memset(wStr, 0x00, sizeof(wchar16_t) * (wcharLen + 1));
for (int32_t j = 0; j < wcharLen; j++)
{
char temp[5] = { 0 };
memcpy(temp, &pUncodeChar[j * 4], 4);
wStr[j] = strtol(temp, NULL, 16);
}
UTF16ToUTF8(wStr, wcharLen, pUTF8, UTF8Len);
}
四、关于occi入库中文问题
需要设置Environment的中文编码格式，调用函数为 Environment::createEnvironment("UTF8","UTF8");
即将Environment设置成与你要插入的中文字符的编码格式相同，则插入的内容就会在DB中显示成中文。
若不设置Environment，则occi会默认使用系统环境变量NLS_LANG的值来作为编码格式，所以也可以通过设置环境变量来设置Environment的中文编码格式
export NLS_LANG=american_america.AL32UTF8