现在的位置: 首页 > 综合 > 正文

【忙到没空写博客的程度】表格型配置文件内存优化之一:简单内存分配器

2013年09月03日 ⁄ 综合 ⁄ 共 2652字 ⁄ 字号 评论关闭

        最近是生平第一次全时间投入coding,甚至连写博客的精力都没了。这种感觉不是很好,希望能早日调节过来。努力工作之余深入思考我觉得很重要。 

        说正题,目前国产大型游戏开发里,经常用到Excel配置文件,这是一种文本文件,用Excel编辑表格后存为txt格式即可。除一些特殊情况外可以认为是用和换行分割的csv文件。这种配置文件的分析和读取不算难写,只要试验清楚Excel对待引号、换行等特殊符号的方式即可搞定。 

        这种配置文件有一个特点:空白单元格非常多,在超大型项目中大量重复的字符串会让人觉得很不爽。所以把此文件保存在内存里的时候有相当的优化的余地。精力有限,我直接记录我的结论了: 

        优化大体来说分两部分: 

        首先,分析加载表格时的内存分配优化。可以想象:大型游戏里,表格、行、单元格非常多,读取表格到内存时的分配的次数也是多如牛毛。好处是,这些配置文件一旦读取到内存里就没有必要销毁,因为游戏过程中可能随时会用到。所以这里用一个不能单独释放部分内存的简易内存分配器是合适的——也就是反复申请内存,最后一次全部释放。 

        其次,字符串共享。表格里有大量的重复短字符串,如果能够用带引用计数的字符串库,那么应该会有可观的内存优化空间(实际上已经被某个项目所证明了)。STL的引用计数方式不是很彻底,只是一定程度上的优化而已。而且今天刚刚发现,VS2010的STL库去掉了引用计数功能,原因我听说可能是多线程时的BUG。 

        (刚刚突然想到,如果是空白字符串,占用内存才一个字节,这时候采用共享意义会大打折扣(反而会增加到1个int?)。倒是对于5~30字节的字符串来说优化还是很有意义的。) 

        这篇博客里先记录一下我刚刚做的内存分配器。接口很简单,如下:

struct ROHeap;
typedef struct ROHeap ROHeap;

#ifdef __cplusplus      // 这个是给VS编译器看的,如果某cpp文件包含此头文件,会加上extern "c",以防止C++函数名修饰
extern "C" {
#endif

int ROHeapInit(ROHeap** heap, int page_size);
void* ROHeapAlloc(ROHeap* heap, int byte_size);
void ROHeapDeallocAll(ROHeap** heap);

#ifdef __cplusplus
}
#endif

实现:ROHeap.c

#include "ROHeap.h"
#include <malloc.h>
#include <assert.h>

typedef struct Page
{
	struct Page* next;
	char* p;
} Page;

#define SIZE_PAGE_HEAD ((int)(sizeof(Page)))

struct ROHeap
{
	Page* head;
	Page* cur_page;
	int page_size;
};

int ROHeapInit(ROHeap** heap, int page_size)
{
	ROHeap* h;
	assert( page_size==0 || page_size>SIZE_PAGE_HEAD );
	if ( page_size == 0 )
	{
		page_size = 4096;
	}
	else
	{
		page_size = page_size;
	}
	*heap = (ROHeap*)malloc( sizeof(ROHeap) );
	h = *heap;
	h->page_size = page_size;
	h->cur_page = (Page*)malloc( page_size );
	h->cur_page->next = 0;
	h->cur_page->p = (char*)h->cur_page + SIZE_PAGE_HEAD;
	h->head = h->cur_page;
	return 0;
}

void* ROHeapAlloc(ROHeap* heap, int byte_size)
{
	void* ret;
	assert( byte_size>0  && byte_size <= heap->page_size - SIZE_PAGE_HEAD );
	assert( heap->cur_page != 0 );

	if ( byte_size > heap->page_size - (heap->cur_page->p - (char*)heap->cur_page) )
	{
		heap->cur_page->next = (Page*)malloc( heap->page_size );
		heap->cur_page = heap->cur_page->next;
		heap->cur_page->next = 0;
		heap->cur_page->p = (char*)heap->cur_page + SIZE_PAGE_HEAD;
	}
	ret = heap->cur_page->p;
	heap->cur_page->p += byte_size;
	return ret;
}

void ROHeapDeallocAll(ROHeap** heap)
{
	Page* page;
	Page* next;
	assert(heap);
	page = (*heap)->head;
	do
	{
		next = page->next;
		free( page );
		page = next;
	}
	while ( page != 0 );
	free( *heap );
	*heap = 0;
}

简单说明:

         1、实现时我用了纯C语言,编写过程中struct用着很不顺手(typedef struct的写法试了很多次)。另外要注意C语言的局部变量声明一定要在函数一开始,放在函数中间会报很诡异的错误: error C2143: 语法错误 : 缺少“;”(在“类型”的前面)

         2、VS2010会根据文件扩展名是c还是cpp来确定编译行为,cpp调用c语言的接口时,要注意声明extern "C",而且要利用宏进行保护,保证编译到C文件和CPP文件时能够兼容(见上例)。其底层原理和C++函数名修饰有关,具体见相关书籍。 

        3、VS自带的内存泄漏检查工具使用方法:首先按顺序写上以下三个宏:

 #define CRTDBG_MAP_ALLOC

#include <stdlib.h>
#include <crtdbg.h>

然后在需要检测的地方,调用这个函数: _CrtDumpMemoryLeaks(); 

在Debug模式下试验很好用,Release版本不会重载malloc所以无效。写内存分配器的时候必须拿这个好好测试一下:)

抱歉!评论已关闭.