现在的位置: 首页 > 综合 > 正文

php代码优化系列(一)–数据库读取

2013年02月11日 ⁄ 综合 ⁄ 共 1462字 ⁄ 字号 评论关闭

php编程时,特别是在处理大量的数据的时候,往往会发生内存超过系统的最大值的情况。这有很多原因,其中的一个原因就是不恰当的使用他提供的内部的函数,下面举一个例子来说明:

    任务:从数据库中读取100万条记录,存成xml格式。

    这似乎是一个很简单的问题,但是初学者往往错误的使用了php提供的函数,而发现程序根本无法运行,当然数据量小的时候都是不会有问题的。

   读取数据库的误区:

   如果你用某些封装的类库,可能会提供类似下面的一个函数:

 

 

 

    在数据量很小的时候这个函数很好用,执行一个sql,直接返回一个数组。但是要是数据量是一百万的话,你直接这样做的话,那么至少要消耗200M的内存,因为一个100万记录的数据,全部放在一个数组里面,至少要200M。那么怎么做呢,上面这个函数给了我们思路。$rs = mysql_query($sql); 这句返回的是一个资源,资源是什么,你可以不用深究,你可以认为是一个指针,指向你查询记录的一个指针。即使你有1000万的记录,这个资源占用的内存也是很小很小的。$line = mysql_fetch_assoc($rs)这一句就是把指针玩下移一个距离,然后读取该行的记录。这个很像是file_get_contents 读取文件和 fopen  fread 组合读取文件差别。比如你读取一个100M的文件,用file_get_contents就要占用100M 的内存,用fopen fread组合,你就可以先用fopen获取一个函数的指针,然后用fread每次读取一个固定的字节。这样不会出现大量内存使用的情况,当然平时一个文件才几个k,那就算了,不用这样来节省内存。

有了以上的分析我们就知道这个程序该怎么样写了。

 

 

这样,我们就可以导出100W量级的数据了,可以尝试一下。注意这个bulidonenode()函数根据你具体的xml的格式,进行处理,这里只是说明思想。

 

 

本文转载自: http://www.cnblogs.com/niniwzw/

抱歉!评论已关闭.