需要在mysql中插入2000万条记录,用insert语句插入速度很有限,每秒钟几百条,放在hadoop集群上跑也是这个速度,可能是数据库的问题了,网上看到sql server和oracle的insert速度也不是很快。比较简单的优化方法如下:
1、在一条insert语句中插入多条记录
INSERT INTO tablename (field0, field1, ...) VALUES
(value0, value1, ...),
(value0, value1, ...),
(value0, value1, ...),
...
(value0, value1, ...)
这样插入速度可以提高很多倍,但还是不够块,对于2000万条记录,每秒钟一两千条的插入速度还是太慢。
2、从文本文件......
阅读全文