今天做了一个基于SQL Server的文本文件批量导入工具,和大家分享一下心得。
方案一:
遍历文本文件,解析每一行,形成SQL语句后向数据库插入。
方案二
遍历文本文件,解析每一行,将SQL语句保存到文本文件然后执行。
方案三
使用SQL Server Bulk Insert功能披露导入数据,然后在数据库中做数据处理。
刚开始用方案一做的,50MB文本文件导入大约20-25分钟,后来进行了优化,采用数据批量插入,性能提升不大。
继续优化，使用多线程向数据库中插入数据，性能提升10-20%左右，效果也不好。
方案二没有完全测试，主要是生成SQL文件耗时15分钟左右，不太理想。
最后使用BULK INSERT,然后在数据库中写脚本对数据进行处理，50MB文件10秒即可导入
FQuery.SQL.Text := 'BULK INSERT LOGDATA FROM ' + QuotedStr(FFileName)
+ ' WITH (FIELDTERMINATOR = '','', ROWTERMINATOR = ''/n'', BATCHSIZE = 500)';
FQuery.ExecSQL;
最后执行大量的UPDATE语句，将数据格式化
建议在做大数据量导入的时候还是用BULK INSERT ，SQL SERVER 性能在那里摆着，一个SQL 4ms,1000行就要4秒，根本快不了