现在的位置: 首页 > web前端 > 正文

海量数据如何进行批量查询

2020年07月17日 web前端 ⁄ 共 832字 ⁄ 字号 评论关闭

  现有若干EXCEL表,每个表又很多子工作表,表中又很多数据(商品ID、颜色、大小、型号、库存),目前可以运用什么数据库如何实现在大批量表中快速搜索到某个关键词。


  利用数据库如何实现海量数据批量搜索


  用循环语bai句生成字段du值insert


  SQL如下:zhi


  create procedure InsertTest


  as


  begin


  declare @daoi int


  declare @s varchar(20)


  set @i=1


  while @i<=100


  begin


  select @s=cast(@i AS varchar(20)) 


  insert into test (A,B,C,D) VALUES ()


  SET @i=@i+1


  end


  end


  索引:如何在海量数据中快速查找某个数据?


  在实际的软件开发中,业务纷繁复杂,功能千变万化,但是,万变不离其宗。如果抛开业务和功能的外壳,其实它们的本质都可以抽象为“对数据的存储和计算”。对应到数据结构和算法中,那“存储”需要的就是数据结构,“计算”需要的就是算法。


  对于存储的需求,功能上无外乎增删改查。这其实并不复杂。但是,一旦存储的数据多了,那性能就成了这些系统要关注的重点,特别是在一些跟存储相关的基础系统(比如MySQL数据库、分布式文件系统等)、中间件(比如消息中间件RocketMQ等)中。


  “如何节省存储空间、如何提高数据增删改查的执行效率”,这个问题就成了设计的重点。而这些系统的实现,都离不开一个东西,那就是索引。不夸张的说,索引设计的好坏,直接决定了这些系统是否优秀。


  索引这个概念,非常好理解。你可以类比书籍的目录来理解。如果没有目录,我们想要查找某个知识点的时候,就要一页一页的翻。通过目录,我们就可以快速定位相关的知识点的页数,查找的速度也会有质的提高。


  总之,海量数据如何进行批量查询给大家简单的介绍了一些,希望大家多看看。


  

抱歉!评论已关闭.