博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
BULK INSERT如何将大量数据高效地导入SQL Server
阅读量:5119 次
发布时间:2019-06-13

本文共 1774 字,大约阅读时间需要 5 分钟。

在实际的工作需要中,我们有时候需将大量的数据导入到数据库中。这时候我们不得不考虑的就是效率问题。本文我们就介绍了一种将大量数据高效地导入SQL Server数据库的方法,该方法是使用BULK INSERT来实现的,接下来就让我们来一起了解一下这部分内容。

源数据(文本文件)

下载了大量的股票历史数据,都是文本格式的:

BULK INSERT如何将大量数据高效地导入SQL Server

每个文件第一行包含股票代码,股票名称,数据类型.第二行是数据列的名称:

BULK INSERT如何将大量数据高效地导入SQL Server

数据表

在数据库中新建了一个数据表TestStock,并设置以下字段,但没有关于"成交额"的字段,因为以后的计算不会用到这个数据。另外这里关于价格的字段没有使用money数据类型,decimal足矣。

BULK INSERT如何将大量数据高效地导入SQL Server

编写格式化文件

当前数据的格式化文件为:

  1. <?xmlversionxmlversion="1.0"?> 
  2.  
  3. <BCPFORMAT 
  4.  
  5. xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" 
  6.  
  7. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"> 
  8.  
  9. <RECORD> 
  10.  
  11. <FIELDIDFIELDID="1"xsi:type="CharTerm"TERMINATOR=","/> 
  12.  
  13. <FIELDIDFIELDID="2"xsi:type="CharTerm"TERMINATOR=","/> 
  14.  
  15. <FIELDIDFIELDID="3"xsi:type="CharTerm"TERMINATOR=","/> 
  16.  
  17. <FIELDIDFIELDID="4"xsi:type="CharTerm"TERMINATOR=","/> 
  18.  
  19. <FIELDIDFIELDID="5"xsi:type="CharTerm"TERMINATOR=","/> 
  20.  
  21. <FIELDIDFIELDID="6"xsi:type="CharTerm"TERMINATOR=","/> 
  22.  
  23. <FIELDIDFIELDID="7"xsi:type="CharTerm"TERMINATOR="\r\n"/> 
  24.  
  25. </RECORD> 
  26.  
  27. <ROW> 
  28.  
  29. <COLUMNSOURCECOLUMNSOURCE="1"NAME="Date"xsi:type="SQLDATE"/> 
  30.  
  31. <COLUMNSOURCECOLUMNSOURCE="2"NAME="OpenPrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  32.  
  33. <COLUMNSOURCECOLUMNSOURCE="3"NAME="HighPrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  34.  
  35. <COLUMNSOURCECOLUMNSOURCE="4"NAME="LowPrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  36.  
  37. <COLUMNSOURCECOLUMNSOURCE="5"NAME="ClosePrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  38.  
  39. <COLUMNSOURCECOLUMNSOURCE="6"NAME="Volumn"xsi:type="SQLINT"/> 
  40.  
  41. </ROW> 
  42.  
  43. </BCPFORMAT> 

暂且先保存在C盘目录下吧,文件名叫BCPFORMAT.xml

编写BULKINSERT语句:

  1. BULKINSERTTestStock  
  2.  
  3. FROM'C:\SH600475.txt'  
  4.  
  5. WITH(  
  6.  
  7. FORMATFILE='C:\BCPFORMAT.xml',  
  8.  
  9. FIELDTERMINATOR=',',  
  10.  
  11. ROWTERMINATOR='\r\n'

执行BULKINSERT的速度很快,结果如下:

BULK INSERT如何将大量数据高效地导入SQL Server

同样的效果,如果从文本中读一行记录,执行一次INSERTINTO语句的话,需要10秒左右,由此可见BULKINSERT的高效。

关于使用BULK INSERT将大量数据导入SQL Server数据库的知识就介绍到这里了,希望本次的介绍能够对您有所帮助。

转载于:https://www.cnblogs.com/shixunle/p/3334940.html

你可能感兴趣的文章
闭包函数延迟机制的面试题
查看>>
输出两字符串最长公共子串
查看>>
常用第三方库
查看>>
mongodb for循环插入数据
查看>>
VS2010查看源码对应的汇编语言
查看>>
老了也要成长
查看>>
JavaScript访问对象的属性和方法
查看>>
分类器、logistic回归
查看>>
flex布局
查看>>
《Java虚拟机原理图解》4.JVM机器指令集
查看>>
傻瓜方法求集合的全部子集问题(java版)
查看>>
杭电1879继续畅通project
查看>>
pdf怎么转成word?最简单的文件转换方法推荐
查看>>
c/s模式 (C#)下Ftp的多文件上传及其上传进度
查看>>
JS 9*9乘法表 不注意对齐
查看>>
20160327个人日记
查看>>
Django之数据库连表操作
查看>>
关闭Android/iPhone浏览器自动识别数字为电话号码
查看>>
CPU 用户时间 系统时间(转载)
查看>>
Leetcode: Sliding Window Median
查看>>