SQL Server 海量数据导入的最快方法
发布时间：2024-01-16 06:23:25
标签：SQL,Server,海量数据导入
最近做某项目的数据库分析，要实现对海量数据的导入问题，就是最多把200万条数据一次导入sqlserver中，如果使用普通的insert语句进行写出的话，恐怕没个把小时完不成任务，先是考虑使用bcp，但这是基于命令行的，对用户来说友好性太差，实际不大可能使用；最后决定使用BULK INSERT语句实现，BULK INSERT也可以实现大数据量的导入，而且可以通过编程实现，界面可以做的非常友好，它的速度也很高：导入100万条数据不到20秒中，在速度上恐怕无出其右者。
但是使用这种方式也有它的几个缺点：
1.需要独占接受数据的表
2.会产生大量的日志
3.从中取数据的文件有格式限制
但相对于它的速度来说，这些缺点都是可以克服的，而且你如果愿意牺牲一点速度的话，还可以做更精确的控制，甚至可以控制每一行的插入。
对与产生占用大量空间的日志的情况，我们可以采取在导入前动态更改数据库的日志方式为大容量日志记录恢复模式，这样就不会记录日志了，导入结束后再恢复原来的数据库日志记录方式。
具体的一个语句我们可以这样写：
alter database taxi
set RECOVERY BULK_LOGGED
BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
DATAFILETYPE = 'char',
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n',
TABLOCK
)
alter database taxi
set RECOVERY FULL
这个语句将从e:\out.txt导出数据文件到数据库taxi的detail表中。
0
投稿猜你喜欢
- 但是你懂的，浏览器实在太不和谐了，兼容性且不说，各种坐标属性看得人头昏眼花，极容易混淆。好吧，我来总结一下： 测试浏览器：IE8, Chro
- 修改MySql Server安装目录下的 my.ini 文件，在mysqld节下加入下面一行set-variable=lower_case_
- 这两个方法都可以用来在固定的时间段后去执行一段javascirpt代码，不过两者各有各的应用场景。实际上，setTimeout和setInt
- 我的电脑本来是有手动CMake+make安装的OpenCV3的，以及系统自带的python2.x，但是现在想用python3+OpenCV3
如下所示：import requests url='http://www.baidu.com'#下面使用requests.r- 你懂的，手工翻译表定义到go结构体是很枯燥的。so，用xorm搞定。go get github.com/go-xorm/cmd/xorm安装
- 1. OpenCV：模板匹配。 获得小跳棋中心位置2.
- 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。re 模块使 Python 语言拥有全部的正则表达式功能。
- 目录前言cv2.drawMarker()函数说明参数说明利用鼠标回调函数交互式画点例1，简单的例子例2，删除功能总结前言这里所谓画点的意思是
- 解决anaconda打不开的问题，亲测成功！！彻底卸载四步骤1.找到anaconda的安装路径，删除envs文件和pkgs文件2.运行ana
- 蒙特卡罗方法是一种统计模拟方法，由冯·诺依曼和乌拉姆提出，在大量的随机数下，根据概率估计结果，随机数据越多，获得的结果越精确。下面我们将用p
- 模态框Bootstrap ModalBootstrap 的模态框使用Bootstrap 的前端应该都接触过。本文记录一下今天使用时遇到的 B
- 好久没写了，就把上课做的一个小东西拿出来分享一下吧。百度网页截图如下 ↓↓↓程序运行输出结果截图 ↓↓↓上代码 ↓↓↓from lxml i
- 问题：python spyder先出现dos窗口，然后后面就什么都没有了。解决方法：C:\用户\Administrator\.spyder3
- 之前在《首都机场的点烟器》中分析了一个软件系统所处的状态并且列举了不同的状态所需要的展示给用户的各类信息，我们先简单回顾一下：要设计一个软件
- Python对不可变序列进行重复拼接操作效率会很低，因为每次都会生成一个新的对象，解释器需要把原来对象中的元素先复制到新的对象里，然后再追加
- 简介Python Fire是谷歌开源的一个第三方库，用于从任何Python对象自动生成命令行接口（CLI），可用于如快速拓展成命令行等形式。
- 在用python进行图像处理时，二值化是非常重要的一步，现总结了自己遇到过的6种 图像二值化的方法（当然这个绝对不是全部的二值化方法，若发现
- 原生实现jQuery的sibling方法<body><span>我是span标签</span><d
- 最近有朋友问js 如何打印预览，今天就来讲解一下，首先了解一下打印原理，其实局部打印页面很简单。就是把你需要打印的部分做一个起始标记，至于标
