Transactional replication(事务复制)详解之如何跳过一个事务
作者:hebedich 发布时间:2024-01-19 15:41:16
在transactional replication, 经常会遇到数据同步延迟的情况。有时候这些延迟是由于在publication中执行了一个更新,例如update ta set col=? Where ?,这个更新包含巨大的数据量。在subscription端,这个更新会分解成多条命令(默认情况下每个数据行一个命令),应用到subscription上。 不得已的情况下,我们需要跳过这个大的事务,让replication继续运行下去。
现在介绍一下transactional replication的一些原理和具体的方法
当publication database的article发生更新时, 会产生相应的日志,Log reader会读取这些日志信息,将他们写入到Distribution 数据库的msrepl_transactions和msrepl_commands中。
Msrepl_transactions中的每一条记录都有一个唯一标识xact_seqno,xact_seqno对应日志中的LSN。 所以可以通过xact_seqno推断出他们在publication database中的生成顺序,编号大的生成时间就晚,编号小的生成时间就早。
Distributionagent包含两个子进程,reader和writer。 Reader负责从Distribution 数据库中读取数据,Writer负责将reader读取的数据写入到订阅数据库.
reader是通过sp_MSget_repl_commands来读取Distribution数据库中(读取Msrepl_transactions表和Msrepl_Commands表)的数据
下面是sp_MSget_repl_commands的参数定义
CREATE PROCEDURE sys.sp_MSget_repl_commands
(
@agent_id int,
@last_xact_seqno varbinary(16),
@get_count tinyint = 0, -- 0 = no count, 1 = cmd and tran (legacy), 2 = cmd only
@compatibility_level int = 7000000,
@subdb_version int = 0,
@read_query_size int = -1
)
这个存储过程有6个参数,在Transactional replication 中,只会使用前4个(并且第三个参数和第四个参数的值是固定不变的.分别为0和10000000)。下面是一个例子:
execsp_MSget_repl_commands 46,0x0010630F000002A900EA00000000,0,10000000
@agent_id表示Distributionagentid,每个订阅都会有一个单独的Distributionagent来处理数据。 带入@agent_id后,就可以找到订阅对应的publication 和所有的article。
@last_xact_seqno 表示上一次传递到订阅的LSN。
大致逻辑是:Reader读取subscription database的MSreplication_subscriptions表的transaction_timestamp列,获得更新的上一次LSN编号,然后读取分发数据库中LSN大于这个编号的数据。 Writer将读取到的数据写入订阅,并更新MSreplication_subscriptions表的transaction_timestamp列。然后Reader会继续用新的LSN来读取后续的数据,再传递给Writer,如此往复。
如果我们手工更新transaction_timestamp列,将这个值设置为当前正在执行的大事务的LSN,那么distribution agent就会不读取这个大事务,而是将其跳过了。
下面以一个实例演示一下
环境如下
Publisher: SQL108W2K8R21
Distributor: SQL108W2K8R22
Subscriber: SQL108W2K8R23
图中高亮的publication中包含3个aritcles,ta,tb,tc
其中ta包含18,218,200万数据,然后我们进行了一下操作
在11:00进行了更新语句,
update ta set c=-11
后续陆续对表ta,tb,tc执行一些插入操作
insert tb values(0,0)
insert tc values(0,0)
之后我们启动replication monitor ,发现有很大的延迟,distribution agent一直在传递a)操作产生的数据
在subscription database中执行下面的语句,得到当前最新记录的事务编号
declare @publisher sysname
declare @publicationDB sysname
declare @publication sysname
set @publisher='SQL108W2K8R22'
set @publicationDB='pubdb'
set @publication='pubdbtest2'
select transaction_timestamp From MSreplication_subscriptions
where
publisher=@publisher and
publisher_db=@publicationDB and
publication=@publication
在我的环境中,事务编号为0x0000014900004E9A0004000000000000
返回到distribution database,执行下面的语句,得到紧跟在大事务后面的事务编号. 请将参数替换成您实际环境中的数据。(请注意,如果执行下列语句遇到性能问题,请将参数直接替换成值)
declare @publisher sysname
declare @publicationDB sysname
declare @publication sysname
declare @transaction_timestamp [varbinary](16)
set @publisher='SQL108W2K8R21'
set @publicationDB='publicationdb2'
set @publication='pubtest'
set @transaction_timestamp= 0x0000014900004E9A0004000000000000
select top 1 xact_seqno from MSrepl_commands with (nolock) where xact_seqno>@transaction_timestamp and
article_id in (
select article_id From MSarticles a inner join MSpublications p on a.publication_id=p.publication_id and a.publisher_id=p.publisher_id and a.publisher_db=p.publisher_db
inner join sys.servers s on s.server_id=p.publisher_id
where p.publication=@publication and p.publisher_db=@publicationDB and s.name=@publisher
)
and publisher_database_id =(
select id From MSpublisher_databases pd inner join MSpublications p on pd.publisher_id=p.publisher_id
inner join sys.servers s on pd.publisher_id=s.server_id and pd.publisher_db=p.publisher_db
where s.name=@publisher and p.publication=@publication and pd.publisher_db=@publicationDB
)
Order by xact_seqno
在我的环境中,事务编号为0x0000018C000001000171
在subscription database中执行下面的语句,跳过大的事务。请将参数替换成您实际环境中的数据
declare @publisher sysname
declare @publicationDB sysname
declare @publication sysname
declare @transaction_timestamp [varbinary](16)
set @publisher='SQL108W2K8R22'
set @publicationDB='pubdb'
set @publication='pubdbtest2'
set @transaction_timestamp= 0x0000018C000001000171
update MSreplication_subscriptions set transaction_timestamp=@transaction_timestamp
where publisher=@publisher and publisher_db=@publicationDB and publication=@publication
执行完成后开启distribution agent job即可。
接下来您就会发现,事务已经成功跳过,ta在订阅端不会被更新,后续的更新会逐步传递到订阅,延迟消失。
猜你喜欢
- 通过将身份认证令牌直接传给 API 服务器,可以避免使用 kubectl 代理,像这样:使用 grep/cut 方式:# 查看所有的集群,因
- 考点:将字典转换为XML文档;将XML文档转换为字典。面试题1.面试题一:如何将一个字典转换为XML文档,并将该XML文档保存为文本文件。2
- 问题:pycharm无法调用pip安装的包原因:pycharm没有设置解析器解决方法:打开pycharm->File->Sett
- 变量输入就是用代码获取用户通过键盘输入的信息。python中可以使用input()函数实现输入变量, input() 函数接受一个标准输入数
- 今天笔者带大家,梳理几个常见的基于文本终端的 UI 框架,一睹为快!Curses首先出场的是 Curses。Curses 是一个能提供基于文
- 提到SQL Server 2005证书,很多人可能以为它只是用来在传输数据的时候起到加密作用的,但在深入了解后,你会发现它的用处还有很多。
- 快速排序(QuickSort)是对冒泡排序的一种改进:基本思想:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一
- 前言在测试过程中,注意力往往都在功能上,如果功能正常,是基本不会查看日志的,反之会查看日志定位问题。但是表面上的功能正常不能确保日志没有报错
- 1. 列表1.1 复制浅拷贝list_1 = [1, [22, 33, 44], (5, 6, 7), {"name":
- 话说这能难倒我吗?赶赶单单~来 ,开搞!一、准备工作用到的软件准备一哈Python 3.8Pycharm 2021.2知识点Python基础
- 对开区间和闭区间的理解对于开区间,本身已经不包含两端点值,所以根本满足不了连续的第一个要求,所以要说某一开区间连续,我们说是函数在这一开区间
- 减少HTTP请求,是可以提高网站速度的,把所有的背景图像都放到一个图片文件中,然后通过CSS的background-image和backgr
- Python进程池是Python标准库中multiprocessing模块提供的一种用于管理进程的方式。它可以使Python程序以并行的方式
- 数据库复制:简单来说,数据库复制就是由两台服务器,主服务器和备份服务器,主服务器修改后,备份服务器自动修改。复制的模式有两种:推送模式和请求
- 一、图像色彩通道拆分import cv2img1 = cv2.imread(r"D:\OpencvTest\example.jpg
- 今天看关于Git的博客,发现总结关于Git仓库的文档,写的思路很清晰。可以和前一篇文章,对照的看,可以更加清晰理解。git-referenc
- 假设你想设计一个模块集(也就是一个“包”)来统一处理声音文件和声音数据。通常由它们的扩展有不同的声音格式,例如:WAV,AIFF,AU),所
- 本文研究的主要是python可视化包Bokeh的相关内容,具体如下。问题:需要把pandas的数据绘图并通过网页显示,matplotlib需
- Python 常用 PEP8 编码规范代码布局缩进每级缩进用4个空格。括号中使用垂直隐式缩进或使用悬挂缩进。EXAMPLE:# (垂直隐式缩
- 在计算机软件领域,缓存(Cache)指的是将部分数据存储在内存中,以便下次能够更快地访问这些数据,这也是一个典型的用空间换时间的例子。一般用