Etiket Bulutu

Benchmark Convert_IMplicit Database High Availability Database Mirroring datawarehouse dimension table dmv Dynamic Data Masking Execution Execution Plans fact table Failover Cluster Node ekleme Failover Clustering FileStream generate script High Availability Implicit Instant File Initialization index Kinect Linux Live Query Statistics Log Shipping Mirroring object explorer object explorer details ODBC Driver pass performance performance tuning Plan Handle Planü Power View reporting services rol Row Level Security script sql serer 2016 sql server SQL Server 2008 SQL Server 2008 Log Shipping SQL Server 2012 SQL Server 2012 installation SQL Server 2012 Kurulumu SQL Server Backup SQL Server da Backup planı SQL Server da Maintenance Plans oluşturma SQL Server database mirroring SQL Server Disaster Recovery sql server dynamic management views SQL Server Failover Cluster SQL Server High Availability SQL Server Log Shipping SQL Server Maintenace Plans sql server performans SQLDIAG SQLDIAG Troubleshooting T24 Temenos truncate table t-sql unique index performance 1. Dünya savaşı istatistikleri 1456 451 ACID advanced analytics Advanced Data Analytics Affinity algı Alter index Alter table ALTER TABLE .. ALTER COLUMN Altın Oran Always On ALWAYSON AlwaysOnDemoTool amazon web services kinesis AMR analiz analysis service Ankara Antivirus apache kafka Arduino Article Assembly asymmetric audit Authentication Auto Growth Availability Group azure Azure Backup azure event hub partition azure event hubs azure event hubs servisi azure event hubs veri edinme Azure File Share Azure Fiyatlandırma Azure HDInsight Azure Hizmet Modelleri Azure ML Azure New Portal Azure Pricing Azure Queue azure sql database configuration azure sql database kullanımı azure sql database stream veriyi tutma azure sql database table partitioning Azure Storage azure stream analytics azure stream analytics dashboard azure stream analytics ölçeklendirilmesi azure stream analytics servisi Azure Table BA Backup backup encyrption backupset Bakım BASE bellek Best Practice BI Semantic Model Big Data Big User blocking blocking disable trigger blocking enable trigger Buffer Cache buffer pool Buffer Pool Extension bulk logged Buluta Veri Depolama Buluttaki Disk Business Analytics Conference business intelligence Büyük Veri Case Central Management Server certificate changed data capture Cloud Computing Cloud DR CLR Cluster clustered columnstore index Clustered Index Code Snippets Cold Purging collation column store column-level columnstore ColumnStore Indexes Compress ComputerNamePhysicalNetBIOS Concurrency Conditions Contained Database Contained Databases convert CONVERT_IMPLICIT Corruption Credentials cube DAC Dashboard Tasarımı data cleansing Data Compression Data Consistency Model data encryption data matching data mining Data Page data profiling data quality Data Services Data Warehouse Design Database database list Database Management Sistem database master key Database Mirroring Database Snapshot database trigger database-level Data-Ink Ratio datasets datasource DataZen date date dimension db_owner DBA DBCC dbcc dropcleanbuffers dbcc freeproccache DBMS dbo user DDL deadlock debugging DecryptByKey DecryptByPassPhrase deleted bitmap delta store Denali Denali SSAS deny database list deşifre detail index developer DIFFERENTIAL BACKUP DirectQuery Dirty Read Disaster Recovery Distribution Yapılandırma Distributor Distributor Agent dm_server_services DMF DMO DMV document db dosya bazlı şifreleme dqs dr Dynamic Management Function Dynamic Management Object Dynamic Management View ecrypt Effected Report Design Techniques Eğitim EncryptByKey EncryptByPassPhrase encryption endpoint Environment Variable error Error 5030 Error Log Estetik Raporlama Estimated Rows Eş Zamanlılkk Etkili Rapor Tasarlama Teknikleri Etkinlik ETL event Event Viewer except;intersect;sql execution Execution Plan export formats extended events Extended Stored Procedure Facets Failover Failover Cluster fast n execution plan FETCH NEXT FILELISTONLY FILLFACTOR File Table file-level FileStream Filter Pack Filtered Index First_Value Flat File fn_repl_hash_binary Focal Point foreignkey FORMAT Forwarded Record forwarded_record_count ftp task FULL BACKUP Full Recovery Full-Text Search functions Gartner Geocluster Gerçek Zamanlı Dashboard gestalt Golden Ratio görsel duyu group by Güvenlik ha Hadoop hafıza Hash HASHBYTES HEADERONLY headers footers Heap Hekaton hicri High Availability hijr Hiyerarşi Hybrid Cloud IaaS Index Index Scan In-Memory InMemory DW In-Memory DW InMemory OLTP In-Memory OLTP Internet of People Internet of Things IO IOT IoT nedir Isolation Level indeks index inmemory in-memory oltp internet of things isolation level istatistik istatistikler İş zekası İzolasyon Seviyesi Job json json support knowledge base kolon-satır bazlı kurulum küp Lag Lansman latch Lead linked server lock locking locking hints Log Backup Log Reader Agent Log Shipping login Lost-Update LQS Machine Learning Maintenance Management Studio matrix Max Text Replication Size mdx memory Memory Optimization Advisor Memory Optimized Table Memory Optimized Tables merge Merge Agent merge kullanımı Merge Publication Merge Replication merge type 1 slowly changing dimension merge type 1 slowly changing dimension örneği merge type 1 vs type 2 scd merge type 2 slowly changing dimension merge type 2 slowly changing dimension örneği merge type 3 slowly changing dimension merge type 4 slowly changing dimension message Microsoft Advanced Data Analytics Çözümleri microsoft azure Microsoft Bulut Microsoft Sanal Akademi Microsoft SQL Server Microsoft SQL Server 2014 Yenilikleri Microsoft SQL Server 2016 Mirror mirroring missing index Monitoring move Msdb multi_user multiversion concurrency control MVP MVP Roadshow MySnippet Named Pipes Natively Store Procedures Natively Stored Procedures Nesnelerin İnterneti Network Binding Order NoEngine Approaches nonclustered columnstore index Non-Repetable Read NoSQL NoSQL Approaches NoSQL Dünyası object explorer Odak Noktası ODBC Office 365 Offline OFFSET olap OLAP Backup OLE DB OLTP Online Index order attributes Otomatik Büyüme OVER PaaS PAD_INDEX page out page properties PAGE RESTORE PAGEIOLATCH paging parameters partition partitioning PASS PASS Summit PASS Summit 2014 Performance Performance Tuning performans performans tuning Phantom Read pivot Policies Policy Based Management Filtreleme Policy Management Power BI Power BI Dashboard Power BI Rest API power bi power view PowerBI PowerBI for Office 365 powerbi PowerMap PowerPivot PowerQuery powershell powershell ile sql yönetimi PowerView PowerView raporlarının web sayfalarına gömülmesi precon Primary Key primarykey Project Deployment Model Project Variable Protokol Proxy Proxy Account Publisher Purging on Independent Tables QL Server 2014 Yenilikleri Que Reader Agent Query Plan query store R Range Raporlama Raporlama Projeleri için Strateji Belirleme Raporlama Projelerine Hazırlık Read Committed Read Uncommitted RealTime Dashboard Rebuild RECONFIGURE RECONFIGURE WITH OVERRIDE Recovery model Relational Engine relationships Rename SSRS Database Repeatable Read Replication Replication Monitoring replikasyon report manager web site report parts reporting service reporting services reporting servis Resource Governor RESTORE Restore Database Restore Generate Restore Generate Script Restore transaction log rollback rs Rule of Thirds sa user SaaS sayfalama scd 3 demo scd karşılaştırma scd type 4 demo Scheduling Schema Comparison script Security segment elimination select into Self-Service BI Semantic Search Serializable Server Core SERVERPROPERTY Service services shared data sources shared datasets Shared Memory sharepoint Sharepoint 2010 ShowPlan Shrink simple recovery sing_user sliding window Slowly Changing Dimension snapshot Snapshot Agent Snapshot Publication Snapshot Replication Snippet snowflake sorting sp_configure sp_describe_first_result_set sp_server_diagnostics sp_spaceused sql SQL Agent Job SQL Azure sql bilgi yarışması SQL CLR SQL DIAG SQL DIAG Performans verisi toplama SQL endpoint SQL Login SQL Onculeri SQL Öncüleri sql script sql server SQL Server 2005 SQL Server 2008 SQL Server 2011 CTP3 SQL Server 2011 Denali SQL Server 2012 SQL Server 2012 CTP3 SQL Server 2012 RC SQL Server 2012 RC0 SQL Server 2012 ShowPlan Enhancements SQL Server 2012 T-SQL Enhancements SQL Server 2014 Sql Server 2014 Cardinality Estimator SQL Server 2014 Yenilikleri sql server 2016 SQL Server 2016 New Features SQL Server 2016 Yenilikleri sql server agent sql server assembly ekleme SQL Server Authentication sql server cast ve convert sql server clr integration sql server clr kullanımı sql server clr örnek sql server cluster SQL Server Code Name Denali SQL Server da Kullanıcı Yaratma SQL Server Database Project sql server dmv ve dmf sql server execution plan temizleme SQL Server Express Backup sql server fast n option örneği sql server fast n seçeneği SQL Server login sql server management stdio sql server merge into örnek sql server merge komutu sql server merge performnas sql server merge type 1 scd sql server merge type 2 scd sql server merge type 3 scd SQL Server Mobile Report Publisher SQL Server Network Interface SQL Server Onculeri SQL Server Öncüleri SQL Server Öncüleri Ankara SQL Server Performance sql server performans SQL Server Profiler SQL server recovery model SQL Server Reporting Services SQL Server Restore Generate Script SQL Server sa SQL Server Security SQL Server SQL DIAG sql server tarih dönüşüm işlemi sql server tarihsel veriler ile çalışma SQL Server User SQL Server yetki SQL Server yetkilendirme sql servera .net kodu ekleme SQL Serverda yetkilendirme nasıl SQL Serverda yetkilendirme nasıl yapılır sql to oracle linked server sql türkiye SQL User With Password sql yarışma SQLCMD sql'den oracle'a linked server SQLDIAG SQLDIAG Report SQLOS sqlsaturay SQLSaturday SQLSaturday #182 SQLSaturday #359 sqlsaturday #451 sqlserveronculeri ssas SSAS 2012 SSIS SSIS 2012 ssis SSMS SSMS Project SSMS Solution ssrs Stanby Database star schema STOPAT STOPBEFOREMARK STORAGE Storage Engine stored procedure stream analytics job subreports Subscriber Subscription subscriptions symmetric SYS sys.dm_db_index_physical_stats sys.dm_db_index_usage_stats sys.dm_db_missing_index_columns sys.dm_db_missing_index_details sys.dm_db_missing_index_group_stats sys.dm_db_missing_index_groups sys.server_principals sysadmin System Databases System View şifre şifreleme table table difference TableHasClustIndex TableHasIdentity TableHasPrimaryKey Tablet PC Tabular Mode Tabular Model TCP/IP TDE Tempdb time series Transaction Transactional Publication Transactional Replication Transparent Data Encryption trigger Troubleshooting TRY_CONVERT TRY_PARSE tsql t-sql T-SQL 2012 tsql mistakes Undocument union unionall Updatable ColumnStore İndex upgrade Veri ambarı veri edinme seçenekleri Veri Güvenliği Veri Hizmetleri Veri madenciliği Veri Mürekkep Oranı Veri Tabanı Yönetim Sistemleri Veri Tipi Veri Tutarlılık Modelleri Veri Yönetimi Evrimi verinin evrimi Veritabanı oluşturmak VERİTABANI YEDEKLEME STRATEJİLERİ veritabanı yedeklerinin şifrelenmesi Veritabanı Yöneticisi Veritabanı Yönetimi VeritPaq view any database Visual Studio VTYS web services Webcast Windows 7 Windows 8 Windows Authentication Windows Azure Windows Failover Clustering wmi WRITELOG xevents xp_sqlagent_enum_jobs YEDEKLEME STRATEJİLERİ Yedekli Çalışma Yetkilendirme Yiğit Aktan ysfkhvc yusuf kahveci Yüksek Erişilebilirlik Yüksek Süreklilik zip

Partitioned Table üzerinde Otomatik Sliding Window Tanımlamak

Ekleyen: Ethem ORUÇ N/A DBA Tarih:15.05.2014 Okunma Sayısı:3452


İlk yazımda sizlere partitioned bir tablo üzerinde nasıl sliding window yapılabileceğini aktaracağım. Konuyu benzeri ile karşılaştığım bir senaryo üzerinden anlatmaya çalışayım. Diyelim ki veritabanı ile ilişkili uygulama üzerinde proje ekibinin yapmak istediği bir değişiklik sonucunda sizin için hiç de hoş olmayan bir manzara ortaya çıktı. Bu değişiklik sonrası veritabanındaki bir log tablosuna günde ortalama 20-30 GB veri girilmeye başlandı. Bu tablo üzerinde de sadece 5 gün geriye dönük kayıt tutulması ve 5 günden önceki kayıtların ise arşivlenmesi amacıyla her gece başka bir ortama aktarıldıktan sonra silinmesi isteniyor. 
 
Bu durumda, istenilen kayıtları hedef ortama aktardıktan sonra tablo üzerinden silme işlemi can sıkıcı bir sorun haline gelecektir. Yapılabilecek en basit ama en baş ağrıtıcı çözüm tablo üzerinde tek seferde çalıştırılacak bir DELETE komutu ile bu kayıtlardan kurtulmaktır. Bu yöntemi kullanırsanız, çalıştıracağınız DELETE komutu sonucunda tablo seviyesinde konulacak bir lock ile bu tabloya kayıt silme süresince erişemez hale geleceksiniz. Bunun yanında transaction log'unuz hiçde görmek istemeyeceğiniz boyutlara çıkacak ve diskleriniz üzerinde oluşturacağınız gereksiz IO miktarı ile de veritabanına gelen diğer talepler için genel olarak bir performans sorunu yaşamanız söz konusu olacaktır.
 
Bir diğer yöntem ise tek seferde çalışacak büyük bir DELETE işlemi yerine daha küçük batch'lere bölünmüş DELETE komutlarıyla her seferde N adet kayıt silerek, istemediğiniz bu kayıtlardan kurtulmak olabilir. Bu durumda da transaction log'unuzun büyümesinden ve tablo üzerine konulacak uzun süreli bir lock'dan belki kurtulabilirsiniz ama yapacağınız gereksiz I/O'dan dolayı kaybedebileceğiniz performansdan maalesef kurtulmuş olmuyorsunuz.
 
Böyle bir senaryoda kullanabileceğiniz en iyi alternatif sliding window partitioning olacaktır. Bu yöntemi kullanarak tablo üzerinde oluşturacağınız çok kısa süreli bir Sch-M lock ile kurtulabilir ve büyük kayıt kümelerinizi diskleriniz üzerinde I/O yükü oluşturmadan tablolar arasında taşıyabilir ya da silebilirsiniz.

Bunun nasıl yapılabileceğini basit bir örnekle anlatmaya çalışayım. Önce bir tane veritabanı ve bu veritabanı altında ilgili file ve filegroup'ları oluşturalım,

CREATE DATABASE [SampleDB]
 CONTAINMENT = NONE
 ON  PRIMARY 
( NAME = N'SampleDB', FILENAME = N'C:\TEMP\SampleDB.mdf' ), 
 FILEGROUP [FG_SampleTable_20140408] 
( NAME = N'Data_SampleTable_20140408', FILENAME = N'C:\TEMP\Data_SampleTable_20140408.ndf' ), 
 FILEGROUP [FG_SampleTable_20140409] 
( NAME = N'Data_SampleTable_20140409', FILENAME = N'C:\TEMP\Data_SampleTable_20140409.ndf' ), 
 FILEGROUP [FG_SampleTable_20140410] 
( NAME = N'Data_SampleTable_20140410', FILENAME = N'C:\TEMP\Data_SampleTable_20140410.ndf' ), 
 FILEGROUP [FG_SampleTable_20140411] 
( NAME = N'Data_SampleTable_20140411', FILENAME = N'C:\TEMP\Data_SampleTable_20140411.ndf' ), 
 FILEGROUP [FG_SampleTable_20140412] 
( NAME = N'Data_SampleTable_20140412', FILENAME = N'C:\TEMP\Data_SampleTable_20140412.ndf' ), 
 FILEGROUP [FG_SampleTable_20140413] 
( NAME = N'Data_SampleTable_20140413', FILENAME = N'C:\TEMP\Data_SampleTable_20140413.ndf' ), 
 FILEGROUP [FG_SampleTable_Initial] 
( NAME = N'Data_SampleTable_Initial', FILENAME = N'C:\TEMP\Data_SampleTable_Initial.ndf' )
 LOG ON 
( NAME = N'SampleDB_log', FILENAME = N'C:\TEMP\SampleDB.ldf' )
GO

 

Daha sonra ilgili partition scheme ve partition function'larımızı create edelim,

USE SampleDB
GO

CREATE PARTITION FUNCTION [pfSampleTable] (DATETIME) AS RANGE RIGHT
FOR
VALUES (
	 N'2014-04-08T00:00:00.000'
	,N'2014-04-09T00:00:00.000'
	,N'2014-04-10T00:00:00.000'
	,N'2014-04-11T00:00:00.000'
	,N'2014-04-12T00:00:00.000'
	,N'2014-04-13T00:00:00.000'
)
GO

CREATE PARTITION SCHEME [psSampleTable] AS PARTITION [pfSampleTable] TO (
	[FG_SampleTable_Initial]
	,[FG_SampleTable_20140408]
	,[FG_SampleTable_20140409]
	,[FG_SampleTable_20140410]
	,[FG_SampleTable_20140411]
	,[FG_SampleTable_20140412]
	,[FG_SampleTable_20140413]
)
GO

 

Oluşturduğumuz bu partition scheme'sına uygun partitioned bir test tablosu oluşturup içini de örnek kayıtlarla dolduralım,

USE SampleDB
GO

CREATE TABLE dbo.SampleTable
	(
	SampleID int NOT NULL IDENTITY (1, 1),
	SampleDate datetime NOT NULL,
	SampleText nvarchar(128) NOT NULL,
	SampleUnqID uniqueidentifier NOT NULL,
	CONSTRAINT [PK_SampleTable] PRIMARY KEY CLUSTERED 
	(
		SampleDate ASC,
		SampleID ASC
	) ON [psSampleTable](SampleDate)
) ON [psSampleTable](SampleDate)

ALTER TABLE dbo.SampleTable SET (LOCK_ESCALATION = AUTO)
GO

INSERT INTO dbo.SampleTable
(SampleDate, SampleText, SampleUnqID)
SELECT TOP 100000
DATEADD(DAY, ABS(CHECKSUM(NEWID()) % 6), '2014-04-08') AS SampleDate,
a.name AS SampleText, 
NEWID() AS SampleUnqID
FROM sys.columns AS a
CROSS JOIN sys.columns AS b
ORDER BY NEWID()

 

Örnek kayıtlarla doldurduğumuz bu tabloda hangi partition altında kaç kayıt var bilgisini görmek için aşağıdaki sorguyu kullanabilirsiniz,

USE SampleDB
GO

SELECT 
	OBJECT_NAME(si.object_id) AS object_name
	,pf.NAME AS pf_name
	,ps.NAME AS partition_scheme_name
	,p.partition_number
	,ds.NAME AS partition_filegroup
	,rv.value AS range_value
	,(
		CASE pf.boundary_value_on_right
			WHEN 0
				THEN 'RAGE_LEFT'
			ELSE 'RANGE_RIGHT'
			END
		) AS range_direction
	,SUM(CASE 
			WHEN si.index_id IN (
					1
					,0
					)
				THEN p.rows
			ELSE 0
			END) AS num_rows
FROM sys.destination_data_spaces AS dds
INNER JOIN sys.data_spaces AS ds ON dds.data_space_id = ds.data_space_id
INNER JOIN sys.partition_schemes AS ps ON dds.partition_scheme_id = ps.data_space_id
INNER JOIN sys.partition_functions AS pf ON ps.function_id = pf.function_id
LEFT JOIN sys.partition_range_values AS rv ON pf.function_id = rv.function_id
	AND dds.destination_id = CASE pf.boundary_value_on_right
		WHEN 0
			THEN rv.boundary_id
		ELSE rv.boundary_id + 1
		END
LEFT JOIN sys.indexes AS si ON dds.partition_scheme_id = si.data_space_id
LEFT JOIN sys.partitions AS p ON si.object_id = p.object_id
	AND si.index_id = p.index_id
	AND dds.destination_id = p.partition_number
LEFT JOIN sys.dm_db_partition_stats AS dbps ON p.object_id = dbps.object_id
	AND p.partition_id = dbps.partition_id
WHERE si.object_id = OBJECT_ID('SampleTable')
GROUP BY ds.NAME
	,p.partition_number
	,pf.NAME
	,pf.type_desc
	,pf.fanout
	,pf.boundary_value_on_right
	,ps.NAME
	,si.object_id
	,rv.value
ORDER BY p.partition_number

 

Bu sorguyu çalıştırdığınızda num_rows sütunundaki rakamlar buradaki rakamlardan biraz farklı olmakla birlikte aşağıdaki gibi bir sonuç dönecektir size,

 

Şimdi her çalıştığında SampleTable isimli tablomuza en son hangi günün partition'ı var ise ona bir gün ekleyerek yeni bir partition oluşturacak kodu yazalım,

-- Create new data file and file group. Add new partition to table
DECLARE @NewPartitionRangeValue DATETIME
DECLARE @NewPartitionRangeValueStr VARCHAR(256)
DECLARE @QueryStr NVARCHAR(4000)

SELECT TOP 1 @NewPartitionRangeValue = DATEADD(DAY, 1,cast(rv.value AS DATETIME))
FROM sys.destination_data_spaces AS dds
JOIN sys.data_spaces AS ds ON dds.data_space_id = ds.data_space_id
JOIN sys.partition_schemes AS ps ON dds.partition_scheme_id = ps.data_space_id
JOIN sys.partition_functions AS pf ON ps.function_id = pf.function_id
LEFT JOIN sys.partition_range_values AS rv ON pf.function_id = rv.function_id
	AND dds.destination_id = CASE pf.boundary_value_on_right
		WHEN 0
			THEN rv.boundary_id
		ELSE rv.boundary_id + 1
		END
LEFT JOIN sys.indexes AS si ON dds.partition_scheme_id = si.data_space_id
LEFT JOIN sys.partitions AS p ON si.object_id = p.object_id
	AND si.index_id = p.index_id
	AND dds.destination_id = p.partition_number
LEFT JOIN sys.dm_db_partition_stats AS dbps ON p.object_id = dbps.object_id
	AND p.partition_id = dbps.partition_id
WHERE si.object_id = OBJECT_ID('SampleTable')
ORDER BY p.partition_number DESC

SET @NewPartitionRangeValueStr = CONVERT(VARCHAR(8), @NewPartitionRangeValue, 112) 
SET @QueryStr = 'ALTER DATABASE [SampleDB] ADD FILEGROUP [FG_SampleTable_' + @NewPartitionRangeValueStr + ']'
EXECUTE sp_executesql @QueryStr

SET @QueryStr = 'ALTER DATABASE [SampleDB] ADD FILE ( NAME = N''Data_SampleTable_' + @NewPartitionRangeValueStr + ''', FILENAME = N''C:\TEMP\Data_SampleTable_' + @NewPartitionRangeValueStr + '.ndf'' ) TO FILEGROUP [FG_SampleTable_' + @NewPartitionRangeValueStr + ']'
EXECUTE sp_executesql @QueryStr

SET @QueryStr = 'ALTER PARTITION SCHEME [psSampleTable] NEXT USED FG_SampleTable_' + @NewPartitionRangeValueStr
EXECUTE sp_executesql @QueryStr

SET @QueryStr = 'ALTER PARTITION FUNCTION [pfSampleTable]() SPLIT RANGE (''' + convert(VARCHAR(16), @NewPartitionRangeValue, 120) + ''')'
EXECUTE sp_executesql @QueryStr

 

Yukarıdaki kodu çalıştırdığınızda, FG_SampleTable_20140414 isimli bir filegroup ve bunun içinde Data_SampleTable_20140414 isimli bir data file oluşturulduğunu, bu filegroup'un da mevcut SampleTable tablosunun kullandığı partition scheme'sına dahil edildiğini göreceksiniz. Partition'larla ilgili ayrıntılı bilgi veren daha önce verdiğim kodu çalıştırdığınızda da yeni partition'ınızı aşağıdaki gibi görebilirsiniz,

 

Burada dikkat edilmesi gereken konu, data file isminin Data_TableName_YYYYMMDD.ndf ve file group adının da FG_TableName_YYYYMMDD formatında olduğudur. Bu sayede yukarıdaki kodu her çalıştırdığımızda uygun isimlerde data file ve filegroup oluşturup, bunu partition scheme'ya ekleyebilmekteyiz. Bu kodu her gece çalışacak şekilde bir SQL Agent Job'ına adım olarak eklerseniz de, her gece çalıştığında belirlediğiniz tablonuz için bir günlük yeni bir partition'a sahip olursunuz.

Partitioned tablomuzdaki en eski partition'ı farklı bir tabloya aktarma işlemini, yani sliding window işlemini ise aşağıdaki kodu çalıştırarak yapabiliriz,

DECLARE @OldPartitionRangeValue DATETIME
DECLARE @OldPartitionRangeValueStr VARCHAR(256)
DECLARE @QueryStr NVARCHAR(4000)


/* STEP 1 : Create a staging table */
SELECT TOP 1 @OldPartitionRangeValue = cast(rv.value AS DATETIME)
FROM sys.destination_data_spaces AS dds
JOIN sys.data_spaces AS ds ON dds.data_space_id = ds.data_space_id
JOIN sys.partition_schemes AS ps ON dds.partition_scheme_id = ps.data_space_id
JOIN sys.partition_functions AS pf ON ps.function_id = pf.function_id
LEFT JOIN sys.partition_range_values AS rv ON pf.function_id = rv.function_id
	AND dds.destination_id = CASE pf.boundary_value_on_right
		WHEN 0
			THEN rv.boundary_id
		ELSE rv.boundary_id + 1
		END
LEFT JOIN sys.indexes AS si ON dds.partition_scheme_id = si.data_space_id
LEFT JOIN sys.partitions AS p ON si.object_id = p.object_id
	AND si.index_id = p.index_id
	AND dds.destination_id = p.partition_number
LEFT JOIN sys.dm_db_partition_stats AS dbps ON p.object_id = dbps.object_id
	AND p.partition_id = dbps.partition_id
WHERE si.object_id = OBJECT_ID('SampleTable')
AND p.partition_number = 2

SET @OldPartitionRangeValueStr = CONVERT(VARCHAR(8), @OldPartitionRangeValue, 112) 

SET @QueryStr = '
CREATE TABLE [dbo].[SampleTable_Staging]
(
	SampleID int NOT NULL IDENTITY (1, 1),
	SampleDate datetime NOT NULL,
	SampleText nvarchar(128) NOT NULL,
	SampleUnqID uniqueidentifier NOT NULL,
	CONSTRAINT [PK_SampleTable_Staging] PRIMARY KEY CLUSTERED 
	(
		SampleDate ASC,
		SampleID ASC
	) ON [FG_SampleTable_' + @OldPartitionRangeValueStr + ']' +
') ON [FG_SampleTable_' + @OldPartitionRangeValueStr + ']'
EXECUTE sp_executesql @QueryStr

/* STEP 2 : Switch out partition 2 from partitioned table */
SET @QueryStr = 'ALTER TABLE [dbo].[SampleTable] SWITCH PARTITION 2 TO [dbo].[SampleTable_Staging]'
EXECUTE sp_executesql @QueryStr

/* STEP 3 : Merge last two "empty" partitions */
SET @QueryStr = 'ALTER PARTITION FUNCTION pfSampleTable() MERGE RANGE (''' + convert(VARCHAR(16), @OldPartitionRangeValue, 120) + ''')'
EXECUTE sp_executesql @QueryStr

Yukarıdaki kodu yine her gece çalışacak bir SQL Agent Job'ına adım olarak eklediğinizde, SampleTable isimli tablodaki en eski partition her gece SampleTable_Staging isimli tabloya switch in edilmiş ve mevcut partition function'dan uzaklaştırılmış olur. Şimdi bu kodu adım adım inceleyelim,

1. adımda FG_SampleTable_20140408 filegroup altında SampleTable_Staging isimli bir tablo create edilir. Burada dikkat edilecek konu staging tablosu switch out edilecek partition ile aynı filegroup altında oluşturulur.

2. adımda SampleTable isimli tablonun 2 numaralı partition'ı SampleTable_Staging isimli tabloya switch edilir. Bu adımdaki EXECUTE ifadesinde aslında aşağıdaki satır çalıştırılır,

ALTER TABLE [dbo].[SampleTable] SWITCH PARTITION 2 TO [dbo].[SampleTable_Staging]

İlgili partition switch out edildikten sonra, daha önce yukarıda paylaştığım partition'lar altındaki kayıt sayılarını sorgulayabildiğimiz kodu çalıştırdığımızda aşağıdaki gibi bir sonuçla kaşılaşırız,

 

Bu sorgu sonucunda 2 numaralı partition altındaki kayıt sayısının sıfır olduğunu görürüz. Switch işlemi sırasında işlem yaptığınız partition büyüklüğüne bakılmaksızın, yapılan işlem bir metadata operasyonu olduğu için tablo üzerine kısa bir süreliğine Sch-M lock konulmakta ve bu sayede çok büyük boyutlardaki bir kayıt kümesini başka bir tablo altına kolaylıkla aktarabilmeniz mümkün olmaktadır. 

3. adımda çalıştıracağımız MERGE komutu ile boş olan son iki partition'ı birleştirip "2014-04-08 00:00" partition sınır değerini partition function'dan uzaklaştırmış olursunuz. Bu sayede "2014-04-08 00:00" sınır değeri ile ilişkili FG_SampleTable_20140408 isimli filegroup'u da partition schema'dan çıkarmış oluyoruz. Bu adımda da dikkat edilmesi gereken nokta, birleştirilen partition'ların kayıt sayılarının sıfır olmasıdır, aksi takdirde merge komutu sonucunda partition'lar arasındaki kayıtlarının birbirlerine aktarılması söz konusu olacak ve yapılan işlem sadece bir metadata operasyonu olmayacaktır. Buradaki EXECUTE ifadesinde çalışan kod aşağıdaki gibidir,

ALTER PARTITION FUNCTION pfSampleTable() MERGE RANGE ('2014-04-08 00:00')

 

Özetlemek gerekirse, sliding window partitioning özelliğini datawarehouse tarafındaki partitioning çözümlerinde ya da OLTP veritabanınız üzerindeki eskiyen büyük kayıt kümelerinin arşivlenmesi gibi işlemlerde kullanabilirsiniz.

 


yorum yaz
Yiğit Aktan

Yiğit Aktan


22.05.2014 12:16


Eline saglik. Guzel bir yazi olmus Ethem.

Ethem ORUÇ

Ethem ORUÇ


23.05.2014 10:04


Çok teşekkür ederim Yiğit. Umarım devamını getirebilirim.

Yiğit Aktan

Yiğit Aktan


23.05.2014 15:57


Getirebileceginden eminim :)

Üye Girişi

Kullanıcı Adınız

Şifreniz

Şifremi Unuttum

Arkadaşına Tavsiye Et

Tavsiye edebilmek için siteye giriş yapmalısınız