AWS DMS – CDC & Ảnh hưởng hiệu năng¶
🟡 Trung bình · Cloud / AWS
DMS bắt thay đổi bằng cách nào?¶
Dùng CDC (Change Data Capture) đọc log của source database:
| Database | Phương pháp | Chi tiết |
|---|---|---|
| PostgreSQL | Đọc WAL Log (Write-Ahead Log) | Ghi lại mọi thay đổi trước khi apply vào DB |
| Oracle | Đọc redo log (LogMiner) | LogMiner parse redo log để lấy change events |
| MySQL | Đọc binlog | Binary log ghi mọi thao tác DML |
| SQL Server | Đọc transaction log | CDC phải được bật trước trên SQL Server |
Quy trình: Source DB ghi log → DMS đọc log → Chuyển đổi → Ghi vào target (S3, Redshift, Kafka...)
Ảnh hưởng hiệu năng: Giai đoạn CDC chỉ đọc log, ảnh hưởng < 5% hiệu năng DB gốc. Giai đoạn Full Load (init load) mới ảnh hưởng đáng kể.
DMS ảnh hưởng hiệu năng?¶
Có thể, đặc biệt giai đoạn Full Load (init load). Cách giảm:
- Chạy init load ngoài giờ cao điểm (cuối tuần, đêm)
- Bắt thay đổi realtime: đồng bộ từ DB Replicate thay vì DB gốc (Read Replica)
- Giảm số luồng đồng bộ (giới hạn MaxFullLoadSubTasks)
- Giai đoạn CDC chỉ đọc log → ít ảnh hưởng (< 5% hiệu năng)