Dimension (Các dạng lưu trữ bảng chiều) trong Data Warehouse

Bảng chiều dimension cung cấp thông tin, ngữ cảnh cho bảng fact. Dù có quy mô nhỏ hơn fact nhiều lần, nhưng dimension là trọng tâm của Data Warehouse, vì nếu thiếu nó, các số liệu trong fact sẽ không mang lại nhiều ý nghĩa cho người dùng.

Khi có sự thay đổi trong một bản ghi của dimension, Data Warehouse phải cập nhật sự thay đổi đó.

Type 0: Retain Original

Đây là phương thức thụ động. Khi có sự tứ thay đổi trên dimension, không có hành động nào xảy ra trên Data Warehouse. Giá trị chiều được giữ nguyên như tại thời thời điểm bản ghi được thêm vào lần đầu tiên.

Loại bảng chiều này hiếm khi được sử dụng.

Type 1: Overwrite

Ghi đè dữ liệu cũ, không theo dõi dữ liệu lịch sử. Ví dụ:

Khi Nhà cung cấp đổi địa điểm (Hồ Chí Minh -> Hà Nội). Dữ liệu được cập nhật như sau:

Ưu điểm: Dễ bảo trì.

Nhược điểm: Không kiểm tra được dữ liệu lịch sử.

Type 2: Add new row

Theo dõi  dữ liệu lịch sử bằng cách tạo nhiều bản ghi cho một khoá tự nhiên trong bản chiều (phân biệt bằng khoá tự nhiên hoặc số phiên bản)

Ưu điểm: Lưu trữ giá trị lịch sử không giới hạn.

• Dùng versions

• Dùng effective_date

• Dùng effective_date, flag

Type 3: Add new attribute

Phương pháp này theo dõi sự thay đổi bằng cách sử dụng các cột riêng biệt.

Lưu trữ giá trị lịch sự một cách giới hạn vì giới hạn ở số cột lưu trữ dữ liệu lịch sử.

Bản ghi chứa 1 cột cho giá trị ban đầu, và một cột cho giá trị hiện tại –> Không thể theo dõi lịch sử biến đổi nếu có nhiều lần thay đổi.

Type 4: Add history table

Phương pháp này sử dụng các bảng lịch sử history table. Bao gồm:

• Một bảng lưu trữ giá trị hiện tại
• Một bảng lữu trữ tất cả thay đổi

Surrogate Key trên 2 bảng này đều được tham chiếu tới fact để tăng cường hiệu quả truy vấn.

Bảng lịch sử:

Type 6: Hybrid

Kết hợp cách tiếp cận từ loại 1,2,3 (6=1+2+3)

Khi bản ghi lần đầu tiên được thêm vào. Giá trị lich sử và giá trị hiện tại giống nhau.

Khi Supplier State thay đổi:

• Ghi đề current_flag của row 1 (Type 1)
• Tạo bản ghi mới để theo dõi sự thay đổi (Type 2)
• Lưu trữ giá trị lịch sử trong cột historical_state (Type 3)

>> Xây dựng kiến thức nền tảng vững chắc về data warehouse, ETL với 2 khóa học data analyst và data engineer Cole, nếu bạn chưa biết công việc về dữ liệu nào sẽ phù hợp với bạn, liên hệ để được Cole tư vấn định hướng học tập miễn phí nhé. Xem chi tiết 2 khóa học:

• Data analyst: https://blog.cole.vn/khoa-hoc-data-analyst-data-analysis/
• Data engineer: https://blog.cole.vn/khoa-hoc-data-engineer/