Khái niệm kho dữ liệu (data warehouse), dữ liệu lớn (big data) tại các công ty công nghệ, cơ sở dữ liệu (database) ở các công ty lập trình… không còn quá xa lạ nữa. Với nhu cầu tiếp nhận, phân tích và xử lý dữ liệu dưới góc nhìn đa chiều và tổng hợp hiện nay, việc thống kê dòng dữ liệu là vô cùng cần thiết, từ đó khái niệm kho dữ liệu ra đời nhằm đảm lưu trữ đầy đủ dữ liệu cho bước phân tích tiếp theo và nâng cao tốc độ của các kết quả trả về của hệ thống. Chúng ta hãy cùng tìm hiểu khái niệm data warehouse là gì và những tính năng, lợi ích về nó nhé.
Data warehouse là gì
Kho dữ liệu (data warehouse) là khái niệm được giới thiệu lần đầu vào năm 1988 bởi 2 nhà nghiên cứu của IBM là Barry Devlin và Paul Murphy. Đây là nơi lưu trữ dữ liệu bằng thiết bị điện tử của một tổ chức, doanh nghiệp, nhằm hỗ trợ việc phân tích dữ liệu và lập báo cáo. Đó là cách hiểu theo truyền thống tại thời điểm khái niệm kho dữ liệu này ra đời.
Ngày nay, người ta hiểu “kho dữ liệu” theo ngữ cảnh rộng hơn, bao gồm tập các phương pháp, kỹ thuật và công nghệ có thể kết hợp, hỗ trợ nhau để thu thập và quản lý dữ liệu từ nhiều nguồn, môi trường khác nhau để cung cấp thông tin cho người sử dụng. Do đó, kho dữ liệu còn có thể được gọi bằng những cái tên sau: hệ thống hỗ trợ quyết định, hệ thống điều hành thông tin, hệ thống thông tin quản lý, ứng dụng phân tích. Kho dữ liệu thường có dung lượng lên đến hàng trăm GB thậm chí tính bằng đơn vị TB.
Quy trình xây dựng Data Ware House được tóm tắt
OLAP và OLTP
Ngôn ngữ được dùng cho kho dữ liệu là ngôn ngữ xử lý phân tích trực tuyến (OLAP – Online Analytical Processing). Đây là ngôn ngữ được tối ưu hóa cho việc truy vấn và báo cáo; tạo điều kiện cho truy vấn nghiệp vụ thông minh. Đây là cơ sở dữ liệu nhằm xử lý giao dịch trực tuyến (OLTP – On-line transactional processing). OLAP tạo điều kiện xử lý một tập dữ liệu lớn với thời gian tương tác được kéo dài hơn. OLAP cũng cho phép người sử dụng có cái nhìn bức tranh toàn cảnh; các con số khủng hoảng từ đó tìm ra xu hướng và nhìn ra bức tranh lớn hơn. Nhìn chung OLAP sẽ tập trung vào các lệnh dưới đây:
– Thu nhỏ (roll-up): chẳng hạn nhóm dữ liệu theo năm thay vì theo quý.
– Mở rộng (drill-down): chẳng hạn mở rộng dữ liệu, nhìn theo tháng thay vì theo quý.
– Cắt lát (slice): nhìn theo từng lớp một. Chẳng hạn từ danh mục bán hàng của Q1, Q2, Q3, Q4 chỉ xem của Q1.
– Rút ngắn (dice): bỏ bớt một phần của dữ liệu
Kho dữ liệu không phải là một sản phẩm mà là một môi trường; cung cấp một mô hình kiến trúc cho luồng thông tin hỗ trợ từ hệ thống vận hành đến các môi trường hỗ trợ quyết định. Do đó kho dữ liệu sẽ có những đặc tính sau:
– Dữ liệu toàn vẹn (Integration)
– Dữ liệu gắn thời gian và có tính lịch sử (Isolation)
– Dữ liệu vận hành ổn định (Nonvolatility)
– Dữ liệu cố định (Durable)
– Dữ liệu được hướng theo chủ đề (Subject orientation)
Kho dữ liệu có cấu trúc bao gồm ba tầng:
– Tầng đáy (Data Sources): là nơi thu thập, tích hợp dữ liệu từ nhiều nguồn khác nhau sau đó chuẩn hóa về cùng định dạng; làm sạch xử lí dữ liệu để tìm lỗi và sửa và lưu trữ dữ liệu đã tổng hợp
– Tầng giữa (Warehouse): cung cấp dịch vụ xử lý phân tích trực tuyến (OLAP – Online Analytical Processing) để thao tác với kho dữ liệu đã được tích hợp. Tầng giữa có thể được cài đặt bằng Relational OLAP, Multidimensional OLAP; hay kết hợp cả hai mô hình trên Hybrid OLAP
– Tầng trên cùng (Users): nơi thực hiện các thao tác truy vấn, báo cáo, phân tích để tìm ra xu hướng, trung bình, tổng hợp…
>> Tìm hiểu về phân tích dữ liệu
Sự ra đời của kho dữ liệu nhằm đáp ứng khối lượng dữ liệu cần được xử lý ngày càng nhiều; nhu cầu lưu trữ dữ liệu phát triển khi các hệ thống máy tính trở nên phức tạp hơn. Cụ thể, kho dữ liệu sẽ đem lại các lợi ích sau đây cho các doanh nghiệp:
– Tích hợp dữ liệu lại về một nguồn, cùng một định dạng, giải quyết tính phân mảnh và rời rạc của dữ liệu nhằm đáp ứng mọi yêu cầu về thông tin của người sử dụng
– Tiết kiệm thời gian và hiệu quả khi tìm thấy dữ liệu cần thiết
– Giúp việc sử dụng dữ liệu của doanh nghiệp trở nên hiệu quả hơn bằng tính năng xử lý và phân tích dữ liệu
– Hỗ trợ người sử dụng đưa ra những quyết định hợp lý, nhanh chóng, năng suất cao hơn; thu được lợi nhuận cao hơn…
– Giúp cho tổ chức, xác định, quản lý và điều hành những dự án, những nghiệp vụ một cách hiệu quả và chính xác.
– Giúp tăng cường khối lượng dữ liệu cần được tổng hợp, lưu trữ và xử lý lên đáng kể
Hiện kho dữ liệu đã được ứng dụng rộng rãi trong các doanh nghiệp thuộc nhiều lĩnh vực khác nhau, cụ thể ta có thể kể đến:
– Hàng không: Xây dựng hệ thống quản lý các công việc hàng không; như quản lý tuyến bay, lịch bay, phân công phi hành đoàn, quản lý các chương trình ưu đãi dành cho khách hàng…
– Ngân hàng: quản lý dòng tiền, quản lý các quỹ đầu tư, cho vay, thời hạn thanh toán…
– Y – Dược: quản lý thông tin bệnh nhân, tình trạng bệnh án, phác đồ điều trị; đơn thuốc được kê cho họ, thời gian điều trị bệnh…
– Bảo hiểm: phân tích xu hướng của khách hàng; và để theo dõi sự thay đổi của thị trường một cách nhanh chóng
– Bán lẻ: quản lý mặt hàng nhập vào – bán ra, quản lý chuỗi phân phối; xác định mô hình mua hàng của khách hàng, các chương trình khuyến mãi cũng như các chính sách giá
– Giáo dục: quản lý thông tin học sinh – giáo viên – công nhân viên của trường, quản lý quá trình học tập, giáo án, bài giảng, kết quả học tập của học sinh…; Là nền tảng để xây dựng các phần mềm dạy học hiện nay.
– Quản lý quan hệ khách hàng: tổng hợp, xử lý, phân tích; và giúp dự đoán insight của khách hàng và xu hướng thị trường trong tương lai
– Thương mại điện tử: là lĩnh vực có sự ứng dụng rõ rệt nhất của kho dữ liệu; thông qua việc quản lý thông tin hàng hóa, người bán, người mua, tình trạng đơn hàng, các chương trình khuyến mãi…
Bước 1: Dữ liệu được tập hợp từ nhiều nguồn và đưa vào Data Sources để đồng bộ định dạng, biên soạn; sau đó sẽ quá trình làm sạch dữ liệu; tìm kiếm để sửa hay loại bỏ bất kỳ lỗi nào trong dữ liệu nhằm đảm bảo tính nhất quán của dữ liệu trước khi đưa vào Warehouse.
Bước 2: Dữ liệu sau khi trải qua nhiều thao tác ở tầng Data Sources; sẽ được chuyển từ định dạng cơ sở dữ liệu sang định dạng kho. Sau đó tại tầng Warehouse; dữ liệu sẽ được sắp xếp, hợp nhất và tổng kết,…; nhằm đảm bảo quá trình phân phối và xử lý dữ liệu diễn ra trơn tru và mượt mà hơn.
Bước 3: Dữ liệu được phân bổ đến người dùng cuối khi có thao tác tìm kiếm; truy vấn và xuất báo cáo. Trong bước này, có nhiều công cụ để thực hiện nhằm giúp dữ liệu được xử lý gọn gàng; và dễ nhìn trước khi hiển thị tới người dùng cuối.
Ví dụ: nhờ có kho dữ liệu, bộ phận bán hàng có thể có những thông tin về nhu cầu; đặc điểm của khách hàng và giúp đưa ra quyết định về cách cải thiện doanh số hoặc sắp xếp quy trình hay phân công nhiệm vụ rõ ràng trong bộ phận kinh doanh. Đặc biệt với khả năng lưu trữ ưu việt của mình; kho dữ liệu có thể có tất cả các thông tin mà khách hàng đã mua sản phẩm/sử dụng dịch vụ trong 10 năm qua.
Từ những thông tin trên mà chúng tôi cung cấp; bạn có thể dễ dàng thấy rằng kho dữ liệu đóng vai trò then chốt trong việc tập hợp; xử lý dữ liệu thô trong doanh nghiệp. Xây dựng kho dữ liệu là nền tảng vững chắc trong quá trình tích hợp hệ thống báo cáo quản trị thông minh cho doanh nghiệp. Chúc bạn thành công với kho dữ liệu mà mình xây dựng nhé!
>> Tìm hiểu thêm khóa phân tích dữ liệu tại: http://phantichdulieu.cole.vn/
Cảm nhận học viên
Chủ tịch Meeyland Group – Học viên khóa học chuyển đổi số doanh nghiệp, khóa học phân tích dữ liệu
Chuyển đổi số là xu thế và xu hướng của bất cứ doanh nghiệp nào hiện nay. Là doanh nghiệp về công nghệ, tuy nhiên về phần số hóa quy trình bên mình còn yếu, mình tham gia để hiểu cách làm Data Warehouse trong doanh nghiệp
Sinh viên ngành Logistics – Học viên khóa phân tích dữ liệu với R, khóa chuyển đổi số doanh nghiệp, khóa Data Engineer
Em hiện tại đang là sinh viên ngành logictics, tuy nhiên câu chuyện số hóa được ứng dụng ở bất cứ đâu không chỉ ở tại trường, Em đăng ký học để học thêm kỹ năng cho công việc sau này của mình.
Chairman Sunflower Tekondo – Học viên khóa chuyển đổi số doanh nghiệp, khóa Data Engineer, khóa power BI & SQL
Hiện tại trung tâm đào tạo của mình đang có hợp tác với khoảng hơn 1000 đơn vị trên cả nước, việc quản lý học viên vô cùng khó khăn. Là một người ngoại đạo về lĩnh vực công nghệ, nên mình chưa biết làm thế nào để bắt đầu làm chuyển đổi số cho doanh nghiệp của mình, thấy quảng cáo về khóa học chuyển đổi số doanh nghiệp tại Cole mình đã tham gia, khóa học đã giúp mình có phương pháp để làm các chương trình số hóa cho doanh nghiệp theo từng lộ trình và từng bước để ứng dụng được.
Nhân viên Phòng Tài chính Ngân hàng – Học viên khóa Phân tích dữ liệu từ cơ bản – nâng cao (Excel & Power Query, SQL & Power BI, R&Python)
Hiện tại mình hơn 40 tuổi, làm trong phòng tài chính của 1 Ngân hàng, nhưng mình muốn cải thiện khả năng để theo kịp các bạn trẻ với những xu hướng chuyển đổi số diễn ra mạnh mẽ mình không muốn lỡ cơ hội trong thời kỳ dịch chuyển số hóa như hiện nay
Giám đốc tập đoàn tài chính Fiin – Học viên khóa chuyển đổi số doanh nghiệp, phân tích nghiệp vụ kinh doanh
Mình gặp khó khăn trong việc tiếp cận về việc áp dụng các công nghệ và phương pháp làm chuyển đổi số, khóa học đã giúp chúng tôi vẽ được bộ quy trình nghiệp vụ trong việc số hóa doanh nghiệp của mình.
Giám đốc công ty TNHH HMGROUP – Học viên khóa chuyển đổi số doanh nghiệp, Phân tích nghiệp vụ kinh doanh
Câu chuyện chuyển đổi số đã lan chuyển khắp nơi, điều này cũng gặp phải chính trong doanh nghiệp mà mình đang làm. Có rất nhiều vấn đề nào là cách số hóa tài liệu, số hóa quy trình, số hóa các phân hệ bán hàng, làm sao để dữ liệu có thể tập trung tại một nơi giúp làm báo cáo nhanh chóng, ngoài ra còn vấn đề bảo mật và an toàn thông tin nữa. Qua khóa học chuyển đổi số và phân tích nghiệp vụ (Business Analysis) tại Cole.vn đã giúp mình nắm được phương pháp và cách làm.
Cán bộ cao cấp tập đoàn VNPT: Tham gia học khóa chuyển đổi số, khóa Phân tích nghiệp vụ kinh doanh, khoá Power BI & SQL
Loay hoay trong chính câu chuyện 1 tổ chức nhà nước, đơn vị đang thực hiện hàng chục các dự án số hóa khác nhau tuy nhiên phòng làm việc của mình lại chưa biết bắt đầu từ đâu, qua các khóa học ứng dụng chuyển đổi số tại Cole, giúp mình hiểu ra các bước và phương pháp để làm việc còn lại là tác động con người trong tổ chức cần thay đổi.
CIO Bamboo Capital Group (Sở hữu 40 công ty thành viên) – Học viên khóa chuyển đổi số doanh nghiệp, khóa data engineer, khóa phân tích dữ liệu.
Tham gia khóa học tại Cole.vn tôi được các chuyên gia và các thầy chuyển giao hết các kiến thức và không “giấu bài”, có rất nhiều tài liệu và kiến thức tôi đã được chia sẻ giúp tôi có thể ứng dụng để triển khai các chương trình số hóa cho tập đoàn 1 cách nhanh chóng.
Chuyên gia cao cấp phụ trách chuyển đổi số Tập đoàn SUNGROUP – Học viên khóa chuyển đổi số doanh nghiệp, khóa học Data Engineer, khóa phân tích nghiệp vụ doanh nghiệp.
Khi thực hiện các dự án chuyển đổi số cho tập đoàn, do nhiều nguyên nhân nóng vội mà hiện tại vẫn chưa thực hiện thành công như áp dụng nhiều phần mềm, nhưng phần mềm mua về không đáp ứng được nghiệp vụ gây ra nhiều thất thoát lãng phí. Qua khóa học tại Cole mình mới biết nguyên nhân là thiếu phần làm URD (yêu cầu người dùng). Xin cảm ơn Cole, các khóa học này thực sự đã giúp mình có phương pháp để làm chuyển đổi số doanh nghiệp.
Câu chuyện doanh nghiệp
Bộ phận đào tạo và phát triển con người của ngân hàng mong muốn tìm hiểu thêm công nghệ Blockchain ứng dụng trong ngân hàng, nhằm nắm bắt xu hướng phát triển của công nghệ trong thị trường tài chính. Chúng tôi đã lựa chọn Cole để là đối tác đào tạo khóa BlockChain này, dựa trên thông tin website chúng tôi tin tưởng vào năng lực với các dự án đào tạo chuyển đổi số mà Cole đã từng tổ chức như phân tích dữ liệu, Machine Learning, Phân tích nghiệp vụ doanh nghiệp, cũng như các khóa khóa học về Blockchain đã triển khai.
Hiện tại các công nghệ xử lý dữ liệu đã thay đổi nhanh chóng, Ban giám đốc công ty xác định bồi dưỡng đào tạo cho nhân viên về kỹ năng xử lý dữ liệu bằng các công nghệ phân tích mời nổi để việc xử lý dữ liệu được nhanh hơn. Chúng tôi nhận thấy các khóa học của Cole đáp ứng các yêu cầu mà BGĐ muốn đào tạo cho nhân viên của công ty nên chúng tôi đã lựa chọn các khóa học tại đây.
MB Ageas (MB Ageas Life) là công ty bảo hiểm liên doanh giữa ngân hàng MB, tập đoàn Ageas và công ty bảo hiểm Muaung Thai của Thái Lan. Các lãnh đạo và nhà quản lý tập đoàn đã tham gia khóa học chuyển đổi số doanh nghiệp của Cole nhằm nâng cấp kỹ năng, kiến thức và các phương pháp làm chuyển đổi số cho doanh nghiệp của mình.
Saigonbank là Ngân hàng đầu tiên được thành lập trong hệ thống Ngân hàng cổ phần tại Việt Nam hiện nay. Lãnh đạo của Saigonbank xác định rõ nhiệm vụ để làm chuyển đổi số là trọng tâm trong chiến lược phát triển, ngân hàng đã cử các cán bộ là lãnh đạo tham gia bồi dưỡng kiến thức chuyển đổi số với khóa học tại Cole nhằm nâng cấp kiến thức và cách ứng dụng và các phương pháp làm theo từng lộ trình mà các chuyên gia của Cole chia sẻ.
Tham gia khóa học phân tích dữ liệu doanh nghiệp
Công ty TNHH MTV Nhiên liệu hàng không Việt Nam (Skypec) là nhà cung ứng nhiên liệu hàng đầu cho các Hãng Hàng không tại các sân bay dân dụng Việt Nam. Với hơn 1300 cán bộ nhân viên trong doanh nghiệp, việc nâng cấp kỹ năng phân tích dữ liệu cho và các kỹ năng công nghệ mới là ưu tiên mà ban lãnh đạo dự định để đào tạo cho nhân viên trong thời kỳ xu hướng chuyển đổi số mạnh mẽ hiện nay, sau khi tham khảo các khóa học khác trên thị trường, phòng đào tạo & phát triển của công ty Skypec đã lựa chọn Cole để làm đơn vị đào tạo và bồi dưỡng với các kỹ năng cho CBNV, vì các khóa học ứng dụng chuyển đổi số tại Cole khá phù hợp và ứng dụng thực tiễn hiện nay.
Tham gia khóa học phân tích dữ liệu doanh nghiệp
WWF là Quỹ Quốc tế Bảo vệ Thiên nhiên, là một trong những tổ chức phi chính phủ lớn nhất thế giới về bảo vệ thiên nhiên. Các chuyên viên về là người phải đi thu thập và điều tra các số liệu liên quan đến hoạt động môi trường, ô nhiễm để thống kê báo cáo gửi ban lãnh đạo, nhưng vấn đề của các chuyên viên bị hiện tại là kỹ năng phân tích và tổng hợp số liệu chưa tốt, chưa biết cách xử lý và báo cáo dữ liệu sao cho đúng. Nhận thấy khóa học tại Cole.vn có nhiều các công nghệ xử lý dữ liệu mới nên công ty đã tổ chức cho các chuyên viên nghiên cứu tham gia.
