Các loại dữ liệu thường sử dụng trong doanh nghiệp (P2) – dữ liệu phi cấu trúc cấu trúc!

admin
1,512
11-09-2021

Ở phần 1 bạn đã được đọc về dữ liệu có cấu trúc, phần này bạn sẽ khám phá tiếp các dữ liệu phi cấu trúc (hay nói cách khác là dữ liệu không có cấu trúc – NoSQL).

Dữ liệu phi cấu trúc là thuật ngữ dùng để chỉ bất kỳ dữ liệu nào không phù hợp với các định dạng hoặc cơ sở dữ liệu có cấu trúc truyền thống – ví dụ như các trao đổi thông qua e-mail, văn bản trang web, các bài viết trên phương tiện truyền thông xã hội, nội dung video, hình ảnh và bản ghi âm. Như bạn có thể biết, chúng thường dưới dạng văn bản khối lượng lớn, nhưng cũng có thể là những dữ liệu ở dạng ngày và số, hoặc các loại dữ liệu khác như hình ảnh. Cho đến thời gian gần đây, mọi thứ không phù hợp với cơ sở dữ liệu hoặc bảng tính thường bị loại bỏ hoặc lưu trữ trên giấy, vi phim, hoặc tập tin được scan mà không thể dễ dàng phân tích. Bây giờ, nhờ vào sự gia tăng vượt trội trong khả năng lưu trữ, khả năng gắn thẻ và phân loại dữ liệu phi cấu trúc, chưa kể đến những tiến bộ trong các công cụ phân tích dữ liệu, cuối cùng chúng ta đã có thể sử dụng dữ liệu này.

Dữ liệu bán cấu trúc là đường giao thoa giữa dữ liệu phi cấu trúc và có cấu trúc. Đây là dữ liệu có một số cấu trúc có thể được sử dụng để phân tích (như các thẻ hoặc các dạng đánh dấu khác) nhưng thiếu cấu trúc nghiêm ngặt, cái mà chúng ta thường thấy trong cơ sở dữ liệu hoặc bảng tính. Ví dụ, một dòng tweet có thể được phân loại theo tác giả, ngày tháng, thời gian, độ dài và thậm chí cả cảm xúc ẩn chứa đằng sau nó, nhưng bản thân nội dung thường không có cấu trúc. Hiện nay, người ta có thể tự động phân tích văn bản trong dòng tweet đó, nhưng không phải là sử dụng các phương pháp phân tích truyền thống, mà sẽ cần đến một công cụ phân tích văn bản chuyên nghiệp.

Nhược điểm của dữ liệu phi cấu trúc

Bạn có thể đoán được rằng nhược điểm chính của việc làm việc với những dữ liệu lộn xộn và phi cấu trúc là chúng khá phức tạp, thường đòi hỏi phần mềm và hệ thống được thiết kế đặc biệt. Kết quả là, chi phí có thể tăng lên. Điều này không phải là không hợp lý; dữ liệu phi cấu trúc có xu hướng lớn hơn nhiều so với dữ liệu có cấu trúc, điều đó có nghĩa là bạn cần phải có dung lượng lớn hơn, tốt hơn, và việc tổ chức cũng như trích xuất những hiểu biết sâu sắc trở nên phức tạp hơn, dẫn đến việc đòi hỏi các hệ thống chuyên biệt. Tất cả điều này không có nghĩa là bạn không nên sử dụng dữ liệu phi cấu trúc. Điều quan trọng là bạn cần làm rõ những gì bạn muốn đạt được và dữ liệu nào bạn cần để thực hiện điều đó – nó là cách chắc chắn nhất để tránh việc “leo thang” và giữ cho chi phí được kiểm soát.

bạn không nên sử dụng dữ liệu phi cấu trúc. Điều quan trọng là bạn cần làm rõ những gì bạn muốn đạt được và dữ liệu nào bạn cần để thực hiện điều đó – nó là cách chắc chắn nhất để tránh việc “leo thang” và giữ cho chi phí được kiểm soát.

Dữ liệu phi cấu trúc và bán cấu trúc có lợi thế lớn là chúng rất nhiều. 80% dữ liệu liên quan đến kinh doanh bắt nguồn từ dữ liệu phi cấu trúc hoặc bán cấu trúc, do đó nó lớn hơn rất nhiều so với dữ liệu có cấu trúc về khối lượng tuyệt đối. Và một lợi thế quan trọng khác là nó có xu hướng cung cấp một bức tranh phong phú hơn so với dữ liệu có cấu trúc truyền thống. Hãy suy nghĩ theo hướng dữ liệu có cấu trúc cho bạn biết ai, cái gì, ở đâu khi nào, trong khi dữ liệu phi cấu trúc giúp bạn hiểu lý do tại sao.

Dưới đây là ví dụ đơn giản về cách chúng ta có thể làm việc dễ dàng hơn với dữ liệu phi cấu trúc. Hãy xem xét đoạn video một con mèo chơi với quả bóng bện bằng dây. Một vài năm trước, để video đó được phân loại (ví dụ như để cho nó có thể xuất hiện trong kết quả tìm kiếm), người ta sẽ phải xem và gắn thẻ theo một số từ khóa nhất định (mèo, dễ thương, quả bóng, vui nhộn,…) để cho những người tìm kiếm video mèo vui nhộn hoặc dễ thương có thể tìm thấy video này một cách dễ dàng hơn. Giờ đây, video có thể được tự động phân loại bằng thuật toán, nghĩa là máy tính có thể xem video, tự động phát hiện nội dung bên trong (thậm chí có thể là ai trong đó, nhờ phần mềm nhận diện khuôn mặt) và tự động tạo ra các thẻ riêng cho chúng. Các thương hiệu đang bắt đầu sử dụng công nghệ này như là một phần trong hoạt động marketing hàng ngày của họ. Một người bạn của tôi kiếm sống bằng việc tổ chức các buổi hội nghị, và một trong những hội nghị mà anh tổ chức là cho một công ty sản xuất thiết bị điện tử nổi tiếng. Ngay trước khi hội nghị bắt đầu, anh ấy đã chia sẻ một bức ảnh của sân khấu chính trên Twitter, đã sẵn sàng cho diễn giả đầu tiên. Bức ảnh có tên và logo của nhà sản xuất, được đặt trên một tấm biển phía sau sân khấu, nhưng anh đã không đề cập rõ ràng đến công ty bằng cách sử dụng hashtag hoặc gắn địa chỉ Twitter của họ một cách rõ ràng. Và tiếp theo thì sao, một tuần sau hội nghị, liệu anh ấy có còn tiếp tục nhìn thấy những quảng cáo trực tuyến được nhắm mục tiêu cho thương hiệu cụ thể đó không? Bởi vì công ty biết anh ta đang nói về họ; phần mềm phân tích có thể khai thác dữ liệu phi cấu trúc cho bất kỳ điều gì có liên quan đến công ty và sản phẩm của họ.

Xem thêm: Các loại dữ liệu thường sử dụng trong doanh nghiệp (P3) – dữ liệu nội bộ!

———————————————–

Cole.vn – Connect Learning

Địa chỉ: 289B Khuất Duy Tiến, Trung Hòa, Cầu Giấy

Hotline: 0869 810 635

Email: contact@cole.vn

Facebook: https://www.facebook.com/www.cole.vn

#thanh_thao_tin_hoc #tin_hoc_van_phong

#cong_nghe_thong_tin #lap_trinh #thiet_ke

#he_dieu_hanh #may_tinh #power_bi

#data_analyst #chuyendoiso

#digital_transformation

#Business_analyst #ketoan #hcns #excel

Theo sách chiến lược dữ liệu – Chương 6

Cảm nhận học viên

Anh Hoàng Mai Chung

Chủ tịch Meeyland GroupHọc viên khóa học chuyển đổi số doanh nghiệp, khóa học phân tích dữ liệu

Chuyển đổi số là xu thế và xu hướng của bất cứ doanh nghiệp nào hiện nay. Là doanh nghiệp về công nghệ, tuy nhiên về phần số hóa quy trình bên mình còn yếu, mình tham gia để hiểu cách làm Data Warehouse trong doanh nghiệp

Đọc thêm >
Huỳnh Hữu Đức

Sinh viên ngành Logistics Học viên khóa phân tích dữ liệu với R, khóa chuyển đổi số doanh nghiệp, khóa Data Engineer

Em hiện tại đang là sinh viên ngành logictics, tuy nhiên câu chuyện số hóa được ứng dụng ở bất cứ đâu không chỉ ở tại trường, Em đăng ký học để học thêm kỹ năng cho công việc sau này của mình.

Đọc thêm >
Anh Nguyễn Thanh Huy

Chairman Sunflower TekondoHọc viên khóa chuyển đổi số doanh nghiệp, khóa Data Engineer, khóa power BI & SQL

Hiện tại trung tâm đào tạo của mình đang có hợp tác với khoảng hơn 1000 đơn vị trên cả nước, việc quản lý học viên vô cùng khó khăn. Là một người ngoại đạo về lĩnh vực công nghệ, nên mình chưa biết làm thế nào để bắt đầu làm chuyển đổi số cho doanh nghiệp của mình, thấy quảng cáo về khóa học chuyển đổi số doanh nghiệp tại Cole mình đã tham gia, khóa học đã giúp mình có phương pháp để làm các chương trình số hóa cho doanh nghiệp theo từng lộ trình và từng bước để ứng dụng được.

Đọc thêm >
Chị Mai Thị Hà

Nhân viên Phòng Tài chính Ngân hàngHọc viên khóa Phân tích dữ liệu từ cơ bản – nâng cao (Excel & Power Query, SQL & Power BI, R&Python)

Hiện tại mình hơn 40 tuổi, làm trong phòng tài chính của 1 Ngân hàng, nhưng mình muốn cải thiện khả năng để theo kịp các bạn trẻ với những xu hướng chuyển đổi số diễn ra mạnh mẽ mình không muốn lỡ cơ hội trong thời kỳ dịch chuyển số hóa như hiện nay

Đọc thêm >
Anh Lê Anh Tuấn

Giám đốc tập đoàn tài chính FiinHọc viên khóa chuyển đổi số doanh nghiệp, phân tích nghiệp vụ kinh doanh

Mình gặp khó khăn trong việc tiếp cận về việc áp dụng các công nghệ và phương pháp làm chuyển đổi số, khóa học đã giúp chúng tôi vẽ được bộ quy trình nghiệp vụ trong việc số hóa doanh nghiệp của mình.

Đọc thêm >
Anh Lê Huy Mạnh

Giám đốc công ty TNHH HMGROUPHọc viên khóa chuyển đổi số doanh nghiệp, Phân tích nghiệp vụ kinh doanh

Câu chuyện chuyển đổi số đã lan chuyển khắp nơi, điều này cũng gặp phải chính trong doanh nghiệp mà mình đang làm. Có rất nhiều vấn đề nào là cách số hóa tài liệu, số hóa quy trình, số hóa các phân hệ bán hàng, làm sao để dữ liệu có thể tập trung tại một nơi giúp làm báo cáo nhanh chóng, ngoài ra còn vấn đề bảo mật và an toàn thông tin nữa. Qua khóa học chuyển đổi số và phân tích nghiệp vụ (Business Analysis) tại Cole.vn đã giúp mình nắm được phương pháp và cách làm.

Đọc thêm >
Anh Lê Quốc Long

Cán bộ cao cấp tập đoàn VNPT: Tham gia học khóa chuyển đổi số, khóa Phân tích nghiệp vụ kinh doanh, khoá Power BI & SQL

Loay hoay trong chính câu chuyện 1 tổ chức nhà nước, đơn vị đang thực hiện hàng chục các dự án số hóa khác nhau tuy nhiên phòng làm việc của mình lại chưa biết bắt đầu từ đâu, qua các khóa học ứng dụng chuyển đổi số tại Cole, giúp mình hiểu ra các bước và phương pháp để làm việc còn lại là tác động con người trong tổ chức cần thay đổi.

Đọc thêm >
Anh Vương Văn Mạnh

CIO Bamboo Capital Group (Sở hữu 40 công ty thành viên)Học viên khóa chuyển đổi số doanh nghiệp, khóa data engineer, khóa phân tích dữ liệu.

Tham gia khóa học tại Cole.vn tôi được các chuyên gia và các thầy chuyển giao hết các kiến thức và không “giấu bài”, có rất nhiều tài liệu và kiến thức tôi đã được chia sẻ giúp tôi có thể ứng dụng để triển khai các chương trình số hóa cho tập đoàn 1 cách nhanh chóng.

 

Đọc thêm >
Anh Nguyễn Văn Cao

Chuyên gia cao cấp phụ trách chuyển đổi số Tập đoàn SUNGROUPHọc viên khóa chuyển đổi số doanh nghiệp, khóa học Data Engineer, khóa phân tích nghiệp vụ doanh nghiệp.

Khi thực hiện các dự án chuyển đổi số cho tập đoàn, do nhiều nguyên nhân nóng vội mà hiện tại vẫn chưa thực hiện thành công như áp dụng nhiều phần mềm, nhưng phần mềm mua về không đáp ứng được nghiệp vụ gây ra nhiều thất thoát lãng phí. Qua khóa học tại Cole mình mới biết nguyên nhân là thiếu phần làm URD (yêu cầu người dùng). Xin cảm ơn Cole, các khóa học này thực sự đã giúp mình có phương pháp để làm chuyển đổi số doanh nghiệp.

Đọc thêm >

Câu chuyện doanh nghiệp

Ngân hàng SHB

Bộ phận đào tạo và phát triển con người của ngân hàng mong muốn tìm hiểu thêm công nghệ Blockchain ứng dụng trong ngân hàng, nhằm nắm bắt xu hướng phát triển của công nghệ trong thị trường tài chính. Chúng tôi đã lựa chọn Cole để là đối tác đào tạo khóa BlockChain này, dựa trên thông tin website chúng tôi tin tưởng vào năng lực với các dự án đào tạo chuyển đổi số mà Cole đã từng tổ chức như phân tích dữ liệu, Machine Learning, Phân tích nghiệp vụ doanh nghiệp, cũng như các khóa khóa học về Blockchain đã triển khai.

Đọc thêm >
Viễn thông VNPT Nam Định

Hiện tại các công nghệ xử lý dữ liệu đã thay đổi nhanh chóng, Ban giám đốc công ty xác định bồi dưỡng đào tạo cho nhân viên về kỹ năng xử lý dữ liệu bằng các công nghệ phân tích mời nổi để việc xử lý dữ liệu được nhanh hơn. Chúng tôi nhận thấy các khóa học của Cole đáp ứng các yêu cầu mà BGĐ muốn đào tạo cho nhân viên của công ty nên chúng tôi đã lựa chọn các khóa học tại đây.

Đọc thêm >
Bảo hiểm MB Ageas

MB Ageas (MB Ageas Life) là công ty bảo hiểm liên doanh giữa ngân hàng MB, tập đoàn Ageas và công ty bảo hiểm Muaung Thai của Thái Lan. Các lãnh đạo và nhà quản lý tập đoàn đã tham gia khóa học chuyển đổi số doanh nghiệp của Cole nhằm nâng cấp kỹ năng, kiến thức và các phương pháp làm chuyển đổi số cho doanh nghiệp của mình.

Đọc thêm >
Ngân hàng Saigonbank

Saigonbank là Ngân hàng đầu tiên được thành lập trong hệ thống Ngân hàng cổ phần tại Việt Nam hiện nay. Lãnh đạo của Saigonbank xác định rõ nhiệm vụ để làm chuyển đổi số là trọng tâm trong chiến lược phát triển, ngân hàng đã cử các cán bộ là lãnh đạo tham gia bồi dưỡng kiến thức chuyển đổi số với khóa học tại Cole nhằm nâng cấp kiến thức và cách ứng dụng và các phương pháp làm theo từng lộ trình mà các chuyên gia của Cole chia sẻ.

Đọc thêm >
Skypec (Công ty nhiên liệu hàng không Việt Nam)

Tham gia khóa học phân tích dữ liệu doanh nghiệp

Công ty TNHH MTV Nhiên liệu hàng không Việt Nam (Skypec) là nhà cung ứng nhiên liệu hàng đầu cho các Hãng Hàng không tại các sân bay dân dụng Việt Nam. Với hơn 1300 cán bộ nhân viên trong doanh nghiệp, việc nâng cấp kỹ năng phân tích dữ liệu cho và các kỹ năng công nghệ mới là ưu tiên mà ban lãnh đạo dự định để đào tạo cho nhân viên trong thời kỳ xu hướng chuyển đổi số mạnh mẽ hiện nay, sau khi tham khảo các khóa học khác trên thị trường, phòng đào tạo & phát triển của công ty Skypec đã lựa chọn Cole để làm đơn vị đào tạo và bồi dưỡng với các kỹ năng cho CBNV, vì các khóa học ứng dụng chuyển đổi số tại Cole khá phù hợp và ứng dụng thực tiễn hiện nay.

Đọc thêm >
Tổ chức WWF Vietnam

Tham gia khóa học phân tích dữ liệu doanh nghiệp

WWF là Quỹ Quốc tế Bảo vệ Thiên nhiên, là một trong những tổ chức phi chính phủ lớn nhất thế giới về bảo vệ thiên nhiên. Các chuyên viên về là người phải đi thu thập và điều tra các số liệu liên quan đến hoạt động môi trường, ô nhiễm để thống kê báo cáo gửi ban lãnh đạo, nhưng vấn đề của các chuyên viên bị hiện tại là kỹ năng phân tích và tổng hợp số liệu chưa tốt, chưa biết cách xử lý và báo cáo dữ liệu sao cho đúng. Nhận thấy khóa học tại Cole.vn có nhiều các công nghệ xử lý dữ liệu mới nên công ty đã tổ chức cho các chuyên viên nghiên cứu tham gia.

Đọc thêm >
Nâng cấp kỹ năng ứng dụng chuyển đổi số cho người đi làm cùng chúng tôi ngay hôm nay.