Quản trị dữ liệu là gì?

Trước đây, các chương trình quản trị dữ liệu thường được sử dụng để khóa dữ liệu trong các lô cốt nhằm ngăn chặn rò rỉ hoặc lạm dụng dữ liệu. Tuy nhiên, hậu quả khi sử dụng lô cốt dữ liệu là người dùng hợp lệ phải vượt qua các rào cản để có quyền truy cập dữ liệu khi họ cần. Do đó vô tình kìm hãm sự đổi mới dựa trên dữ liệu.

Trong khảo sát năm 2024 với 350 Giám đốc dữ liệu (CDO) và những người giữ các vai trò tương đương CDO, MIT CDOIQ thấy rằng 45% Giám đốc dữ liệu xác định quản trị dữ liệu là ưu tiên hàng đầu. Các lãnh đạo về dữ liệu này muốn thiết lập một khung quản trị dữ liệu cho phép họ cung cấp dữ liệu cho đúng người và ứng dụng khi cần thiết, trong khi vẫn đảm bảo dữ liệu an toàn và bảo mật bằng cách áp dụng các biện pháp kiểm soát thích hợp. 

Cân bằng quyền truy cập và biện pháp kiểm soát

Bạn có hai đòn bẩy để quản trị trở thành một yếu tố thúc đẩy đổi mới, đó là quyền truy cập và kiểm soát. Bí quyết dẫn tới thành công là tìm ra điểm cân bằng phù hợp giữa hai yếu tố này và với mỗi tổ chức thì điểm cân bằng này lại khác nhau. Khi bạn kiểm soát quá mức, dữ liệu bị khóa trong lô cốt và người dùng không thể truy cập dữ liệu khi họ cần. Điều này vừa kìm hãm sự sáng tạo vừa tạo ra các hệ thống CNTT bóng tối khiến dữ liệu lỗi thời và không được bảo mật. Ở chiều ngược lại, nếu bạn cung cấp quá nhiều quyền truy cập, dữ liệu sẽ có nguy cơ vượt ra ngoài tầm kiểm soát ở các ứng dụng và kho dữ liệu, làm tăng rủi ro truy cập trái phép và ảnh hưởng đến chất lượng dữ liệu.

Các quy trình quản trị dữ liệu giúp cân bằng quyền truy cập với kiểm soát, khiến người dùng tin tưởng hơn vào dữ liệu. Các quy trình này thúc đẩy việc khám phá, tuyển chọn, bảo vệ và chia sẻ dữ liệu một cách thích hợp, khuyến khích sự đổi mới trong khi vẫn bảo vệ dữ liệu.

Quản trị ML áp dụng nhiều trong số các phương pháp quản trị dữ liệu cho ML. Chất lượng dữ liệu và tích hợp dữ liệu cần cung cấp dữ liệu cần thiết để đào tạo mô hình và triển khai sản xuất (các cửa hàng tính năng là một khía cạnh quan trọng trong đó). Trí tuệ nhân tạo (AI) có trách nhiệm đang đặc biệt chú trọng đến việc sử dụng dữ liệu nhạy cảm để xây dựng các mô hình. Các tính năng quản trị ML bổ sung bao gồm cho phép mọi người tham gia xây dựng, triển khai và giám sát mô hình; lập hồ sơ đào tạo mô hình, lập phiên bản, các trường hợp sử dụng được hỗ trợ và hướng dẫn sử dụng mô hình có đạo đức; cũng như giám sát mô hình ở khâu sản xuất để biết độ chính xác, sai lệch, quá khớp và chưa khớp.

AI tạo sinh yêu cầu các khả năng quản trị dữ liệu bổ sung, như chất lượng và tính toàn vẹn của dữ liệu để hỗ trợ điều chỉnh các mô hình nền tảng cho mục đích đào tạo và suy luận, quản trị tính độc hại và thiên kiến của AI tạo sinh và hoạt động của mô hình nền tảng (FM): FMOp.

Bạn có thể hỗ trợ AI/ML thông qua cùng một chương trình quản trị dữ liệu. Chuẩn bị dữ liệu là hoạt động cần thiết để chuyển đổi dữ liệu sang hình thức mà các mô hình AI/ML có thể sử dụng để đào tạo và suy luận sản xuất nhưng công đoạn chuẩn bị dữ liệu hiệu quả nhất là công đoạn chuẩn bị mà bạn không phải thực hiện. Các nhà khoa học dữ liệu dành quá nhiều thời gian để chuẩn bị dữ liệu cho từng trường hợp sử dụng. Nhóm quản trị dữ liệu của bạn có thể giúp giảm bớt gánh nặng cùng một kiểu này. Ngoài ra, quản trị dữ liệu có thể giám sát việc tạo ra các cửa hàng tính năng được định hình để sử dụng trong các trường hợp sử dụng AI và ML.

Cuối cùng, dữ liệu nhạy cảm cần được bảo vệ một cách thích hợp, để nhóm của bạn có thể giảm thiểu rủi ro của dữ liệu nhạy cảm được sử dụng cho mục đích đào tạo các mô hình nền tảng.

Giống như phân tích nói chung, bạn phải quản lý việc sử dụng các mô hình AI/ML do mình xây dựng hoặc tùy chỉnh. Tốt nhất là việc này nên được liên kết chặt chẽ với quản trị phân tích, vì chức năng đó sẽ biết cách hỗ trợ các lĩnh vực kinh doanh khác nhau.

Chương trình quản trị dữ liệu cần cân bằng giữa tập trung và phi tập trung (bao gồm cả tự phục vụ). Trong toàn bộ tổ chức, bạn sẽ có sự kết hợp giữa hình thức quản trị tập trung, liên kết và phi tập trung và một lần nữa, tùy thuộc vào các yêu cầu kinh doanh. Bạn cần trao quyền cho các nhóm miền ở mức tối đa có thể, trong khi vẫn duy trì sự gắn kết giữa các miền (ví dụ như khả năng liên kết dữ liệu với nhau).  

Quản trị dữ liệu tập trung

Các tổ chức trung tâm chịu trách nhiệm cuối cùng về các tuyên bố sứ mệnh, chính sách, lựa chọn công cụ và nhiều vấn đề khác. Tuy nhiên, các hành động hàng ngày thường được giao cho các bộ phận kinh doanh (LOB) thực hiện.

Phối hợp quản trị dữ liệu

Mô hình phối hợp quản trị dữ liệu cho phép các đơn vị kinh doanh hoặc các sáng kiến riêng lẻ hoạt động theo cách phù hợp nhất với nhu cầu của họ. Còn mô hình nhóm trung tâm với quy mô nhỏ hơn tập trung vào việc giải quyết các vấn đề thường xuyên lặp lại, chẳng hạn như các công cụ đảm bảo chất lượng dữ liệu trên toàn doanh nghiệp.

Quản trị dữ liệu tự phục vụ hoặc phi tập trung

Mỗi bộ phận thực hiện những gì cần thiết cho dự án cụ thể, đồng thời tuân thủ các chính sách tập trung. Mỗi dự án đều sử dụng bất kỳ công cụ hoặc quy trình nào từ các dự án khác nếu phù hợp để sử dụng. Khi các chủ đề như lưới dữ liệu (phi tập trung) ngày càng phổ biến thì hoạt động quản trị dữ liệu tự phục vụ cũng vậy. 

Bí quyết để quản trị dữ liệu hiệu quả là gắn liền với các sáng kiến kinh doanh đã được tài trợ. Đảm bảo nhóm của bạn hiểu đâu là những miền dữ liệu, nguồn và yếu tố cần thiết để hỗ trợ các sáng kiến đó.

• Xây dựng lộ trình quản trị dữ liệu cho thấy sự hỗ trợ cho các sáng kiến kinh doanh được nhắm mục tiêu. Sau đó, bắt đầu xác định tình trạng chồng chéo dữ liệu giữa các sáng kiến kinh doanh đã chọn.
• Xác định các ứng dụng và trường hợp sử dụng thông minh kinh doanh mà dữ liệu cần hỗ trợ và cung cấp thông tin, bao gồm các yêu cầu về độ mới và quyền riêng tư.
• Hiểu đâu là dữ liệu phù hợp cho mục đích đối với mỗi sáng kiến kinh doanh được chọn.
• Duy trì và mở rộng bằng cách nhúng việc quản trị vào mô hình điều hành doanh nghiệp để việc lập kế hoạch và triển khai dữ liệu trở thành một phần tất yếu trong hoạt động của tổ chức.
• Tổ chức cộng đồng phân tích để tự phục vụ và đảm bảo nhất quán.
• Hỗ trợ trí tuệ nhân tạo (AI) và máy học (ML) với quản trị dữ liệu và quản trị ML. Sử dụng cùng một chương trình quản trị dữ liệu đó nhưng mở rộng đến các kho đặc trưng và mô hình ML.

Quản trị dữ liệu rất quan trọng trong các trường hợp sử dụng lượng dữ liệu lớn.

Quản trị phân tích

Quản trị phân tích vừa quản lý dữ liệu để sử dụng trong các ứng dụng phân tích, vừa quản lý việc sử dụng các hệ thống phân tích. Nhóm quản trị phân tích của bạn có thể thiết lập các cơ chế quản trị, chẳng hạn như lập phiên bản báo cáo phân tích và tài liệu. Như mọi khi, hãy theo dõi các yêu cầu theo quy định, thiết lập chính sách của công ty và đặt ra các quy tắc bảo vệ cho tổ chức quy mô rộng hơn.

Quản trị AI

Quản trị AI sử dụng nhiều biện pháp quản trị dữ liệu tương tự cho các trường hợp sử dụng AI/ML. Chất lượng dữ liệu và việc tích hợp phải cung cấp dữ liệu cần thiết để đào tạo mô hình và triển khai sản xuất (kho đặc trưng là một khía cạnh quan trọng trong đó). Trí tuệ nhân tạo (AI) có trách nhiệm đang đặc biệt chú trọng đến việc sử dụng dữ liệu nhạy cảm để xây dựng các mô hình. Các tính năng quản trị AI bổ sung bao gồm cho phép mọi người tham gia xây dựng, triển khai và giám sát mô hình; lập hồ sơ đào tạo mô hình, lập phiên bản, các trường hợp sử dụng được hỗ trợ và hướng dẫn sử dụng mô hình có đạo đức; cũng như giám sát mô hình ở khâu sản xuất để biết độ chính xác, sai lệch, quá khớp và chưa khớp.

AI tạo sinh yêu cầu các khả năng quản trị dữ liệu bổ sung, như chất lượng và tính toàn vẹn của dữ liệu để hỗ trợ điều chỉnh các mô hình nền tảng cho mục đích đào tạo và suy luận, quản trị tính độc hại và thiên kiến của AI tạo sinh và hoạt động của mô hình nền tảng (FM): FMOps.

Bạn có thể hỗ trợ AI/ML thông qua cùng một chương trình quản trị dữ liệu. Chuẩn bị dữ liệu là hoạt động cần thiết để chuyển đổi dữ liệu sang hình thức mà các mô hình AI/ML có thể sử dụng để đào tạo và suy luận sản xuất nhưng công đoạn chuẩn bị dữ liệu hiệu quả nhất là công đoạn chuẩn bị mà bạn không phải thực hiện. Các nhà khoa học dữ liệu dành quá nhiều thời gian để chuẩn bị dữ liệu cho từng trường hợp sử dụng. Nhóm quản trị dữ liệu của bạn có thể giúp giảm bớt gánh nặng cùng một kiểu này. Ngoài ra, quản trị dữ liệu có thể giám sát việc tạo ra kho đặc trưng được định hình cho trong các trường hợp sử dụng AI và ML.

Cuối cùng, dữ liệu nhạy cảm phải được bảo vệ một cách thích hợp để nhóm của bạn có thể hạn chế rủi ro sử dụng dữ liệu nhạy cảm cho mục đích đào tạo các mô hình nền tảng.

Giống như việc phân tích, bạn phải quản lý việc sử dụng các mô hình AI/ML do bạn xây dựng hoặc tùy chỉnh. Tốt nhất là việc này nên được liên kết chặt chẽ với quản trị phân tích, vì chức năng đó sẽ biết cách hỗ trợ các lĩnh vực kinh doanh khác nhau.

Với quản trị dữ liệu đầu cuối trên AWS, các tổ chức có thể kiểm soát vị trí dữ liệu của mình, người có quyền truy cập dữ liệu đó và có thể làm gì với dữ liệu đó ở mọi bước trong quy trình dữ liệu. Quản trị dữ liệu với AWS giúp các tổ chức đẩy nhanh quá trình ra quyết định dựa trên dữ liệu bằng cách giúp những người và ứng dụng phù hợp có thể dễ dàng tìm kiếm, truy cập và chia sẻ dữ liệu phù hợp một cách bảo mật và an toàn khi cần. Bạn có thể tuyển chọn dữ liệu bằng cách tự động tích hợp dữ liệu và chất lượng dữ liệu để hạn chế dữ liệu tăng nhanh. Bạn có thể khám phá và hiểu dữ liệu bằng các danh mục tập trung giúp tăng khả năng thông hiểu dữ liệu. Bạn có thể bảo vệ dữ liệu bằng các quyền chính xác, cho phép chia sẻ dữ liệu một cách chắc chắn. 

Bạn có thể giảm thiểu rủi ro và cải thiện tình trạng tuân thủ quy định bằng cách theo dõi và kiểm tra truy cập dữ liệu.

• Amazon DataZone – vượt qua rào cản giữa các bộ phận trong tổ chức để khai thác dữ liệu với khả năng quản trị tích hợp
• AWS Glue – khám phá, chuẩn bị và tích hợp toàn bộ dữ liệu của bạn ở mọi quy mô
• AWS Lake Formation – xây dựng, quản lý và bảo mật các hồ dữ liệu chỉ sau vài ngày
• Amazon QuickSight – nghiệp vụ thông minh thống nhất ở mức siêu quy mô
• Amazon SageMaker – xây dựng, đào tạo và triển khai các mô hình máy học cho các trường hợp sử dụng với cơ sở hạ tầng, công cụ và quy trình làm việc được quản lý hoàn toàn
• Trang web quản trị ML
• Amazon Bedrock – xây dựng và điều chỉnh quy mô các ứng dụng AI tạo sinh bằng các mô hình nền tảng (FM)
• Amazon Macie – khám phá và bảo vệ dữ liệu nhạy cảm trên quy mô lớn
• Điểm truy cập Amazon Simple Storage Service (Amazon S3) – kho lưu trữ đối tượng được xây dựng để truy xuất lượng dữ liệu bất kỳ từ bất kỳ đâu
• Trao đổi dữ liệu trên AWS – dễ dàng tìm, đăng ký và sử dụng dữ liệu bên thứ ba trên đám mây
• AWS Clean Rooms – tạo phòng sạch trong vài phút để cộng tác với đối tác mà không cần chia sẻ dữ liệu thô

Bắt đầu Quản trị dữ liệu trên AWS bằng cách tạo một tài khoản miễn phí ngay hôm nay.