Tăng cường dữ liệu là gì?
Tăng cường dữ liệu là quá trình tạo dữ liệu mới theo cách nhân tạo từ dữ liệu hiện có, chủ yếu để đào tạo các mô hình máy học (ML) mới. Các mô hình ML yêu cầu tập dữ liệu lớn và đa dạng để đào tạo ban đầu nhưng có thể khó tìm nguồn cung ứng các tập dữ liệu thực tế đủ đa dạng do các lô cốt dữ liệu, quy định và hạn chế khác. Tăng cường dữ liệu giúp tăng tập dữ liệu một cách giả tạo bằng cách thực hiện các thay đổi nhỏ đối với dữ liệu gốc. Các giải pháp trí tuệ nhân tạo (AI) tạo sinh hiện đang được sử dụng để tăng cường dữ liệu nhanh chóng và có chất lượng cao trong nhiều ngành khác nhau.
Tại sao tăng cường dữ liệu quan trọng?
Các mô hình học sâu dựa vào khối lượng lớn dữ liệu đa dạng để phát triển các dự đoán chính xác trong nhiều bối cảnh khác nhau. Tăng cường dữ liệu bổ sung cho việc tạo ra các biến thể dữ liệu có thể giúp mô hình dự đoán chính xác hơn. Dữ liệu được tăng cường có vai trò rất quan trọng trong đào tạo.
Dưới đây là một số lợi ích của việc tăng cường dữ liệu.
Nâng cao hiệu năng của mô hình
Các kỹ thuật tăng cường dữ liệu giúp các tập dữ liệu trở nên phong phú hơn khi tạo ra nhiều biến thể của dữ liệu hiện có. Điều này cung cấp một tập dữ liệu lớn hơn để đào tạo và cho phép mô hình có nhiều tính năng đa dạng hơn. Dữ liệu được tăng cường giúp mô hình khái quát hóa dữ liệu không nhìn thấy hiệu quả hơn và cải thiện hiệu năng tổng thể trong môi trường thực tế.
Giảm sự phụ thuộc vào dữ liệu
Việc thu thập và chuẩn bị khối lượng lớn dữ liệu cho đào tạo có thể tốn kém và tốn thời gian. Các kỹ thuật tăng cường dữ liệu làm tăng hiệu quả của các tập dữ liệu nhỏ hơn, giảm đáng kể sự phụ thuộc vào các tập dữ liệu lớn trong môi trường đào tạo. Bạn có thể sử dụng các tập dữ liệu nhỏ hơn để bổ sung các điểm dữ liệu tổng hợp cho tập dữ liệu đó.
Giảm thiểu tình trạng quá khớp trong dữ liệu đào tạo
Việc tăng cường dữ liệu giúp ngăn ngừa tình trạng quá khớp khi bạn đào tạo các mô hình ML. Quá khớp là hành vi ML không mong muốn, trong đó mô hình có thể đưa ra dự đoán chính xác cho dữ liệu đào tạo nhưng gặp khó khăn với dữ liệu mới. Nếu chỉ được đào tạo với một tập dữ liệu hẹp, mô hình có thể trở nên quá khớp và có thể đưa ra các dự đoán chỉ liên quan đến loại dữ liệu cụ thể đó. Ngược lại, tăng cường dữ liệu cung cấp một tập dữ liệu lớn hơn và toàn diện hơn nhiều để đào tạo mô hình. Điều đó giúp các tập đào tạo có vẻ độc đáo đối với các mạng nơ-ron sâu, ngăn các mạng này học để chỉ hoạt động với các đặc điểm cụ thể.
Cải thiện quyền riêng tư dữ liệu
Nếu cần đào tạo mô hình học sâu về dữ liệu nhạy cảm, bạn có thể sử dụng các kỹ thuật tăng cường trên dữ liệu hiện có để tạo dữ liệu tổng hợp. Dữ liệu tăng cường này giữ lại các thuộc tính thống kê và trọng số của dữ liệu đầu vào trong khi bảo vệ và hạn chế quyền truy cập vào dữ liệu ban đầu.
Tăng cường dữ liệu có những trường hợp sử dụng nào?
Tăng cường dữ liệu cung cấp một số ứng dụng trong nhiều ngành công nghiệp khác nhau, cải thiện hiệu năng của các mô hình ML trên nhiều lĩnh vực.
Chăm sóc sức khỏe
Tăng cường dữ liệu là một công nghệ hữu ích trong hình ảnh y tế vì giúp cải thiện các mô hình chẩn đoán phát hiện, nhận biết và chẩn đoán bệnh dựa trên hình ảnh. Việc tạo hình ảnh tăng cường cung cấp nhiều dữ liệu đào tạo hơn cho các mô hình, đặc biệt là đối với các bệnh hiếm gặp thiếu các biến thể dữ liệu nguồn. Việc sản xuất và sử dụng dữ liệu bệnh nhân tổng hợp thúc đẩy nghiên cứu y tế trong khi đảm bảo tất cả những điều cần cân nhắc về quyền riêng tư dữ liệu.
Tài chính
Tăng cường giúp tạo ra các phiên bản tổng hợp gian lận, cho phép đào tạo các mô hình để phát hiện lừa đảo chính xác hơn trong các tình huống thực tế. Các nhóm dữ liệu đào tạo lớn hơn sẽ hữu ích trong các kịch bản đánh giá rủi ro, tăng cường tiềm năng của các mô hình học sâu trong việc đánh giá chính xác rủi ro và dự đoán xu hướng trong tương lai.
Sản xuất
Ngành công nghiệp sản xuất sử dụng các mô hình ML để xác định khiếm khuyết thấy được trong sản phẩm. Bằng cách bổ sung hình ảnh tăng cường cho dữ liệu thực tế, các mô hình có thể cải thiện khả năng nhận dạng hình ảnh và xác định các khiếm khuyết có thể tồn tại. Chiến lược này cũng làm giảm khả năng vận chuyển một dự án bị hư hỏng hoặc bị lỗi đến các nhà máy và dây chuyền sản xuất.
Bán lẻ
Môi trường bán lẻ sử dụng các mô hình để xác định sản phẩm và gán sản phẩm vào các danh mục dựa trên các yếu tố hình ảnh. Tăng cường dữ liệu có thể tạo ra các biến thể dữ liệu tổng hợp của hình ảnh sản phẩm, tạo ra một bộ đào tạo có nhiều khác biệt hơn về điều kiện ánh sáng, nền hình ảnh và góc sản phẩm.
Tăng cường dữ liệu hoạt động như thế nào?
Tăng cường dữ liệu biến đổi, chỉnh sửa hoặc sửa đổi dữ liệu hiện có để tạo biến thể. Sau đây là thông tin tổng quan ngắn gọn về quy trình.
Khám phá tập dữ liệu
Giai đoạn đầu tiên của tăng cường dữ liệu là phân tích một tập dữ liệu hiện có và hiểu các đặc điểm của tập dữ liệu đó. Các tính năng như kích thước của hình ảnh đầu vào, phân bổ dữ liệu hoặc cấu trúc văn bản đều cung cấp thêm bối cảnh để tăng cường.
Bạn có thể chọn các kỹ thuật tăng cường dữ liệu khác nhau dựa trên loại dữ liệu cơ bản và kết quả mong muốn. Ví dụ: tăng cường tập dữ liệu với nhiều hình ảnh bao gồm thêm nhiễu, điều chỉnh quy mô hoặc cắt hình ảnh. Hoặc tăng cường tập dữ liệu văn bản để xử lý ngôn ngữ tự nhiên (NLP thay thế các từ đồng nghĩa hoặc trích đoạn.
Tìm hiểu về xử lý ngôn ngữ tự nhiên
Tăng cường dữ liệu hiện có
Sau khi đã chọn kỹ thuật tăng cường dữ liệu phù hợp nhất với mục tiêu mong muốn của mình, bạn bắt đầu áp dụng các phép biến đổi khác nhau. Các điểm dữ liệu hoặc mẫu hình ảnh trong tập dữ liệu biến đổi bằng cách sử dụng phương pháp tăng cường bạn đã chọn, cung cấp một loạt các mẫu tăng cường mới.
Trong quá trình tăng cường, bạn duy trì các quy tắc ghi nhãn giống nhau để đảm bảo tính nhất quán của dữ liệu, đảm bảo dữ liệu tổng hợp bao gồm các nhãn giống như dữ liệu nguồn.
Thông thường, bạn sẽ xem qua các hình ảnh tổng hợp để xác định liệu quá trình chuyển đổi có thành công hay không. Bước bổ sung do con người chỉ đạo này giúp duy trì chất lượng dữ liệu cao hơn.
Tích hợp các biểu mẫu dữ liệu
Tiếp theo, bạn kết hợp dữ liệu mới đã tăng cường với dữ liệu ban đầu để tạo ra một tập dữ liệu đào tạo lớn hơn cho mô hình ML. Khi đào tạo mô hình, bạn sử dụng tập dữ liệu tổng hợp này gồm cả hai loại dữ liệu.
Điều quan trọng cần lưu ý là các điểm dữ liệu mới được tạo bằng cách tăng cường dữ liệu tổng hợp có độ lệch giống như dữ liệu đầu vào ban đầu. Để ngăn các sai lệch chuyển vào dữ liệu mới của bạn, hãy giải quyết mọi sai lệch trong dữ liệu nguồn trước khi bắt đầu quá trình tăng cường dữ liệu.
Có những kỹ thuật tăng cường dữ liệu nào?
Các kỹ thuật tăng cường dữ liệu cho các loại dữ liệu khác nhau và bối cảnh kinh doanh riêng biệt sẽ khác nhau.
Tầm nhìn máy tính
Tăng cường dữ liệu là một kỹ thuật trung tâm trong các tác vụ thị giác máy tính. Kỹ thuật này giúp tạo ra các phép biểu diễn dữ liệu đa dạng và giải quyết tình trạng mất cân bằng lớp trong tập dữ liệu đào tạo.
Cách sử dụng đầu tiên của tăng cường trong thị giác máy tính là thông qua tăng cường vị trí. Chiến lược này cắt, lật hoặc xoay hình ảnh đầu vào để tạo hình ảnh tăng cường. Thao tác cắt sẽ thay đổi kích thước hình ảnh hoặc cắt một phần nhỏ của hình ảnh ban đầu để tạo hình ảnh mới. Tất cả các phép biến đổi xoay, lật và thay đổi kích thước đều làm thay đổi bản gốc một cách ngẫu nhiên với xác suất cung cấp hình ảnh mới nhất định.
Một cách sử dụng khác của tăng cường trong thị giác máy tính là tăng cường màu sắc. Chiến lược này điều chỉnh các yếu tố cơ bản của hình ảnh đào tạo, chẳng hạn như độ sáng, độ tương phản hoặc độ bão hòa. Những biến đổi hình ảnh phổ biến này thay đổi sắc độ, cân bằng tối và ánh sáng, cũng như sự tách biệt giữa các khu vực tối nhất và sáng nhất của hình ảnh để tạo ra hình ảnh tăng cường.
Tăng cường dữ liệu âm thanh
Các tệp âm thanh, chẳng hạn như ghi âm giọng nói, cũng là một lĩnh vực phổ biến mà bạn có thể sử dụng tăng cường dữ liệu. Biến đổi âm thanh thường bao gồm bơm nhiễu ngẫu nhiên hoặc nhiễu Gauss vào một số âm thanh, tua nhanh các phần, thay đổi tốc độ của các phần theo tốc độ cố định hoặc thay đổi cao độ.
Tăng cường dữ liệu văn bản
Tăng cường văn bản là một kỹ thuật tăng cường dữ liệu thiết yếu cho NLP và các lĩnh vực liên quan đến văn bản khác của ML. Biến đổi dữ liệu văn bản bao gồm xáo trộn các câu, thay đổi vị trí của các từ, thay thế các từ bằng các từ sát nghĩa, chèn các từ ngẫu nhiên và xóa các từ ngẫu nhiên.
Sao chép phong cách nơ-ron
Sao chép phong cách nơ-ron là một hình thức nâng cao của tăng cường dữ liệu, giúp phân tích cấu trúc hình ảnh thành các phần nhỏ hơn. Kỹ thuật này sử dụng một loạt các lớp tích chập phân tách phong cách và bối cảnh của một hình ảnh, tạo ra nhiều hình ảnh từ một hình ảnh duy nhất.
Đào tạo đối nghịch
Những thay đổi ở cấp độ điểm ảnh gây khó khăn cho mô hình ML. Một số mẫu bao gồm một lớp nhiễu không thể nhận thấy trên hình ảnh để kiểm tra khả năng nhận biết hình ảnh bên dưới của mô hình. Chiến lược này là một hình thức tăng cường dữ liệu phòng ngừa, tập trung vào khả năng truy cập trái phép có thể xảy ra trong thế giới thực.
AI tạo sinh có vai trò gì trong việc tăng cường dữ liệu?
AI tạo sinh là yếu tố thiết yếu để tăng cường dữ liệu vì tạo điều kiện sản xuất dữ liệu tổng hợp. AI này giúp tăng tính đa dạng của dữ liệu, hợp lý hóa quá trình tạo dữ liệu thực tế và bảo vệ quyền riêng tư của dữ liệu.
Mạng đối nghịch tạo sinh
Mạng đối nghịch tạo sinh (GAN) là một khung gồm hai mạng nơ-ron trung tâm hoạt động trái ngược. Trình tạo tạo ra các mẫu dữ liệu tổng hợp, sau đó trình phân biệt phân biệt giữa dữ liệu thực và mẫu tổng hợp.
Theo thời gian, GAN liên tục cải thiện đầu ra của trình tạo bằng cách tập trung vào việc đánh lừa trình phân biệt. Dữ liệu có thể đánh lừa trình phân biệt được coi là dữ liệu tổng hợp chất lượng cao, cho phép tăng cường dữ liệu với các mẫu có độ tin cậy cao mô phỏng sát sao phân bổ dữ liệu ban đầu.
Bộ mã hóa tự động biến đổi
Bộ mã hóa tự động biến đổi (VAE) là một loại mạng nơ-ron giúp tăng kích thước mẫu của dữ liệu lõi và giảm nhu cầu thu thập dữ liệu tốn thời gian. VAE có hai mạng được kết nối: bộ giải mã và bộ mã hóa. Bộ mã hóa lấy hình ảnh mẫu và dịch thành phép biểu diễn trung gian. Bộ giải mã lấy phép biểu diễn đó và tái tạo các hình ảnh tương tự dựa trên hiểu biết về các mẫu ban đầu. VAE rất hữu ích vì có thể tạo dữ liệu rất giống với dữ liệu mẫu, giúp tăng tính đa dạng trong khi vẫn duy trì phân bổ dữ liệu ban đầu.
AWS có thể hỗ trợ các yêu cầu tăng cường dữ liệu của bạn như thế nào?
Các dịch vụ AI tạo sinh trên Amazon Web Services (AWS) là một tập hợp công nghệ mà các tổ chức thuộc mọi quy mô có thể sử dụng để xây dựng và điều chỉnh quy mô các ứng dụng AI tạo sinh bằng dữ liệu tùy chỉnh cho các trường hợp sử dụng tùy chỉnh. Bạn có thể đổi mới nhanh hơn bằng các tính năng mới, lựa chọn mô hình nền tảng (FM) hàng đầu trong ngành và cơ sở hạ tầng tiết kiệm chi phí nhất. Sau đây là hai ví dụ về các dịch vụ AI tạo sinh trên AWS.
Amazon Bedrock là dịch vụ được quản lý toàn phần, cho phép lựa chọn các FM hiệu suất cao từ các công ty AI hàng đầu. Bạn có thể tích hợp và triển khai một cách an toàn các tính năng AI tạo sinh để tăng cường dữ liệu mà không cần quản lý cơ sở hạ tầng.
Amazon Rekognition là dịch vụ AI được quản lý toàn phần, cung cấp tính năng thị giác máy tính có thể tùy chỉnh và được đào tạo trước để trích xuất thông tin và chi tiết từ hình ảnh cũng như video của bạn. Việc phát triển một mô hình tùy chỉnh để phân tích hình ảnh là một công việc quan trọng, đòi hỏi phải có thời gian, chuyên môn và tài nguyên. Công việc này thường yêu cầu hàng nghìn hoặc hàng chục nghìn hình ảnh được dán nhãn thủ công nhằm mục đích cung cấp cho mô hình đủ dữ liệu để đưa ra quyết định chính xác.
Với Nhãn tùy chỉnh của Amazon Rekognition, nhiều phép tăng cường dữ liệu khác nhau được thực hiện để đào tạo mô hình, bao gồm cắt ngẫu nhiên hình ảnh, chập chờn màu sắc và nhiễu Gauss ngẫu nhiên. Thay vì hàng ngàn hình ảnh, bạn chỉ cần tải lên một tập hợp nhỏ hình ảnh đào tạo (thường là vài trăm hoặc ít hơn) dành riêng cho trường hợp sử dụng của bạn lên bảng điều khiển dễ sử dụng.
Bắt đầu sử dụng dịch vụ tăng cường dữ liệu trên AWS bằng cách tạo tài khoản ngay hôm nay.