배치 처리란 무엇인가요?
배치 처리는 컴퓨터가 주기적으로 대량의 반복적인 데이터 작업을 완료하기 위해 사용하는 방식입니다. 백업, 필터링 및 정렬과 같은 특정 데이터 처리 태스크는 계산 집약적이며 개별 데이터 트랜잭션에서 실행하기에 비효율적일 수 있습니다. 대신 데이터 시스템은 대개 하루가 끝날 때나 야간과 같이 컴퓨팅 리소스를 더 일반적으로 사용할 수 있는 사용량이 적은 시간에 이러한 태스크를 배치로 처리합니다. 하루 종일 주문을 수신하는 전자 상거래 시스템을 예로 들어 보겠습니다. 시스템에서 주문을 그때그때 처리하는 대신 하루가 끝날 때 모든 주문을 수집하고 주문 처리 팀과 하나의 배치로 공유할 수 있습니다.
배치 처리가 중요한 이유는 무엇인가요?
조직에서는 사람의 개입을 최소화하고 반복 태스크를 보다 효율적으로 실행할 수 있기 때문에 배치 처리를 사용합니다. 컴퓨팅 성능을 가장 쉽게 사용할 수 있을 때 함께 처리할 수백만 개의 레코드로 구성된 작업 배치를 설정하여 시스템에 주는 부담을 줄일 수 있습니다. 또한 최신 배치 처리에는 최소한의 인적 감독이나 관리가 필요합니다. 문제가 있는 경우 시스템은 자동으로 관련 팀에 문제를 해결하도록 알립니다. 관리자는 배치 처리 소프트웨어가 작업을 수행할 것이라고 믿고 자동 접근 방식을 취합니다. 배치 처리의 더 많은 이점은 다음과 같습니다.
배치 처리의 역사는 무엇인가요?
배치 처리는 한 세기가 넘었지만 작동 방식의 기술은 지속적으로 발전해 왔습니다. 배치 처리의 첫 번째 사례는 미국 인구 조사국의 정보를 기록하기 위해 전자표를 사용한 1890년으로 거슬러 올라갑니다. 인구 조사원은 펀치 카드라고 하는 데이터 카드에 표시를 표시하고 전자 기계 디바이스를 통해 데이터 카드를 배치로 처리했습니다. 1960년대까지 개발자들은 컴퓨터가 하루 종일 순차적으로 실행되도록 자기 테이프로 배치 프로그램을 예약할 수 있었습니다. 메인프레임 컴퓨터가 개선되고 더 강력해지고 더 효율적으로 작동하면서 배치 작업도 보편화되었습니다. 현대의 조직에서는 보고서 생성, 문서 인쇄 또는 업무 종료 시 정보 업데이트와 같은 일반적인 비즈니스 프로세스에 소프트웨어 기반 배치 애플리케이션을 사용합니다.
배치 처리가 자동화할 수 있는 작업의 예로 무엇이 있나요?
배치 처리 시스템은 다양한 유형의 데이터 및 요청을 처리하는 데 사용됩니다. 다음은 가장 일반적인 배치 처리 작업 유형입니다.
- 주간/월간 청구
- 급여
- 재고 처리
- 보고서 생성
- 데이터 변환
- 구독 주기
- 공급망 이행
배치 처리 시스템의 사용 사례로 무엇이 있나요?
배치 처리 시스템의 여러 사용 사례가 있습니다. 주요 예는 다음과 같습니다.
금융 서비스
민첩한 금융 기술에서 레거시 기업에 이르기까지 금융 서비스 기관들은 위험 관리, 일일 마감 거래 처리 및 사기 감시를 위한 고성능 컴퓨팅과 같은 영역에서 배치 처리를 활용해 왔습니다. 배치 처리를 사용하여 인적 오류를 최소화하고, 속도와 정확성을 높이고, 자동화를 통해 비용을 절감합니다.
서비스형 소프트웨어
서비스형 소프트웨어(SaaS) 애플리케이션을 제공하는 기업은 확장성 관련 문제가 발생하는 경우가 많습니다. 배치 처리를 사용하면 작업 예약을 자동화하면서 고객 수요를 조정할 수 있습니다. 대용량 처리 수요를 조정하기 위한 컨테이너식 애플리케이션 환경 조성은 완료하는 데 몇 달 또는 몇 년이 걸릴 수 있는 프로젝트이지만 배치 처리 시스템을 사용하면 훨씬 짧은 기간에 동일한 결과를 얻을 수 있습니다.
의학 연구
대량의 데이터 또는 빅 데이터 분석은 연구 분야의 일반적인 요구 사항입니다. 계산 화학, 임상 모델링, 분자 역학, 게놈 시퀀싱 테스트 및 분석과 같은 데이터 분석 애플리케이션에서 배치 처리를 적용할 수 있습니다. 예를 들어, 과학자들은 배치 처리를 사용하여 더 나은 데이터를 캡처하여 약물 설계를 시작하고 특정 생화학 과정의 역할을 더 깊이 이해할 수 있습니다.
디지털 미디어
미디어 및 엔터테인먼트 기업은 고해상도 비디오 콘텐츠의 파일, 그래픽, 시각 효과와 같은 데이터를 자동으로 처리하기 위해 확장성이 뛰어난 배치 처리 시스템을 필요로 합니다. 배치 처리를 사용하여 콘텐츠 제작 시간을 단축하고, 미디어 패키징을 동적으로 조정하고, 미디어 워크로드를 자동화할 수 있습니다.
배치 처리는 어떻게 작동하나요?
배치 처리 애플리케이션은 수행해야 하는 태스크 유형에 따라 다르지만 모든 배치 작업의 기본 사항은 동일하게 유지됩니다. 사용자는 다음 세부 정보를 지정하여 배치 작업을 실행할 수 있습니다.
- 작업을 제출하는 사람의 이름
- 실행해야 하는 배치 프로세스 또는 프로그램
- 데이터 입력의 시스템 위치
- 처리된 데이터 출력을 위한 시스템 위치
- 배치 작업을 실행해야 하는 시간 또는 배치 기간
사용자는 또한 배치 크기 또는 시스템이 하나의 완전한 배치 작업에서 처리해야 하는 작업 단위 수를 지정합니다. 다음은 배치 크기의 몇 가지 예제입니다.
- 데이터베이스에서 읽고 저장할 배치 파일 줄 수
- 대기열에서 읽고 처리할 메시지 수
- 정렬하여 다음 애플리케이션으로 전송할 트랜잭션 수
배치 기간 동안 배치 처리 시스템은 배치 크기 정보를 사용하여 배치 작업을 효율적으로 실행하는 데 필요한 리소스를 할당합니다. 최신 시스템은 온프레미스 또는 클라우드에서 수십만 개의 배치 작업을 실행할 수 있습니다.
종속 항목
배치 작업 태스크는 순차적으로 또는 동시에 실행할 수 있습니다. 이전 태스크가 성공적으로 완료되었는지 여부에 따라 순서가 달라질 수 있습니다. 종속 항목의 예로 온라인 상점에서 주문하거나 청구서를 지불하는 고객이 있습니다. 작업 처리 주기를 시작하도록 종속 항목을 설정할 수도 있습니다.
Cron 명령
Cron 명령은 정기적으로 실행되는 배치 작업입니다. 배치 작업에 대한 반복 패턴을 설정할 수 있습니다. 예를 들어, 매월 말 구독에 대해 청구하도록 작업을 설정할 수 있습니다.
배치 처리를 어떻게 모니터링할 수 있나요?
배치 처리 시스템은 직원의 최소한의 입력으로 작동하지만 여전히 약간의 감독이 필요합니다. 배치 프로세스를 모니터링하기 위해 배치 작업이 성공, 실패 또는 실행을 완료했을 때 전송되는 경고 또는 예외를 설정할 수 있습니다.
모니터
배치 프로세스의 모니터는 완료하는 데 예상보다 시간이 오래 걸리는 작업과 같은 이상을 찾습니다. 이 경우 다음 작업의 시작을 중단하고 관련 직원에게 예외를 알립니다.
사후 처리 분석
배치 작업이 처리된 후 기록을 볼 수 있습니다. 대부분의 배치 프로세스에는 작업이 실행되는 동안 메시지를 기록하는 로그 파일이 포함됩니다.
.d46618d7405bca4283d36fdde36b52b6b67daeb1.57d3c5f4085a327201fb64b724e1aa29770ad253.png)
배치 처리와 스트림 처리의 차이점은 무엇인가요?
배치 시스템은 대량의 데이터와 요청을 순차적으로 처리하는 반면 스트림 처리는 시스템을 통해 또는 디바이스 간에 흐르는 데이터를 지속적으로 분석합니다. 스트림 처리는 실시간 데이터를 모니터링하고 네트워크에서 지속적으로 전달합니다. 대량의 데이터를 모니터링하려면 더 많은 처리 능력이 필요합니다.
스트리밍되는 데이터의 크기를 알 수 없거나 무제한인 경우 배치 처리보다 스트리밍 데이터를 사용하는 것이 좋습니다. 결과적으로 스트림 처리는 사이버 보안, 사물 인터넷(IoT), 맞춤형 마케팅 서비스 및 로그 모니터링과 같은 비즈니스 기능에 주로 사용됩니다.
보완 기능을 고려하여 일부 기업은 일상적인 작업에 배치 처리와 스트림 처리를 포함하는 하이브리드 시스템을 구현했습니다.
AWS는 배치 처리에 관해 어떤 도움을 줄 수 있나요?
AWS Batch를 사용하면 완전관리형 배치 처리 비용을 최대 90% 절감할 수 있습니다. AWS Batch는 CPU 또는 메모리 최적화 인스턴스와 같은 컴퓨팅 리소스의 최적 수량과 유형을 동적으로 프로비저닝하므로 배치 처리 시스템 인프라를 설치하고 관리할 필요가 없습니다. 인프라 관리에 소요되는 시간을 줄이고 결과를 분석하고 문제를 해결하는 데 더 많은 시간을 할애할 수 있습니다.
Amazon Elastic Compute Cloud(Amazon EC2) 스팟 인스턴스에서 배치 워크로드를 실행할 수도 있습니다. Amazon EC2 스팟 인스턴스는 온디맨드 인스턴스 요금과 비교하여 최대 90% 할인된 금액으로 제공되는 미사용 Amazon EC2 용량입니다. 스팟 인스턴스는 상당히 절감된 비용으로 대규모 워크로드를 실행하거나, 병렬 태스크를 실행하여 워크로드를 가속화할 수 있으므로 배치 처리 애플리케이션에 이상적입니다
AWS 계정을 만들어 배치 처리를 시작하세요.
