Amazon Managed Service for Apache Flink 시작하기
Managed Service for Apache Flink를 선택해야 하는 이유는 무엇인가요?
Amazon Managed Service for Apache Flink를 사용하면 Apache Flink를 통해 실시간으로 스트리밍 데이터를 변환하고 분석할 수 있습니다. Amazon Managed Service for Apache Flink는 Apache Flink 워크로드의 구축 및 관리를 간소화하고 애플리케이션을 다른 AWS 서비스와 통합할 수 있도록 합니다.
Apache Flink 및 Apache Beam을 사용하여 스트리밍 애플리케이션 구축
1단계: 자주 사용하는 IDE에 오픈 소스 라이브러리 다운로드
먼저 AWS SDK, Apache Flink 및 AWS 서비스용 커넥터가 포함된 오픈 소스 라이브러리를 다운로드할 수 있습니다.
2단계: Apache Flink 또는 Apache Beam을 사용하여 샘플 애플리케이션 구축
데이터 스트림 및 스트림 연산자를 사용하여 Apache Flink 애플리케이션 코드를 작성합니다. 애플리케이션 데이터 스트림은 애플리케이션 코드 사용에 대한 처리를 수행하는 데이터 구조입니다. 데이터는 원본에서 애플리케이션 데이터 스트림으로 지속적으로 흐릅니다. 하나 이상의 스트림 연산자를 사용하여 애플리케이션 데이터 스트림의 처리를 정의합니다.
3단계: Amazon Managed Service for Apache Flink에 코드 업로드
구축한 후에는 Amazon Managed Service for Apache Flink에 코드를 업로드합니다. 이 서비스는 수신 데이터의 볼륨과 처리량에 맞추어 자동 조정되는 등, 실시간 애플리케이션을 지속적으로 실행하는 데 필요한 모든 작업을 처리합니다.
직관적으로 Amazon Managed Service for Apache Flink Studio 사용
1단계: Amazon Managed Service for Apache Flink Studio 애플리케이션 생성
Amazon Managed Service for Apache Flink, Amazon MSK 또는 Amazon Kinesis Data Streams 콘솔에서 작업을 시작합니다. 다른 모든 데이터 소스에는 사용자 지정 커넥터를 사용하여 연결합니다.
2단계: 서버리스 노트북에서 SQL, Python 및 Scala로 코드를 작성하고 Apache Flink 애플리케이션을 개발
노트북의 개별 구문을 실행하고, 컨텍스트에서 결과를 보며, Apache Zeppelin의 내장형 시각화를 사용하여 개발을 가속화합니다. 사용자 정의 함수를 코드에 사용할 수도 있습니다.
Step 3: Amazon Managed Service for Apache Flink 스트리밍 애플리케이션으로 구축 및 배포
몇 단계 만에 코드를 지속적으로 실행되는 스트림 처리 애플리케이션으로 배포합니다. 배포된 애플리케이션은 내구성 있는 상태 및 Auto Scaling이 포함된 Amazon Managed Service for Apache Flink 애플리케이션이 됩니다. 코드를 프로덕션으로 전환하기 전에 소스, 대상, 로깅 및 모니터링 수준을 변경할 수 있습니다.