Amazon S3 Tables

Amazon S3 Tables는 특히 다양한 데이터 분석 요구에 맞는 구체화된 뷰 계층을 효과적으로 생성하는 관리형 Iceberg 지원을 통해 데이터 아키텍처에 혁신적인 추가 기능을 제공할 것입니다. 이 제품은 S3가 압축, 스냅샷 관리, 참조되지 않은 파일 정리와 같은 주요 유지 관리 작업을 자동으로 처리함으로써 테이블 관리의 추가 계층을 배제하여 Genesys가 복잡한 데이터 워크플로를 간소화하는 데 도움이 될 수 있습니다. S3에서 직접 Iceberg 테이블을 읽고 쓸 수 있으면 성능을 향상하고 분석 에코시스템 전반에서 데이터를 원활하게 통합할 수 있는 새로운 가능성을 창출하는 데 도움이 될 것입니다. 이러한 상호 운용성과 성능 향상이 결합되어 S3 Tables는 신속하고 유연하며 신뢰할 수 있는 데이터 인사이트를 제공하기 위한 당사 미래 전략의 중추적인 부분으로 자리매김하고 있습니다.

Pendulum Intelligence에서는 수억 개의 소셜 채널 및 소스에서 수집한 데이터를 분석합니다. Amazon S3 Tables는 독자적인 기계 학습 도구를 사용하여 이미지 및 기타 미디어에서 컨텍스트를 거의 실시간으로 추출하는 동시에 수천 시간 분량의 분석된 비디오 및 오디오 콘텐츠를 처리하는 데이터 레이크를 관리하는 방식을 혁신했습니다. 압축, 스냅샷, 파일 정리 등 테이블 관리의 부담을 없앰으로써 우리 팀은 가장 중요한 일, 즉 대규모 데이터세트에서 실행 가능한 인사이트를 도출하는 데 집중할 수 있습니다. 분석 스택인 Amazon Athena, AWS Glue, Amazon EMR과 원활하게 통합하여 복잡한 데이터를 대규모로 처리하는 능력이 크게 향상되었습니다.

Amazon S3 Tables는 Apache Iceberg 지원 및 AWS 분석 서비스 통합 기능이 내장되어 있어 기업이 데이터 분석 비용을 최적화하는 동시에 분석, 규정 준수 및 AI 이니셔티브에 비즈니스 데이터를 사용하는 방식을 혁신할 수 있도록 지원합니다. 복잡한 데이터 관리 작업을 자동화하고 데이터 변경에 대한 완전한 감사 추적을 제공함으로써 팀은 과거 데이터를 즉시 분석하고 규정 준수를 유지하며 비즈니스 인사이트를 가속화하는 동시에 기술 비용을 크게 절감할 수 있습니다.

자주 변경되는 환자 데이터를 대량으로 처리하는 의료 기업으로서 당사는 Apache Iceberg에 투자하기로 결정했습니다. Apache Iceberg는 Apache Hive의 파티셔닝 및 자동화와 관련된 많은 문제점을 해결하고 광범위한 상호 운용성이라는 이점을 제공하기 때문입니다. Iceberg에서 가장 큰 과제 중 하나는 테이블 최적화를 이해하고 관리하는 것이었습니다. 이것이 바로 당사가 S3 Tables와 관리형 최적화 기능에 열광하는 이유입니다. 개발자의 테이블 유지 관리 부담을 덜어줄 수 있게 되면 고객에게 고품질 데이터와 귀중한 인사이트를 제공하는 데 더 집중할 수 있기 때문입니다.

Amazon S3 Tables는 Daft의 Apache Iceberg 지원을 완벽하게 보완합니다. AWS Lake Formation 및 AWS Glue와의 통합을 활용하여 최적화된 성능을 활용하면서 기존 Iceberg의 읽기 및 쓰기 기능을 S3 Tables로 손쉽게 확장할 수 있었습니다. 이 새로운 서비스가 발전하기를 기대하며, Python 데이터 엔지니어링 및 ML/AI 에코시스템에 필요한 동급 최고의 S3 Tables 지원을 제공하게 되어 기쁩니다.

Dremio는 Amazon S3 Tables의 일반 가용성을 지원하게 되어 기쁘게 생각합니다. S3 Tables은 Apache Iceberg REST Catalog(IRC) 사양을 지원함으로써 Dremio와의 원활한 상호 운용성을 보장하므로 사용자는 최적화된 S3 Tables 버킷에서 관리되는 Apache Iceberg 테이블을 쿼리할 수 있는 고성능 SQL 엔진의 이점을 활용할 수 있습니다. 이러한 협력을 통해 통합 복잡성을 없애고 고객 채택을 가속화하여 레이크하우스 생태계에서 개방형 표준의 중요성을 강화합니다. Amazon S3 Tables 및 IRC 지원을 통해 조직은 AI 시대에 통합 레이크하우스 아키텍처를 구축하는 데 필요한 유연성 및 선택권을 확보할 수 있습니다.

Amazon S3 Tables는 오픈 파일 형식을 사용하여 데이터 분석을 대중화하려는 DuckDB의 비전과 완벽하게 일치합니다. AWS와 DuckDB Labs 간의 협력을 통해 DuckDB의 Iceberg 지원을 더욱 확장하고 S3 Tables와의 원활한 통합을 개발할 수 있습니다. DuckDB와 S3 Tables의 공유 배터리 포함 사고 방식이 강력한 분석 스택으로 결합되어 진입 장벽을 매우 낮게 유지하면서 광범위한 워크로드를 처리할 수 있다고 생각합니다.

Amazon S3 Tables은 분석 워크로드를 위한 테이블 형식 데이터의 관리, 성능 및 스토리지를 최적화하는 강력한 새 기능입니다. HighByte Intelligence Hub가 Amazon S3 Tables와 직접 통합되므로 글로벌 제조업체는 산업 데이터를 위한 개방형 트랜잭션 데이터 레이크를 쉽게 구축할 수 있습니다. S3 Tables를 사용하면 원시 Parquet 데이터를 즉시 쿼리할 수 있으므로 고객은 컨텍스트화된 정보를 엣지에서 클라우드로 전송하여 추가 처리나 변환 없이 즉시 사용할 수 있습니다. 이는 양사 고객의 성능 및 비용 최적화 모두에 큰 영향을 미칩니다.

Amazon S3는 오랫동안 현대 데이터 인프라의 기반이 되어 왔으며 S3 Tables의 출시는 Apache Iceberg를 데이터 및 AI의 범용 표준으로 자리매김하게 하는 중요한 이정표를 세웠습니다. 이러한 혁신을 통해 조직은 S3에서 고성능 개방형 테이블 형식을 활용하여 데이터 중복 없이 다중 엔진 분석을 수행할 수 있습니다. PuppyGraph 고객의 경우 이제 복잡한 ETL의 오버헤드 없이 S3 데이터에서 직접 실시간 그래프 쿼리를 실행하여 신선하고 확장 가능한 인사이트를 유지할 수 있습니다. 그래프 분석을 데이터 자체만큼이나 원활하게 만드는 이러한 발전에 동참하게 되어 매우 기쁩니다.

Amazon S3 Tables 에 Snowflake의 마법을 도입하게 되어 매우 기쁩니다. 이 협업을 통해 Snowflake 고객은 기존 Snowflake 설정을 사용하여 S3에 저장된 데이터를 원활하게 읽고 처리할 수 있으므로 복잡한 데이터 마이그레이션이나 복제가 필요하지 않습니다. Snowflake의 세계적 S3_Tables 수준의 성능 분석 기능과 Amazon S3 Tables의 효율적인 Apache Iceberg 테이블 스토리지를 결합하여 조직은 Amazon S3에 저장된 테이블 형식 데이터를 쉽게 쿼리하고 분석할 수 있습니다.

Amazon S3가 S3 Tables과 함께 Apache Iceberg에 대한 내장 지원을 도입하여 Iceberg 오픈 데이터 레이크하우스 에코시스템을 발전시키는 것을 보게 되어 매우 기쁩니다. S3 Tables 버킷을 통해, 공동 고객이 다양한 분석 및 AI 사용 사례 전반에서 업계 최고의 오픈 소스 MPP SQL 엔진인 최적화된 Trino로 구동되는 Open Lakehouse의 성능을 Amazon S3의 데이터에 적용할 수 있도록 AWS와 협력할 수 있기를 기대합니다.

Amazon S3 Tables과의 통합으로 AI 지원 실시간 데이터가 그 어느 때보다 개방적이고 액세스가 용이합니다. S3에 기반을 둔 Ursa의 리더리스 아키텍처는 이미 스토리지 비용을 절감하고 있으며, S3 Tables와의 직접 통합은 성능과 효율성을 더욱 향상시킵니다. AI 기반 세상에서는 데이터 거버넌스가 매우 중요합니다. StreamNative에서는 기업이 TCO를 90% 절감하는 동시에 관리되는 실시간 데이터로 AI 기반 애플리케이션을 쉽고 저렴하게 구축할 수 있도록 지원하기 위해 최선을 다하고 있습니다.