Интеграция Amazon Aurora с нулевым использованием ETL в Amazon Redshift

Обеспечьте анализ петабайтов транзакционных данных в режиме, близком к реальному времени
Начните интеграцию с нулевым использованием ETL
Обращение в службу поддержки

Преимущества интеграции Aurora с нулевым использованием ETL в Amazon Redshift

Интеграция Amazon Aurora и Amazon Redshift с нулевым использованием ETL обеспечивает функции аналитики и машинного обучения (МО) практически в реальном времени за счет применения Amazon Redshift к транзакционных данных в объеме до нескольких петабайтов. В течение нескольких секунд после записи данных о транзакции в Amazon Aurora эти данные будут эффективно переданы в Amazon Redshift благодаря интеграции с нулевым использованием ETL. Это избавляет от необходимости создавать сложные конвейеры данных для операций по извлечению, преобразованию и загрузке (ETL) и управлять ими.

Преимущества

Получите доступ к транзакционным данным от Aurora в Amazon Redshift за считанные секунды, чтобы выполнять аналитику и машинное обучение на основе петабайтов данных практически в реальном времени.

Быстро анализируйте транзакционные данные практически в реальном времени без необходимости создавать конвейеры ETL и управлять ими для передачи транзакционных данных в аналитические системы.

Консолидируйте несколько таблиц из разных кластеров баз данных Aurora и выполняйте репликацию данных в одно хранилище данных Amazon Redshift для получения унифицированной аналитики по нескольким приложениям и источникам данных.

Создавайте аналитику транзакционных данных в режиме, близком к реальному времени, без необходимости управлять инфраструктурой конвейеров данных при использовании бессерверной конфигурации Amazon Aurora, версия 2 и бессерверного Amazon Redshift.

Примеры использования

Используйте аналитику Amazon Redshift и возможности машинного обучения для получения аналитической информации режиме, близком к реального времени, из транзакционных и других данных и эффективного реагирования на критические события, требующие срочного решения. Аналитика, близкая к реальному времени, поможет вам получить более точную и своевременную информацию о таких сценариях использования, как таргетинг контента, оптимизированный игровой процесс, мониторинг качества данных, обнаружение мошенничества и анализ поведения клиентов.

Благодаря интеграции с нулевым использованием ETL Aurora с Amazon Redshift вы можете использовать возможности Amazon Redshift для анализа петабайтов транзакционных данных, консолидированных из нескольких кластеров баз данных Aurora. Вы можете воспользоваться комплексными аналитическими возможностями Amazon Redshift, такими как встроенное машинное обучение, материализованные представления, совместное использование данных и федеративный доступ к нескольким хранилищам данных и озерам данных. Машинное обучение Amazon Redshift позволяет выполнять миллиарды прогнозов с помощью простых SQL-команд и встроенной интеграции в Amazon SageMaker.

Перемещение данных из транзакционной базы данных в центральное хранилище данных часто требует создания, организации управления и эксплуатации сложного решения ETL для конвейера данных. Благодаря интеграции с нулевым использованием ETL вы можете легко реплицировать схему, существующие данные и изменения данных из базы данных Aurora в новый или существующий кластер Amazon Redshift. Интеграция с нулевым использованием ETL устраняет необходимость в сложном управлении конвейером данных.

Начало работы

Чтобы создать интеграцию с нулевым использованием ETL между Aurora и Amazon Redshift, вы указываете кластер БД Aurora в качестве источника данных и хранилище данных Amazon Redshift в качестве цели. Интеграция реплицирует данные из исходной базы данных в целевое хранилище данных. Данные становятся доступными в Amazon Redshift через несколько секунд, что позволяет исследователям начать использовать аналитику и функции машинного обучения Amazon Redshift для обработки данных. Подробные сведения см. в руководствах по началу работы с Aurora и Amazon Redshift.

Ресурсы

Цены

AWS не взимает дополнительную плату за интеграция с нулевым использованием ETL Aurora с Amazon Redshift. Вы платите за существующие ресурсы Aurora и Amazon Redshift, используемые для создания и обработки данных об изменениях, созданных в рамках интеграции с нулевым использованием ETL. Эти ресурсы могут включать:

  • Дополнительные возможности ввода-вывода и хранилища, используемые для сбора данных об изменениях
  • Затраты на экспорт снимков состояния при первоначальном экспорте данных для заполнения баз данных Amazon Redshift
  • Дополнительное хранилище Amazon Redshift для хранения реплицированных данных
  • Дополнительные вычислительные ресурсы Amazon Redshift для обработки и репликации данных
  • Затраты на передачу данных между зонами доступности при перемещении данных от источника к целевому объекту.

Непрерывная обработка изменений данных посредством интеграции с нулевым использованием ETL доступна бесплатно. Дополнительную информацию см. на странице цен на Aurora. 

Клиенты

  • Infosys

     

    Проверка грузов имеет решающее значение для поддержания целостности цепочки поставок для клиентов компании Infosys в сфере производства, розничной торговли и логистики. Чтобы обеспечить этот процесс, необходим сбор данных отслеживания грузов в реальном времени для их аналитики и мониторинга отправлений.

    Компания Infosys применила возможности интеграции с нулевым использованием ETL для сбора данных в режиме реального времени, что дает возможность отслеживать доставку грузов и получать информацию об их местоположении, статусе и предполагаемом времени прибытия. Это позволяет оптимизировать грузовые перевозки и значительно снизить затраты. Благодаря комплексной отчетности и аналитике с нулевым использованием ETL, а также отраслевым чертежам Infosys Cobalt и Topaz теперь мы можем принимать решения на основе данных.

    Сунил Сенан, SVP and Global Head of Data, Analytics and AI (старший вице-президент и директор по глобальному развитию данных, аналитики и ИИ) в компании Infosys

  • Intuit

    Intuit – это глобальная платформа финансовых технологий, которая обеспечивает успех 100 млн потребителей и клиентов малого бизнеса с помощью TurboTax, Credit Karma, QuickBooks и Mailchimp. Учитывая сложность предстоящей миграции, в компании Intuit ожидали, что ее скорость будет ошеломляющей и составит 10 млн профилей в день. Компания Intuit обратилась к интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift, чтобы упростить процесс получения данных и устранить необходимость в сложных инженерных работах.

    Огромный объем данных и необходимость осуществления беспрепятственной миграции стали для нас серьезной проблемой. Кроме того, необходимо было решение, которое позволило бы нам мгновенно анализировать процесс миграции и принимать быстрые решения на основе данных. Для решения этой проблемы мы обратились к интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift, чтобы упростить процесс приема данных и устранить необходимость в сложных инженерных работах. Благодаря интеграции с нулевым использованием ETL мы смогли отправлять огромные объемы данных в Amazon Redshift без сбора данных или отдельных заданий по их обработке, что позволило быстро получать аналитическую информацию для принятия важных технических и деловых решений, сэкономив месяцы усилий, которые могли потребоваться в противном случае. Интеграция Amazon Aurora с нулевым использованием ETL с Amazon Redshift помогла нам изучить новые модели компании Intuit для крупномасштабной миграции данных и аналитики в режиме, близком к реальному времени.

    Аруна Гиваре, Product Development Manager (руководитель отдела по разработке продукции) в компании Intuit

  • KINTO Technologies Corporation

    KINTO Technologies Corporation является ведущим игроком в индустрии мобильных платформ и технологической компанией, отвечающей за развитие сервиса KINTO и предоставления финансовых услуг корпорации Toyota. С помощью интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift компания KINTO Technologies смогла создать более устойчивый конвейер данных и теперь может применять расширенные аналитические функции Amazon Redshift к своим эксплуатационным данным практически в реальном времени.

    До появления интеграции с нулевым использованием ETL мы применяли специально разработанное решение. Оно непрерывно передавало изменения из наших основных баз данных в последующие приложения, но мы постоянно сталкивались с проблемами производительности, которые влияли на нашу рабочую нагрузку. Для уменьшения этого влияния нам пришлось вручную настраивать конвейеры, чтобы реже отправлять обновления и довольствоваться старыми данными в Amazon Redshift. Благодаря интеграции Amazon Aurora с нулевым использованием ETL с Amazon Redshift мы можем всегда иметь доступ к данным в Amazon Redshift практически в реальном времени, что позволяет разработчикам ускорить ручное управление конвейерами данных для операций ETL или решение проблем, влияющих на производительность рабочих нагрузок, снижая тем самым операционные затраты.

    Хитоши Кагеяма, Executive Vice President (исполнительный вице-президент) в корпорации KINTO Technologies

  • Money Forward i

    Компания Money Forward i стремится повысить производительность и творческий потенциал ИТ-команд в организациях благодаря оптимизации повторяющихся задач, сокращению расходов и укреплению безопасности с помощью Admina, интуитивно понятной платформы управления SaaS.

    До выхода интеграции Amazon Aurora с нулевым использованием ETL с Amazon Redshift задача внедрения и поддержки наших операций ETL по анализу данных продуктов из Amazon Aurora MySQL в Amazon Redshift была непростой. Интеграция Amazon Aurora с нулевым использованием ETL в Amazon Redshift обеспечивает синхронизацию данных между нашими базами данных Aurora MySQL и Amazon Redshift практически в реальном времени, сокращая срок создания аналитической среды с месяца до трех часов. Помимо снижения первоначальной нагрузки на этапе разработки, интеграция с нулевым использованием ETL уменьшает влияние на производственную среду, что позволяет создать среду анализа с минимальными затратами и максимальной скоростью.

    Кацутоси Мураками, руководитель и директор по разработке программных продуктов, Money Forward i

  • Woolworths

    Woolworths – ведущая компания розничной торговли в странах Африки к югу от Сахары, предлагающая широкий ассортимент качественной одежды, товаров общего назначения и продуктов питания с акцентом на инновации, ценности и устойчивое развитие.

    Получение своевременной аналитической информации на основе наших данных играет очень важную роль, так как мы получаем возможность быстро продвигать основанные на данных решения в нашем бизнесе и эффективно реагировать на критически важные события, требующие незамедлительного реагирования. Обработка данных об изменениях и коагуляции записей отнимала много времени и была более дорогостоящей, чем ожидалось. Применяя интеграцию Amazon Aurora с нулевым использованием ETL в Amazon Redshift, мы смогли получить те же результаты за день, на разработку которых в противном случае потребовалось бы два месяца из-за инженерных усилий, необходимых для операций ETL. Благодаря интеграции наша задержка данных была значительно снижена, так как они были готовы к запросу, что позволило нам быстрее принимать решения по мере развития событий. Благодаря интеграции Amazon Aurora с нулевым использованием ETL с Amazon Redshift мы сократили расходы, затраты на проектирование и количество точек отказа в управлении конвейерами.

    Раэми Шредер, Business Intelligence Lead (руководитель отдела бизнес-аналитики) в компании Woolworths