Возможности Сервиса Amazon OpenSearch

Хранилище «горячих» данных обеспечивает быстрый доступ к часто запрашиваемым данным. UltraWarm – уровень хранилища «теплых» данных, который служит дополнением к уровню хранилища «горячих» данных сервиса OpenSearch, обеспечивая более экономичное хранение старых и нечасто используемых данных при той же интерактивности запросов. UltraWarm хранит данные в Amazon Simple Storage Service (Amazon S3) и использует настраиваемые узлы с высокой степенью оптимизации, специально созданные для применения с AWS Nitro System для кэширования, создания предварительных выборок и быстрого осуществления запросов к данным.

UltraWarm позволяет хранить до 3 ПБ данных в одном кластере сервиса OpenSearch при снижении цены за 1 ГБ примерно на 90 % по сравнению с уровнем хранилища «горячих» данных. Вы также можете с легкостью отправлять запросы или визуализировать данные в интерфейсах Kibana (версии не новее 7.10) или OpenSearch Dashboards. Анализируйте как новые (не старше недели), так и исторические (собранные за месяцы или годы) журналы данных, не тратя часы или дни на восстановление архивированных журналов.

UltraWarm – это полностью управляемое, недорогое хранилище «теплых» данных для сервиса OpenSearch. Оно совместимо с OpenSearch, Elasticsearch (до версии 7.10), OpenSearch Dashboards и Kibana (до версии 7.10), что позволяет анализировать данные с помощью инструментов, которые сервис OpenSearch дает уже сейчас. UltraWarm просто интегрируется с существующими возможностями сервиса OpenSearch, такими как встроенные предупреждения, SQL‑запросы и многое другое. 

UltraWarm поможет вам экономично расширить данные, которые вы хотите проанализировать в сервисе OpenSearch. Вы можете получить ценную информацию о данных, которые ранее могли быть удалены или заархивированы. С UltraWarm теперь можно экономично хранить больше своих данных и интерактивно анализировать их в любое время.

Сервис OpenSearch поддерживает два уровня интегрированного хранения: хранение «горячих данных» и UltraWarm. Хранилище «горячих данных» питается от узлов данных, которые используются для индексации, обновления и обеспечения самого быстрого доступа к данным. Узлы UltraWarm дополняют хранилище «горячих» данных, предоставляя недорогое хранилище «только для чтения» для старых и менее часто используемых данных.

UltraWarm использует Amazon S3 для хранения данных, который рассчитан на 99,999999999 процентов прочности и устраняет необходимость в настройке реплики Elasticsearch для ваших «теплых» данных. Кроме того, если у вас есть более одного узла UltraWarm, в случае сбоя узла другие узлы UltraWarm будут автоматически получать доступ к данным по мере необходимости.

UltraWarm поддерживает до 3 ПБ первичных данных. Сервис UltraWarm разработан таким образом, чтобы вы могли использовать 100 % этого хранилища. А поскольку UltraWarm сохраняет данные в Amazon S3 для обеспечения надежности, вам не нужно использовать дополнительное хранилище для реплик Elasticsearch.

UltraWarm обеспечивает интерактивную работу в OpenSearch Dashboards и Kibana, внедряя детализированное кэширование ввода-вывода, предварительную выборку и оптимизацию подсистемы запросов, чтобы обеспечить производительность, подобную инстансам высокой плотности с использованием локального хранилища.

Чтобы начать работу с UltraWarm, создайте новый домен Сервиса OpenSearch с включенным UltraWarm с помощью консоли, CLI или API. Как только ваш домен создан, вы можете перемещать контент из хранилища «горячих» данных в UltraWarm с помощью API OpenSearch / Elasticsearch. Для получения дополнительной информации см. Руководство для разработчиков по Сервису OpenSearch.

Хранилище «холодных» данных – это самая дешевая опция хранения, которая позволяет извлекать редко используемые данные в Amazon S3 и оплачивать вычисления только тогда, когда они необходимы. Хранилище «холодных» данных создано на основе технологии UltraWarm, которая обеспечивает специализированные узлы для хранения данных в Amazon S3 и использует сложное кэширование для поддержки интерактивного взаимодействия. За счет разъединения вычислительных ресурсов и хранения, хранилище «холодных» данных позволяет держать любой объем данных в домене сервиса OpenSearch, при этом снижая стоимость за ГБ до близкого к ценам хранилища Amazon S3 уровня; открепить ретроспективные или редко запрашиваемые «теплые» данные, пока они не используются, и освободить вычислительные ресурсы для снижения затрат; Найдите и выборочно прикрепите «холодные» данные к доменным узлам UltraWarm за считанные секунды, выбрав интерфейс Kibana (не старше версии 7.10) или OpenSearch Dashboards и простые в использовании API. Хранилище «холодных» данных позволяет запрашивать прикрепленные «холодные» данные с использованием того же интерактивного интерфейса и той же производительностью, что и в случае с «теплыми» данными.

В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.

Хранилище «холодных» данных – это полностью управляемый наименее затратный уровень хранения для сервиса OpenSearch, с помощью которого можно по запросу безопасно хранить и анализировать ретроспективные журналы. Хранилище «холодных» данных помогает полностью отделить хранилище от вычислительных ресурсов, когда вы не занимаетесь активным анализом данных, и обеспечивает доступность данных при низких затратах. Хранилище «холодных» данных доступно в рамках домена сервиса OpenSearch через узел UltraWarm. Хранилище «холодных» данных легко встраивается в OpenSearch и панели OpenSearch, а также в Elasticsearch (версии 7.9 и 7.10) и Kibana (версии 7.9 и 7.10). Он помогает анализировать данные с помощью тех же инструментов, которые предоставляет сегодня сервис OpenSearch.

Хранилище «холодных» данных позволяет вам экономически эффективно расширять данные, которые вы хотите проанализировать в сервисе OpenSearch, и получать ценную информацию о данных, которые ранее могли быть удалены или заархивированы. Хранилище «холодных» данных – подходящий инструмент, если необходимо изучить или провести экспертный анализ ваших более старых данных и для этого вы хотите задействовать все возможности сервиса OpenSearch по доступной цене. Хранилище «холодных» данных создано для масштабирования и опирается на Amazon S3. Найдите и исследуйте необходимые данные, прикрепите их к узлам UltraWarm в вашем кластере и подготовьте к анализу за считанные секунды. Прикрепленные «холодные» данные подчиняются существующим правилам тщательного контроля доступа, которые ограничивают доступ на уровне индекса, документа и поля.

Сервис OpenSearch поддерживает три уровня интегрированного хранения: хранилище «горячих данных», UltraWarm и хранилище «холодных» данных. Хранилище «горячих» данных используется для индексации, обновления и обеспечения самого быстрого доступа к данным. UltraWarm обеспечивает плавное расширение «горячего» уровня, предоставляя вычислительные узлы и высокоэффективный интерактивный интерфейс для данных, которые надежно хранятся в Amazon S3 и должны находится в постоянном доступе. В настоящее время UltraWarm поддерживает до 3 ПБ данных в одном домене. Теперь благодаря хранилищу «холодных» данных вы можете открепить неиспользуемые индексы от UltraWarm и освободить вычислительные ресурсы, чтобы снизить затраты. С помощью API хранилища «холодных» данных и интерфейса OpenSearch Dashboards и Kibana вы можете быстро находить необходимые для анализа индексы с помощью шаблонов индексов и временных меток данных. После эти данные можно прикрепить к домену и подготовить к анализу за несколько секунд. По окончании анализа просто открепите данные и вновь освободите вычислительные возможности. 

Хранилище «холодных» данных создано для масштабирования. В то время как на хранение «горячих» и «теплых» данных действует ограничение в 3 ПБ, в хранилище «холодных» данных можно хранить любой объем.

Хранилище «холодных» данных создано на основе технологии UltraWarm, которая обеспечивает специализированные узлы для хранения данных в Amazon S3 и использует сложное кэширование для поддержки интерактивного взаимодействия. Хранилище «холодных» данных сначала необходимо прикрепить к узлу UltraWarm в вашем домене сервиса OpenSearch. После прикрепления запросы к данным будут работать за счет существующих узлов UltraWarm, поддерживающих тот же уровень производительности, что и для «теплых» данных. Если в UltraWarm доступен объем, соответствующий запрашиваемым данным, то прикрепление «холодных» индексов к вашему домену займет несколько секунд. Если потребуется дополнительный объем, добавление узлов UltraWarm может занять несколько минут.

Сервис OpenSearch предоставляет возможности поиска документов в реальном времени, которые выходят за рамки поиска по базам данных. Этот полностью управляемый сервис использует для поиска движок OpenSearch. OpenSearch – это полнофункциональная, основанная на Lucene, портативная, не зависящая от платформы поисковая система с открытым исходным кодом, поддерживающая поиск по ключевым словам, поиск на естественном языке, синонимы, несколько языков и многое другое. Основные возможности поиска включают указанные ниже.

• Получает данные из базы данных или системы управления контентом, внутреннего или внешнего поискового бота или потокового сервиса.
• Предоставляет поисковые API для создания интерфейса поверх поисковых сервисов.
• Обеспечивает поиск по многим атрибутам.
• Находит новые документы, соответствующие набору сохраненных запросов, с помощью перспективного поиска (фильтрация).
• Оценивает модели использования и выполняет планирование емкости и прогнозирование затрат с помощью возможностей мониторинга Сервиса OpenSearch.
• Использует встроенные алгоритмы машинного обучения (ML) для метода ближайших соседей (k-NN), чтобы выполнять векторный поиск, поиск по сходству, семантический поиск и т. д.
• Использует встроенный алгоритм ML для техники обучения ранжированию, чтобы рассчитывать коэффициент релевантности
• Обеспечивает простое, масштабируемое и высокопроизводительное векторное хранилище и поиск для поддержки дополненных машинным обучением возможностей поиска и генеративных приложений искусственного интеллекта.
• Использует несколько языков запросов, включая SQL.

Поисковые ресурсы

Видео: AWS On Air для поиска 

Видео: LexisNexis для поиска на основе ML 

Демонстрация: «Улучшение результатов поиска с помощью Сервиса Amazon OpenSearch» 

Семинар: «Улучшение релевантности поиска с помощью ML в Сервисе Amazon OpenSearch»

Публикация в блоге: «Novartis AG использует сервис OpenSearch k-NN и SageMaker для эффективного поиска и разработки рекомендаций»

Диаграмма эталонной архитектуры: «Приложения с поддержкой поиска»

Предоставьте своим специалистам по операциям безопасности (SecOps) возможность быстро обнаруживать потенциальные угрозы, используя инструменты, помогающие расследовать проблемы безопасности, и все это при низких затратах на хранение данных. Защитите свои бизнес-данные и быстро обнаруживайте потенциальные угрозы безопасности. Сервис OpenSearch обеспечивает встроенную поддержку более 2,200 правил безопасности Sigma с открытым исходным кодом для выявления потенциальных угроз безопасности путем фильтрации результатов безопасности. Можно даже настроить или использовать стандартные правила Sigma для быстрого обнаружения потенциальных угроз безопасности и отправки оповещений в заранее выбранное место назначения. Используйте встроенную поддержку нескольких источников журналов, включая Windows, Netflow, AWS CloudTrail, DNS и другие. 

Аналитика безопасности OpenSearch предназначена для изучения, обнаружения и анализа угроз безопасности для критически важных бизнес-функций, а также реагирования на них. Эти угрозы включают потенциальную утечку конфиденциальных данных, кибератаки и другие неблагоприятные события в сфере безопасности. Сюда относятся инструменты и функции, необходимые для определения параметров обнаружения, генерации оповещений и эффективного реагирования на потенциальные угрозы.

В настоящее время мы поддерживаем 8 типов журналов, включая Netflow, журналы DNS, журналы доступа Apache, журналы Windows, журналы AD/LDAP, системные журналы Linux, журналы AWS CloudTrail и журналы доступа к Amazon S3.

Можно использовать существующие конвейеры приема, которые отправляют данные в формате JSON в OpenSearch.

Да, аналитика безопасности OpenSearch содержит более 2,200 правил безопасности Sigma для использования без предварительной настройки с различными типами детекторов безопасности. Эти правила предварительно выбираются после того, как вы предоставите минимальную конфигурацию источника журнала.

Да, для поддерживаемых выше типов журналов можно добавить собственные правила. Эти правила должны быть в формате правил Sigma и могут быть импортированы в OpenSearch перед использованием с детектором безопасности.

Да, журналы должны быть в формате JSON. Мы рекомендуем отправлять их в формате ECS (Elastic Common Schema).

Аналитика безопасности OpenSearch доступна вам без дополнительных затрат или лицензионных платежей. Вы платите столько же, сколько и за перенос других данных в Сервис OpenSearch.

Аналитика безопасности предустановлена вместе с Сервисом OpenSearch под управлением OpenSearch версии 2.5 или выше.

Озеро безопасности Amazon автоматически централизует данные о безопасности из облачных, локальных и пользовательских источников в специально созданное озеро данных, хранящееся в вашем аккаунте. Эти объединенные данные нормируются в общий формат и хранятся в корзинах S3. Их можно вводить в Сервис OpenSearch, чтобы визуализировать и запрашивать данные и создавать отчеты по ним. Аналитика безопасности представляет собой механизм правил безопасности, который помогает обнаруживать потенциальные события безопасности и предупреждать о них, а также соотносить их для содействия расследованию.

Да, вы можете перенести дополнительные журналы из Озера безопасности в OpenSearch и создать детектор для выполнения соответствующих правил на загруженных журналах.

Cемейство оптимизированных для OpenSearch инстансов OR1 по результатам внутренних тестов имеет на 30 % лучшее соотношение цены и производительности по сравнению с существующими инстансами и использует Amazon S3 для обеспечения уровня надежности в 99 %. OR1 позволяет сервису Amazon OpenSearch Service использовать инновации OpenSearch и технологии AWS, переосмысляя индексирование и хранение данных в облаке. OR1 позволяет клиентам экономичнее и надежнее масштабировать развертывание OpenSearch без ущерба для ожидаемых возможностей интерактивной аналитики. 

OR1 – это семейство оптимизированных для OpenSearch инстансов для управляемых кластеров Сервиса Amazon OpenSearch, которое по результатам внутренних тестов имеет на 30 % лучшее соотношение цены и производительности по сравнению с существующими инстансами. Кроме того,для обеспечения уровня надежности в 99 % применяется Amazon S3. OR1 позволяет сервису Amazon OpenSearch Service использовать инновации OpenSearch и технологии AWS, переосмысляя индексирование и хранение данных в облаке. OR1 позволяет клиентам экономичнее и надежнее масштабировать развертывание OpenSearch без ущерба для ожидаемых возможностей интерактивной аналитики. OR1 предлагает оплату по факту использования и зарезервированные инстансы с простой почасовой оплатой за выделенные инстансы и хранилище.

Клиенты широко используют Amazon OpenSearch Service для анализа операционных журналов из-за его способности обрабатывать большие объемы данных, а также предоставлять расширенную интерактивную аналитику этих данных. Cемейство оптимизированных для OpenSearch инстансов OR1 по результатам внутренних тестов имеет на 30 % лучшее соотношение цены и производительности по сравнению с существующими инстансами и использует Amazon S3 для обеспечения уровня надежности в 99 %. Улучшенная производительность и эффективность вычислений помогут справиться с тяжелыми рабочими нагрузками по операционной аналитике с индексацией. Кроме того, в случае сбоя OpenSearch может выполнить автоматическое восстановление данных до последней успешной операции, что повышает надежность домена.

Сервис Amazon OpenSearch поддерживает две стратегии репликации — логическую (по документам) и физическую (по сегментам). В случае логической репликации данные индексируются на всех копиях по отдельности, что приводит к дублированию вычислительных затрат. В случае физической репликации данные индексируются только в первичной копии, а дополнительные копии создаются путем копирования данных из нее. Новые инстансы для управляемых кластеров Сервиса Amazon OpenSearch OR1 используют физическую репликацию для записи данных в удаленное хранилище на базе Amazon S3. Репозиторий Amazon S3 — надежное хранилище данных — служит источником достоверной информации для всех операций репликации и восстановления. Новые схемы работы позволяют повысить производительность индексации и надежность доменов сервиса Amazon OpenSearch.

Сервис Amazon OpenSearch поддерживает узлы управления кластерами (мастер-узлы), узлы данных и теплые узлы. Для узлов данных, в зависимости от роли и характеристик рабочей нагрузки, можно выбрать следующие типы инстансов: общего назначения, с оптимизацией памяти, с оптимизацией вычислений, с оптимизацией хранения, а теперь и оптимизированные для OpenSearch. Для теплых узлов сервис Amazon OpenSearch предоставляет сверхтеплые инстансы, оптимизированные для снижения стоимости хранения теплых данных. OR1 – это первый вид инстансов в новом семействе инстансов, оптимизированных для OpenSearch. OR1 имеют оптимизацию памяти и доступны в виде узлов данных. Они обеспечивают улучшенную пропускную способность индексации по сравнению со стандартными инстансами с оптимизацией памяти. Кроме того, OR1 обеспечивают надежность данных без использования снимков состояния, и обеспечивают быстрое автоматизированное восстановление. Как OR1, так и сверхтеплые инстансы используют для хранения данных локальное хранилище (EBS) и удаленное хранилище (управляемое хранилище на основе Amazon S3). OR1 хранит копию данных и в локальном, и в удаленном хранилищах. В сверхтеплых инстансах для снижения затрат на хранение данные по большей части содержатся в удаленном хранилище и, в зависимости от схемы доступа, перемещаются в локальное хранилище. 

Инстансы OR1 используют EBS в качестве локального хранилища и Amazon S3 в качестве удаленного хранилища. Все данные синхронно записываются в Amazon S3, что обеспечивает надежность данных на уровне 99,999999999% («11 девяток»).

Инстансы OR1 можно использовать в качестве узлов данных для всех новых управляемых кластеров сервиса Amazon OpenSearch Service, созданных в OpenSearch версии 2.11 или более поздней версии и имеющих шифрование при хранении. На момент запуска инстансы OR1 будут недоступны для управляемых кластеров, созданных с использованием других инстансов узлов данных. Для OR1 необходимо выделить инстансы Graviton менеджерам кластеров.

В случае появления красного индекса инстансы OR1 автоматически восстанавливают недостающие сегменты из удаленного хранилища (Amazon S3). Время восстановления зависит от объема восстанавливаемых данных. 

Электронная книга по эталонной архитектуре 

Видео: «Инструменты для преобразования данных»