AWS 기술 블로그

Category: Generative AI

Amazon Bedrock과 Amazon OpenSearch를 활용한 hy 프레딧의 생성형 AI 기반 검색 서비스 구현 여정

에치와이(hy) & Fredit Mall 소개 1969년 창립한 ‘한국 야쿠르트 유업’은 2021년 사명을 에치와이(hy)로 변경하며 유통전문기업으로 도약했습니다. 창립 55주년을 맞은 에치와이는 국민 발효유 ‘야쿠르트’를 시작으로 발효유 시장을 선도해 왔습니다. 건강기능식품 시장에서 꾸준히 성장해온 에치와이는 2020년 12월 자사몰 ‘프레딧'(Fredit)을 론칭하며 온라인 채널을 본격적으로 강화했습니다. 프레딧은 프로바이오틱스 제품뿐 아니라 신선간편식, 건강기능식품, 뷰티, 생활용품 등 다양한 상품을 제공하고 있습니다. […]

생성형 AI 워크로드에 대한 보안 사고 대응 방법 소개

이 글은 AWS Security Blog에 게시된 Methodology for incident response on generative AI workloads by Anna McAbee, Jennifer Paz, AJ Evans, and Steve de Vera를 한국어로 번역 및 편집하였습니다. AWS 고객 사고 대응팀(CIRT)은 생성형 AI 기반 애플리케이션과 관련된 보안 사고를 조사하는데 사용할 수 있는 방법론을 개발했습니다. 생성형 AI 워크로드와 관련된 보안 이벤트라고 하더라도, 여전히 AWS […]

이미지 비디오 Multi-modal 추론 모델, LLaVA-NeXT-Video 모델을 Amazon SageMaker에 배포하기

LLaVA-NeXT-Video 모델 소개 LLaVA-NeXT-Video 모델은 LLaVA-NeXT의 후속 모델로, 비디오 이해 능력을 강화한 대형 멀티모달 모델 (Large Multimodal Model, LMM)입니다. 이 모델은 주로 텍스트-이미지 데이터로 학습된 LLaVA-NeXT를 기반으로 하여 비디오 데이터에 대한 성능을 향상시키기 위해 개발되었습니다. 주요 특징 제로샷(Zero-shot) 비디오 표현 능력: LLaVA-NeXT-Video는 AnyRes 기술을 활용하여 고해상도 이미지를 여러 이미지로 분할하고, 이를 사전 학습된 비전 트랜스포머 […]

Amazon Bedrock과 OpenSearch를 활용한 Multimodal RAG 기반 상품 검색 챗봇

이 글에서는 Multimodal LLM과 Multimodal Embedding을 활용하여 Multimodal RAG를 구현하는 몇 가지 방법을 제안하고, 하나의 예시 애플리케이션으로 패션 상품 검색을 위한 챗봇 구현 방안을 소개합니다. 주요 기술 개념 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 대규모 언어 모델 (Large Language Model, LLM)이 응답을 생성하기 전에, 외부 지식 소스를 참조하여 보다 정확하고 풍부한 답변을 생성하도록 개발된 기술입니다. […]

[그림 1.] Langfuse를 AWS ECS Fargate에 배포한 아키텍처

Amazon ECS와 AWS Fargate를 사용하여 AWS CDK Python으로 Langfuse 호스팅하기

인공지능, 특히 대형 언어 모델(LLM)의 개발 및 배포 분야에서 Langfuse는 혁신적인 플랫폼으로 부상하고 있습니다. Langfuse는 개발팀이 공동으로 LLM 애플리케이션을 디버깅하고, 분석하며, 반복 개선을 할 수 있도록 도와주는 오픈 소스 LLM 엔지니어링 플랫폼입니다. 이 블로그 포스팅에서는 AWS Cloud Development Kit (CDK)를 활용하여 Amazon Elastic Container Registry (ECR) 및 Amazon Elastic Container Service (ECS)와 AWS Fargate를 사용하여 […]

Amazon Bedrock으로 Multi Modal 문서에 대해 RAG 적용 하기

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Model, LLM)과 효율적인 데이터 검색 기능을 결합하여 정확하고 관련성 높은 응답을 생성하는 유망한 생성형 AI 기술입니다[1, 2]. RAG 방식은 최신 정보를 반영함으로써 답변의 부정확성이나 환각을 줄일 수 있어 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 다양한 자연어 처리 작업에서 인상적인 성능을 보임에도 불구하고보다 […]

KT, Amazon SageMaker를 이용한 ViT 기반 Food Tag 모델의 학습 시간 단축 여정

KT의 ‘AI Food Tag’는 사진 속 음식의 종류와 영양 성분을 알려 주는 인공지능(AI) 기반 식이 관리 솔루션입니다. KT가 개발한 Vision 모델은 레이블(Label)이 없는 대용량 이미지 데이터로 학습한 사전 학습 모델이 적용되어,  다양한 음식들의 영양 성분과 칼로리 정보를 분석하여 당뇨 등 만성질환 환자의 식단 관리에 도움을 줄 수 있습니다. 이러한 ‘AI Food Tag’ 모델의 학습 성능 […]

Amazon SageMaker JumpStart를 이용하여 Falcon Foundation Model기반의 Chatbot 만들기

2023년 6월부터 AWS 서울 리전에서 EC2 G5인스턴스를 사용할 수 있게 되었습니다. 여기서는 Falcon Foundation Model을 Amazon SageMaker JumpStart를 이용해 AWS 서울 리전의 EC2 G5에 설치하고, 웹 브라우저 기반의 Chatbot을 생성하는 방법에 대해 설명합니다. Falcon FM은 HuggingFace의 Open LLM Leaderboard에서 상위권(2023년 7월 기준)에 위치할 만큼 우수한 성능을 가지고 있으면서도, 아파치 2.0 라이선스 정책에 따라 상용을 포함하여 누구나 자유롭게 사용할 […]

QLoRA 기법으로 Falcon-40B 및 기타 대규모 모델(LLM)을 Amazon SageMaker Studio 노트북의 대화형 환경에서 파인튜닝하기

이 글은 AWS Machine Learning Blog에 게시된 Interactively fine-tune Falcon-40B and other LLMs on Amazon SageMaker Studio notebooks using QLoRA by Sean Morgan, Philipp Schmid, and Lauren Mullennex를 한국어로 번역 및 편집하였습니다. 대규모 언어 모델(LLM; Large Language Models)을 파인튜닝(Fine-tuning) 하면 오픈 소스 파운데이션 모델(Foundation model)을 개선하여 도메인별 작업에서 더욱 향상된 성능을 끌어낼 수 있습니다. 이 […]