Amazon Bedrock, Cohere Command R 및 R+ 모델 정식 출시

2023년 11월, 저희는 Amazon Bedrock에서 신규 Cohere 모델 2개(Cohere Command Light 및 Cohere Embed English)을 출시했습니다. 그리고 오늘, Amazon Bedrock에서 2개의 추가 Cohere  신규 모델(Cohere Command R 및 Command R+)을 추가로 출시합니다.

엔터프라이즈 데이터 소스에 저장된 정보와 안전하게 상호 작용하려면 생성형 인공 지능(생성형 AI) 모델이 필요합니다. Command R 및 Command R+는 모두 실제 엔터프라이즈급 워크로드에 맞게 특별히 구축된 강력하고 확장 가능한 대규모 언어 모델(LLM) 입니다. 두 모델은 다국어를 지원하며, 뛰어난 효율성과 강력한 정확성의 균형을 맞추어 검색 증강 생성(RAG)과 같은 탁월한 기능을 제공하는 것은 물론 도구 사용을 통해 기업이 개념 증명(POC)을 넘어 인공 지능(AI)을 사용한 프로덕션에 진입할 수 있도록 지원하는 데 중점을 두고 있습니다.

Command R은 RAG 및 도구 사용을 대상으로 하는 규모 조정 가능한 다국어 생성 모델로, 엔터프라이즈용 프로덕션 규모의 AI를 지원합니다. Command R+는 엔터프라이즈급 워크로드를 처리하고 비즈니스 AI 애플리케이션을 최적화하도록 설계된 최첨단 RAG 최적화 모델입니다. Command R+는 이 모델에 기본으로 제공되는 인라인 인용 덕분에 신뢰성이 높으며 검증 가능한 엔터프라이즈 지원 응답을 제공할 수 있도록 고급 RAG에 최적화되어 있습니다. Bedrock의 새로운 Cohere 모델을 사용하면 AI를 기반으로 규모 조정하여 가장 관련성이 높은 정보를 신속하게 찾아 재무, 인사(HR), 영업, 마케팅, 고객 지원 등 다양한 비즈니스 부문의 업무 기능 전반에서 작업을 지원할 수 있습니다. Command R+에서도 도구 사용이 가능합니다. Command R+는 강력한 다국어 모델이며, Command R과 마찬가지로 시중의 다른 모델에 사용되는 토크나이저보다 비영어 텍스트의 압축률이 훨씬 뛰어난 토크나이저를 사용합니다.

Command R 및 Command R+ 시작하기
Amazon Bedrock에서 두 모델을 시작하려면 먼저 모델에 액세스해야 합니다. Amazon Bedrock 콘솔에서 모델 액세스를 선택한 다음 모델 액세스 관리를 선택합니다. 그런 다음 선호하는 모델과 변경 사항 저장을 차례로 선택합니다. 보시는 바와 같이, 이제 Amazon Bedrock에서는 Command R 및 Command R+를 포함하여 6개의 Cohere 모델을 선택할 수 있습니다. 이를 통해 개별적인 비즈니스 요구 사항에 맞는 최적의 모델을 사용할 수 있는 선택의 폭과 유연성이 더욱 넓어졌습니다.

선호하는 모델에 액세스할 수 있게 되면 Amazon Bedrock에서 해당 모델을 사용할 수 있습니다. 업데이트된 상태를 보려면 기본 모델 테이블을 새로 고침합니다.

모델은 영어, 프랑스어, 스페인어, 이탈리아어, 독일어, 포르투갈어(브라질), 일본어, 한국어, 중국어 간체, 아랍어와 같은 사용자 언어로 응답하도록 학습되었습니다. 예시는 다음과 같습니다.

프롬프트

<s>"Écris une description de produit pour une voiture électrique en 50 à 75 mots"

출력값

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante. Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les 
trajets urbains et les longues distances. Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!

프로그래밍 방식으로 Command R 및 Command R+와 상호 작용
또한 AWS 명령줄 인터페이스(CLI) 및 AWS 소프트웨어 개발 키트(SDK)를 통해 Amazon Bedrock API를 사용하여 다양하게 직접적으로 호출할 수 있습니다. 다음은 AWS SDK를 사용하여 Amazon Bedrock 런타임 API와 상호 작용하는 Python 샘플 코드입니다. 앞에서 사용한 것과 동일한 텍스트 생성 프롬프트를 가져와 다음과 같이 프로그래밍 방식으로 사용합니다. 이 예시에서 저는 Command R 모델과 상호 작용하고 있습니다. Python으로 돌아가서 먼저 ListFoundationModels API 직접 호출을 실행하여 Command R용 modelId를 찾아보겠습니다.

import boto3
import json
import numpy

bedrock = boto3.client(service_name='bedrock', region_name='us-east-1')

listModels = bedrock.list_foundation_models(byProvider='cohere')
print("\n".join(list(map(lambda x: f"{x['modelName']} : { x['modelId'] }", listModels['modelSummaries']))))

다음 코드를 실행하면 목록이 표시됩니다.

Command : cohere.command-text-v14
Command Light : cohere.command-light-text-v14
Embed English : cohere.embed-english-v3
Embed Multilingual : cohere.embed-multilingual-v3
Command R: cohere.command-r-v1:0
Command R+: cohere.command-r-plus-v1:0

이 목록에서 cohere.command-r-v 1:0 모델 ID를 선택하고 이 게시물의 앞부분에 나온 대로 텍스트를 생성하는 코드를 작성합니다.

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime", region_name='us-east-1')

prompt = """
<s>Écris une description de produit pour une voiture électrique en 50 à 75 mots

body = json.dumps({
    "prompt": prompt,
    "max_tokens": 512,
    "top_p": 0.8,
    "temperature": 0.5,
})

modelId = "cohere.command-r-v1:0"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

print(json.loads(response.get('body').read()))

다음과 같이 JSON 형식의 출력을 얻을 수 있습니다:

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante. Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les 
trajets urbains et les longues distances. Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!

정식 출시

Command R 및 Command R+ 모델은 다른 Cohere 모델과 함께 현재 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전의 Amazon Bedrock에서 사용할 수 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요.

심층적인 기술 콘텐츠를 찾아보고 빌더 커뮤니티에서 각자의 솔루션에서 Amazon Bedrock을 어떻게 사용하고 있는지 알아보려면 당사의 community.aws 사이트를 방문하세요. 지금 바로 Amazon Bedrock 콘솔에서 Command R 및 Command R+를 사용해 보고, Amazon Bedrock용 AWS re:Post에 피드백을 보내거나 일반적인 AWS Support 문의를 통해 피드백을 보내주세요.

– Veliswa.