低レイテンシーワークロード向けに最適化された Mistral Small の Amazon Bedrock での提供開始

5月24日は、Amazon Bedrock で Mistral AI からの Mistral Small 基盤モデル (FM) の一般提供が開始されたことをお知らせします。これは、最近行われた 3 月の Mistral 7B と Mixtral 8x7B、4 月の Mistral Large の発表に続くものです。これからは、Amazon Bedrock で Mistral AI からの 4 つの高性能モデルである Mistral Small、Mistral Large、Mistral 7B、および Mixtral 8x7B にアクセスできるようになり、モデルの選択肢がさらに広がります。

Mistral AI が開発した Mistral Small は、大規模かつ低レイテンシーの言語ベースのタスク向けに最適化された、きわめて効率的な大規模言語モデル (LLM) です。Mistral Small は、分類、カスタマーサポート、テキスト生成など、一括で実行できる単純なタスクに最適です。このモデルは、コスト効率性に優れた価格で、非常に優れたパフォーマンスを提供します。

以下は、知っておく必要がある Mistral Small の主要機能です。

• 検索拡張生成 (RAG) 特化 – Mistral Small は、最大 32,000 トークンに拡張できるロングコンテキストウィンドウでさえも、重要な情報が保持されることを確実にします。
• コーディング能力 – Mistral Small は優れたコード生成、レビュー、およびコメント能力を備えており、主要コーディング言語をサポートしています。
• 多言語機能 – Mistral Small は、英語に加えて、フランス語、ドイツ語、スペイン語、およびイタリア語でもトップクラスのパフォーマンスを提供します。これ以外にも、その他数多くの言語をサポートしています。

Mistral Small の使用開始方法
Mistral Small の使用を開始するには、まずこのモデルにアクセスする必要があります。Amazon Bedrock コンソールに移動して、[モデルアクセス]、[モデルアクセスを管理] の順に選択します。[Mistral AI] セクションを展開し、[Mistral Small] を選択してから、[変更を保存] を選択します。

これで、Mistral Small モデルにアクセスし、Amazon Bedrock で使用を開始できるようになりました。[ベースモデル] テーブルを更新して、現在のステータスを表示します。

以下のテンプレートを使用してモデルに対するプロンプトを構築し、準最適出力を取得します。

<s>[INST] Instruction [/INST]

<s> は文字列の先頭 (BOS) に置く特別なトークンで、[INST] と [/INST] は標準文字列であることに留意してください。

分類例を表示するために、以下のプロンプトを試してみます。

プロンプト:

<s>[INST] Classify the following email to determine if it is spam or not.Only respond with the exact words "Spam" or "Not spam".
🎉 Limited time offer! Buy 2, Get 1 Free! Offer ends today! Don't miss out the CHANCE TO SAVE, please click on the link below: https://bit.ly/buy-2-get-1-free [/INST]

Mistral 7B、Mixtral 8x7B、および Mistral Large はすべて、この E メールを「Spam」として分類します。 Mistral Small も、大規模なモデルと同様にこのメールを正確に分類できます。テキストプロンプトからの Bash スクリプトの生成、ヨーグルトを作るためのレシピの生成など、同じようなタスクをいくつか試してみましたが、これらからも良い結果が得られました。このため、こういったタスクには、Mistral Small が Amazon Bedrock 内の Mistral AI モデルの中で最も効率的でコスト効率性に優れたオプションになります。

Mistral Small は多言語タスクにも長けています。英語に加えて、フランス語、ドイツ語、スペイン語、イタリア語でも優れたパフォーマンスを発揮します。サステナビリティに関する文章を 2 つ提供するように依頼して、ドイツ語に対するモデルの理解度をテストします。

プロンプト:

<s>[INST] Geben Sie mir zwei Sätze zum Thema Nachhaltigkeit. [/INST]

出力:

1.Nachhaltigkeit bedeutet, die Bedürfnisse der heutigen Generation zu befriedigen, ohne die Möglichkeiten künftiger Generationen zu gefährden.
2.Ein nachhaltiger Lebensstil umfasst den bewussten Umgang mit Ressourcen, wie Wasser, Energie und Rohstoffen, sowie den Schutz von Umwelt und Klima.
Diese Sätze sollten Ihnen einen guten Überblick über das Thema Nachhaltigkeit geben.

Mistral Small のプログラム的な操作
Amazon Bedrock API を用いて Mistral Small をプログラム的に操作するには、AWS コマンドラインインターフェイス (AWS CLI) と AWS Software Development Kit (SDK) を使用できます。Python で以下のコードを使用します。このコードは、AWS SDK を使って Amazon Bedrock Runtime API を操作するもので、「空の色は何色ですか?」とたずねています。

import argparse
import boto3
from botocore.exceptions import ClientError
import json

accept = "application/json"
content_type = "application/json"

def invoke_model(model_id, input_data, region, streaming): 
  client = boto3.client('bedrock-runtime', region_name=region)
  try:
    if streaming:
      response = client.invoke_model_with_response_stream(body=input_data, modelId=model_id, accept=accept, contentType=content_type)
    else:
      response = client.invoke_model(body=input_data, modelId=model_id, accept=accept, contentType=content_type)
    status_code = response['ResponseMetadata']['HTTPStatusCode']
    print(json.loads(response.get('body').read()))
  except ClientError as e:
    print(e)

if __name__ == "__main__":
  parser = argparse.ArgumentParser(description="Bedrock Testing Tool")
  parser.add_argument("--prompt", type=str, help="prompt to use", default="Hello")
  parser.add_argument("--max-tokens", type=int, default=64)
  parser.add_argument("--streaming", choices=["true", "false"], help="whether to stream or not", default="false")
  args = parser.parse_args()
  streaming = False
  if args.streaming == "true":
    streaming = True
  input_data = json.dumps({
    "prompt": f"<s>[INST]{args.prompt}[/INST]",
    "max_tokens": args.max_tokens
  })
  invoke_model(model_id="mistral.mistral-small-2402-v1:0", input_data=input_data, region="us-east-1", streaming=streaming)

すると、以下の出力が得られます。

{'outputs': [{'text': ' The color of the sky can vary depending on the time of day, weather,', 'stop_reason': 'length'}]}

今すぐご利用いただけます
現在、Mistral Small モデルは米国東部 (バージニア北部) リージョンの Amazon Bedrock でご利用いただけます。

詳細については、Mistral AI in Amazon Bedrock 製品ページをご覧ください。料金の詳細については、Amazon Bedrock の料金ページを参照してください。

Amazon Bedrock で Mistral Small の使用を開始するには、Amazon Bedrock コンソールにアクセスし、「Amazon Bedrock User Guide」を参照してください。

— Esra

原文はこちらです。