【寄稿】AI民主化に向けた丸紅の取組

こんにちは。ソリューションアーキテクトの齋藤です。丸紅株式会社(以下、丸紅) デジタル・イノベーション部 では、デジタルを活用して丸紅グループの変革を推進し、デジタル人財を育成して各部門の事業を大きくしていくことをミッションに掲げています。当部では、デジタル技術に精通するメンバーが、丸紅の各組織へ、課題整理→実証実験→実用化まで一気通貫で支援を実施しており、AI・データ分析 を中心に、内製で開発しています。本ブログでは、どのように丸紅がAWS上で社内生成AIプラットフォームアプリ(以降 Marubeni Chatbot)を開発して、社内公開までに直面した課題を解決したか、どのようにユーザへ活用促進を繋げたか、赤裸々に紹介させて頂きます。本ブログは、丸紅 デジタル・イノベーション部 芹川 武尊 氏 から寄稿していただいたものです。

背景

AWS 齋藤 : Marubeni Chatbot の開発が始まった経緯について教えてください。

丸紅 芹川氏 : 元々、私を含めた若手2名での生成AIを使って、なにかやりたいね! という漠然とした雑談が発端です。2023年3月に、GPT-4 を目の当たりにして、衝撃を受けたことが記憶に残っています。これは来るな! と感じました。難易度を4つのレベルに分けて、より技術的・業務的に容易でインパクトも出やすい領域から導入を進めました。開発は自社で熱意のある人が開発するほうが早いということになり、自社若手メンバーで Marubeni Chatbot の内製開発になりました。

AWS 齋藤 : 　ちなみに丸紅様にとってAIを取り扱う中でビジネス上どのような課題があったのですか?

丸紅 芹川氏 : デジタル・イノベーション部は、AIやデータ分析を活用したDX推進に取り組んでおり、その中で複数の部門・事業会社から特定の業務の効率化・高度化を求める声が上がっています。一方、丸紅の事業範囲が非常に広いため、各事業の特殊性に応じた個別対応が必要となるケースが多くあります。このため、AI導入におけるROI（投資対効果）を最適化するためには、各事業部門が主導的にAIを活用し、その業務特性や課題に即したソリューションを開発する、言うなれば「AIの民主化」の実現が必要であると考えていました。そして、最近の生成AIの登場により、それが遠くない未来に現実的に実現可能になったと考えております。

Marubeni Chatbot について

AWS 齋藤 : Marubeni Chatbot の ユーザーは、どのような方ですか?

丸紅 芹川氏 : 丸紅本体の役員、管理職、一般社員、グループ会社社員まで、多種多様な社員が使用しています。登録ユーザー数は7,500人以上になっています。

AWS 齋藤 : Marubeni Chatbot では、どのくらいのデータ量を扱っていますか?

丸紅 芹川氏 : 現時点(2024年6月時点)では、ユーザーによって登録されたファイル数は、60,000ファイル、PDF形式に変換したデータ量でいうと 500GB 程になります。

AWS 齋藤 : Marubeni Chatbot の概要及びどのような機能を提供しているか教えてください。

丸紅 芹川氏 : Marubeni Chatbot では、複数のLLM(Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, GPT-4o, GPT-4 Turbo)をエンドユーザ自身が選択することが出来るチャットアプリを提供しています。多数の機能がありますが、3つに絞り紹介させて頂きます。1つめはファイルチャットアプリです。これは、エンドユーザが業務で使用する契約書や資料 (Word, Excel, Powerpoint, PDF) を、Marubeni Chatbot に、エンドユーザ自身がアップロードし、資料内容に基づいて、エンドユーザからの質問への回答や文書の要約を提供します。丸紅はグローバルに展開する商社ということもあり、スペイン語、中国語、ベトナム語など、英語以外の資料を取り扱う機会も多いのですが、そういった資料の日本語での要約、質問回答は、業務効率の大きな改善に繋がっています。2つめは音声認識チャットアプリです。これは、音声や動画ファイルをアップロードすると、会議音声の文字起こし・議事録作成を行うことができます。また、会議の最中に本システムを起動して、リアルタイムで文字起こしを行うことも可能です。最後は、カスタムボットアプリです。これは、エンドユーザ自身で、担当業務に関連する資料を集約することで、独自の Knowledge base を構築出来ます。特定の部署内のルールに対して回答してくれるボットがその部署内のメンバーによって作成され活用されるなどユーザー自身の手による業務効率化につながっています。尚、こちらの機能でも、LLMは業務特性に合わせて選択することが可能です。

AWS 齋藤 : 各機能のアーキテクチャについても紹介していただけますか?

丸紅 芹川氏 : アーキテクチャは下記の通りになります。

ファイルチャットアプリ

ユーザは、Webアプリケーションから、ファイルをアップロードします。アップロードがトリガーになり、外部LLMを用いて Embedding し、Amazon S3 にベクトルデータを格納します。ファイルに関してユーザから指示があると、AWS Lambda は、Amazon S3 に格納されたベクトル情報をメモリに読み込み、類似度の高い文書及びセクションを検索し、Amazon Bedrock で回答を生成します。

ファイルチャット UI

ファイルチャット アーキテクチャ

音声認識チャットアプリ

ユーザは、Webアプリケーションから、音声又は動画ファイルをアップロードします。アップロードされたファイルは、Amazon Transcribe にて、Speech to Text がされますが、変換時の間違い、区切りの誤りなど、Amazon Bedrock を用いて整形します。音声ファイルの中身そのものを変えないように、プロンプトの試行錯誤を繰り返すことで、想定した変換を実現することが出来ました。また、書き起こし後のテキストに対してチャットUIで質問を投げかけることも可能で、こちらの機能を活用することで容易に議事録作成が可能です。

音声認識チャット アーキテクチャ

カスタムボットアプリ

ユーザは、Webアプリケーション上のUIから、データソースとなるドキュメントやFAQを登録することで、独自のカスタムボットを作成出来ます。このときユーザーは、LLMの指定とパラメータ設定、そのカスタムボットにアクセスできるユーザーの登録(ユーザ名, 部署, 会社)を行えますが、本情報は、Amazon DynamoDB に保管されます。カスタムボットアプリで使用されるデータソースとなるドキュメントは、Amazon S3 に保管され、外部LLMを用いて Embeddingを計算し、Pineconeにベクトルデータを保存します。データソースとなるドキュメントの中身は、Webアプリケーションからいつでも追加・変更することが可能です。回答精度の改善をしたいときや、事前に回答を規定したいときには、FAQの登録によってチューニングすることも可能です。

カスタムボットアプリ アーキテクチャ

カスタムボットアプリ モデル設定

カスタムボットアプリ アーキテクチャ ドキュメント追加・編集UI

カスタムボットアプリ FAQ 登録UI

AWS 齋藤 : ユーザーが能動的に生成AIを使用することが出来る環境を提供していることが印象に残りました。

直面した課題と解決へのアプローチ

AWS 齋藤 : Marubeni Chatbot を構築する中で課題に直面したと思います。どんな課題があり、それをどのように解決したのでしょうか?

丸紅 芹川氏 : Marubeni Chatbot 内のRAGを用いたアプリの開発の中で、回答の精度が課題になりました。例えば、社内規程をもとに回答するボットでは、回答に対して間違いが許容されにくく、一貫性や精度を確保する必要がありました。これに対するアプローチとして、元々WordやPDFの形式で保管された社内規程文書に、意味のあるテキストセグメンテーションを持たせるために、Markdownで記載しなおすように前処理をしました。その後、Markdownでセクションごとにセグメンテーションされた文書をEmbeddingして、 Pinecone にベクトルデータを保存しました。又、開発で工夫した点としては以下です。開発にLangchainを使用していたが、OpenAIのLLMが基軸になっており、Anthropic社など他社LLMへの対応が遅れていることを感じ、LangChainを取り除いて自社で抽象レイヤーを開発しました。それに加え、生成AIの回答精度の改善のために、WordやPowerpointからMarkdownへ変換を実施しましたが、手作業になっていたので、ここでも生成AIを活用して社内規程文書を自動でMarkdown形式に変換する機能を実装しました。

導入効果

AWS 齋藤 : Marubeni Chatbot 導入によりどのような効果がありましたか?

丸紅 芹川氏 : はい。2024年2月時点でのデータになりますが、ユーザからのFeedbackとして各業務で25-65%程度の時間削減効果及び業務高度化の効果を実感したとありました。詳細は下記のグラフの通りになります。

業務時間削減率について

Why AWS?

AWS 齋藤 : Marubeni Chatbot に、AWSが採用された決め手を教えて下さい。

丸紅 芹川氏 : たくさんあるのですが、AWS は フルマネージド型でありつつも、拡張性が高いサービスが充実しているところです。Marubeni Chatbot　開発当初はコストを割り当てることが難しく少ないメンバーで始める必要がありましたが、長期的には機能やユーザー数が増える可能性も予想されていました。そのような不確実性の高い状況下では、AWSのフルーマネージド型 サービスを採用するところから始めることで、OSやミドルウェアの運用保守をAWSにオフロードし、機能数やトラフィック数が増加したときも構成を大きく変えることなくスケールすることが可能でした。セキュリティでは、HIPPAやGDPRへ準拠しており、エンタープライズ用途でも利用しやすかったです。

今後の展望について

AWS 齋藤 : Marubeni Chatbot の、今後の展望について教えてください。

丸紅 芹川氏 : 現在、Level4: 経営判断の高度化への取り組みの開発と利用を進めており、この精度の更なる改善に取り組んでいます。それと同時に丸紅グループ社員の意識改革も引き続き必要だと考えています。まずは実業務での利用を通して、生成AIの特性を現場レベルで理解してもらう。その上で社員一人ひとりが、AI 1st の意識を持って、 AI に最適な形に知見を集積していく。これらを通じて長期的にはAI を使い倒す企業文化を醸成し、それがより高度な生成AIの活用につながってきます。