Amazon Bedrock Claude 3.5 Sonnet を活用して大学レベルの専門知識を必要とする工学的問題を解く

みなさん、こんにちは！製造業のお客様を中心に技術支援を行っているソリューションアーキテクトの山田です。

Anthropic の Claude 3.5 Sonnet が発表され、バージニアリージョンの Amazon Bedrock にてご利用頂けるようになりました。

Claude 3.5 Sonnet は Claude 3 Opus よりも高いベンチマークスコアを記録する高い能力を発揮すると同時に、Opus よりも 80 %安価に、2 倍の動作速度でご利用頂けるとされています。

Claude 3.5 Sonnet は、学部レベルの専門知識 (MMLU)、大学院レベルのエキスパート推論 (GPQA)、数学の問題解決 (MATH) などの新しい業界ベンチマークを記録しました。

このブログでは、製造業で設計開発業務に取り組まれている R&D (Research and Development：研究開発) エンジニアの方を想定ユーザーとして設定させていただき、大学レベルの専門知識が問われる工学的な問題を解く際に、Claude 3.5 Sonnet を活用するポイントについて解説させていただきます。

設計開発業務において工学的な問題を解く際の課題

例えば機械の設計を行う際、この形状で強度的に問題はないかや、適切に放熱できているかなどを計算して確認する業務は頻繁に生じます。その際、機械4大力学と言われる「機械力学」「材料力学」「熱力学」「流体力学」といった専門知識を駆使して、問題の事象を捉えてモデル化し、計算を行うことになりますが、範囲が広く難解なため、何も頼らないで自分の頭だけで解けるケースはそう多くありません。大学の教科書を参照したり、該当分野に詳しい同僚に教えを請うたりしながら解いていくことになります。

しかし、問題は複雑で様々な要素が絡んでいることも多く、教科書の中の該当する箇所を問題から逆引きして見つけ出すことは難しかったり、時間がかかったりします。該当分野に詳しい同僚に教えを請う場合でも、相談にあたって時間を取ってしまいますし、専門分野が細分化されているような問題の場合は複数人に相談する必要がでてきてしまいます。

そこで、冒頭に紹介した、学部レベルの専門知識など様々な新しい業界ベンチマークを記録した Claude 3.5 Sonnet の出番です。高いベンチマークスコアを記録したからといって、万能で全ての問題を解けるというわけではないのですが、本ブログではそういった不完全な部分もある AI との向き合い方のコツについても解説させていただきます。

Claude 3.5 Sonnet を活用した問題解決の実践

Amazon Bedrock で Claude 3.5 Sonnet のような基盤モデルを有効化して、チャットのやり取りを行うための準備手順については、こちらの Amazon Bedrockの生成系AIテクノロジーを活用して設計開発業務を進化させよう というブログをご参照ください。

今回は以下のような大学レベルの流体力学の問題に直面したエンジニアのシナリオで、プロンプトを打ち込み、どのような回答が返ってくるかを見てみます。

【プロンプト】

あなたは熟練の機械設計エンジニアです。以下の問題を解いてください。
水平に置かれた内径 d1 =20cmの管が内径 d2 = 10 cm の菅に滑らかに接続されています。内径 d1 の管内を空気が毎分 4.71 m^3 の流量で流れています。接続部の内径 d1 側における圧力 p1 は 2.00 気圧でした。接続部の内径 d2 側における流速と圧力を教えてください。ただし、摩擦による損失を無視し、空気の密度を 1.23 kg / m^3とします。
Step by Step で考えてください。
最終的に、正しい計算ができたかの自信度合いを10段階で評価して提示してください。

【Claude 3.5 Sonnet からの回答】

はい、この問題を Step by Step で解いていきましょう。

Step 1 : 与えられた情報を整理します。
– d1 = 20 cm = 0.2 m
– d2 = 10 cm = 0.1 m
– Q (流量) = 4.71 m³/min = 0.0785 m³/s
– p1 = 2.00 気圧 = 202,650 Pa (1気圧 = 101,325 Pa)
– ρ (空気密度) = 1.23 kg/m³

Step 2 : d1 側の流速 v1 を計算します。
A1 = π(d1/2)² = π(0.2/2)² = 0.0314 m²
v1 = Q/A1 = 0.0785/0.0314 = 2.5 m/s

Step 3 : 連続の式を使用して d2 側の流速 v2 を計算します。
A1v1 = A2v2
v2 = (A1/A2)v1 = (d1/d2)²v1 = (0.2/0.1)² × 2.5 = 10 m/s

Step 4 : ベルヌーイの定理を適用します。
p1 + (1/2)ρv1² = p2 + (1/2)ρv2²

Step 5 : p2 を解きます。
p2 = p1 + (1/2)ρv1² – (1/2)ρv2²
   = 202,650 + (1/2)×1.23×2.5² – (1/2)×1.23×10²
   = 202,650 + 3.84375 – 61.5
   = 202,592.34375 Pa ≈ 1.9994 気圧

結果:
– d2 側の流速: v2 = 10 m/s
– d2 側の圧力: p2 ≈ 1.9994 気圧

自信度評価: 9/10

この計算は基本的な流体力学の原理に基づいており、与えられた条件下で正確であると考えられます。ただし、実際の状況では摩擦や乱流の影響があるため、完全に現実を反映しているわけではありません。そのため、10点満点ではなく9点としました。

チャットやり取りの内容解説

まず Claude 3.5 Sonnet からの回答は正解です（人間の専門家が検証しました。Claude 3.5 Sonnet が最後に言及している通り摩擦や乱流の影響などの細かい要素を無視した場合においてです）。論理立て、計算結果、いずれも流石のベンチマークスコアを感じさせる品質でした。

プロンプトには、良い回答を返してもらうための工夫として、「あなたは熟練の機械設計エンジニアです」や「Step by Stepで考えてください」といった表現が盛り込まれています。こういった Claude へプロンプトを書く際のコツについてはこちらもご参照ください。

特に、「最終的に、正しい計算ができたかの自信度合いを10段階で評価して提示してください」といったような、自信度合いを問うことは、こういった難解な質問を投げかける際には重要になります。例えば以下のような簡単な質問だとどのような回答が返ってくるかを見てみましょう。

【プロンプト】

5 × 10 + 3 – 4 = ?
Step by Stepで考えてください。
最終的に、正しい計算ができたかの自信度合いを10段階で評価して提示してください。

【Claude 3.5 Sonnet からの回答】

分かりました。ステップバイステップで解説し、最後に自信度合いを10段階で評価します。 

ステップ 1 : 5 * 10 を計算します
5 * 10 = 50

ステップ 2 : 50 に 3 を足します
50 + 3 = 53

ステップ 3 : 53 から 4 を引きます
53 – 4 = 49

したがって、最終的な答えは
5 * 10 + 3 – 4 = 49
となります。

自信度合い: 10/10
この計算は非常に基本的なものなので、確信を持って正しい答えが出せたと思います。ステップバイステップで丁寧に解いたので、間違いはないはずです。

このような簡単な質問だと満点の10点で回答を返してくれました。しかし問題が難解になるほど、間違えてしまう可能性も増してきます。

そういった100%の正解が返せない場合においても、今回の流体力学の問題の例のように、自信度合いを聞いて、完全に正しいとは限らないと認識した上で、Step by Step でどのように論理立てて問題を解こうとしているかを参考にして思考の検討材料とすることは有益になると考えます。

学校の試験問題などとは異なり、現実の物理現象を扱う工学的な問題では正しい回答はどこにも存在しないケースが多々あります。手掛かりとなる参考情報を素早く与えてくれるだけで、役立つ存在となってくれることでしょう。

まとめ

Claude 3.5 Sonnet は今回のケースにおいて、大学レベルの流体力学の問題を正しく解くことができました。問題が難解になるほど、間違えてしまう可能性も増してきますが、完全に正しいとは限らないと認識した上で、参考にできる情報を検討材料としてうまく活用することで、設計開発業務に役立てられるイメージを掴んでいただきました。

著者プロフィール

山田 航司 (Koji Yamada)
アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト

製造業のお客様を中心にクラウド活用の技術支援を担当しています。好きな AWS のサービスは Amazon Bedrock です。

愛読書は「大富豪トランプのでっかく考えて、でっかく儲けろ」です。