lekker 社が顧客離反モデルの開発で Amazon SageMaker Debugger を利用して、より多くの洞察を得た方法

Estimator(
    role=role,
    instance_count=1,
    instance_type='ml.m5.4xlarge',
    hyperparameters = {
        'num_round': '20',
        'rate_drop': '0.3',
        'scale_pos_weight': scale_pos_weight,
        'tweedie_variance_power': '1.4',
        'objective': 'binary:logistic'
        },
    image_uri = sagemaker.image_uris.retrieve('xgboost',region, version='1.0-1')
)

Debugger とルールの設定

lekker 社は以下の３つの用途で、Debugger を利用します：

• ビルトインルールの利用した低パフォーマンス学習ジョブの特定
• 自動ビジュアルの作成
• 学習ジョブの重要なメトリクスを収集

次のコードは、離反モデルの学習から特徴の重要度やシャープレイ値などのメトリクスを収集するための Debugger フックの設定を示しています：

debugger_hook_config=DebuggerHookConfig(
    hook_parameters={'save_interval':'5'},
    collection_configs=[ 
        CollectionConfig(name="metrics"),
        CollectionConfig(name="feature_importance"),
        CollectionConfig(name="full_shap"),
        CollectionConfig(name="average_shap"),
    ]
 )

Debugger には、オーバーフィッティングやロスが減少しないなど、モデルの学習に関する問題をチェックするルールが組み込まれています。これらのルールは、SageMaker の処理ジョブとして別のコンテナやインスタンスで実行されるため、ルールの分析が実際の学習処理を妨げることはありません。lekker 社は、loss_not_decreasing ルールと xboost_report ルールを頻繁に使用しています。最初のルールは、学習曲線（ロスカーブ）を監視し、ロスが一定の割合で減少しない場合にトリガーします。xgboost_report ルールは、XGBoost モデルのデータをキャプチャし、ROC 曲線やエラープロットなどの視覚化された静的なHTMLレポートを作成し、主要な洞察力や推奨事項を提供します。以下のコードをご覧ください：

 rules=[
    Rule.sagemaker(
        rule_configs.loss_not_decreasing(),
        rule_parameters={
        "collection_names": "metrics",
        "num_steps": str(save_interval * 2),
        },
        ),
    Rule.sagemaker(rule_configs.create_xgboost_report())
 ]

Debugger のフック設定とルールのリストを指定した後、estimator.fit() で SageMaker の学習を開始します。fit 関数は、Amazon S3 の学習データと検証データへのパスを入力として受け取ります。以下のコードをご覧ください：

estimator.fit( 
    "train": TrainingInput(model_train_file, content_type="csv")
    "validation": TrainingInput(model_test_file, content_type="csv"))
  

SageMaker は自動的に ml.m5.4xlarge 学習インスタンスを起動し、学習用コンテナとデータセットをダウンロードし、モデルの学習を実行します。また、SageMaker の処理ジョブとしてルール分析を実行するためのインスタンスを起動します。SageMaker Studio でルールのステータスを確認したり、Python SDK からステータスを確認したりすることができます。

リアルタイムモニタリングのビジュアル化と実行

学習処理の実行中、lekker 社は Debugger のオープンソースの smdebug ライブラリを使用して、Amazon S3 にリアルタイムでアップロードされるデータを取得、問い合わせします。最初のステップは、ローカルまたは S3 のパス内にトライアルオブジェクトを作成することです：

from smdebug.trials import create_trial

s3_output_path = xgboost_estimator.latest_job_debugger_artifacts_path()
trial = create_trial(s3_output_path)
  

次に、データにアクセスしてクエリを実行します。学習曲線をプロットするには、メトリクスコレクションと記録されたステップの数を取得するだけです：

steps = trial.steps()
fig, ax = plt.subplots()
for tname in trial.collection("metrics").tensor_names:
    data = [value for value in trial.tensor(tname).values().values()]
    ax.plot(steps, data, label=tname)

次の図は、顧客離反モデルの学習中に、学習と検証のエラーが減少していることを示しています。これは、未観測データ（検証データ）に対してモデルがうまく機能していることを示しているため、モデルがよく訓練されていることを示しています。Debugger では、このような可視化を簡単に行うことができます。

学習ジョブが完了すると、lekker 社では xgboost_report ルールの出力を使用して、顧客離反モデルに関するさらなる洞察を得ます。次の図は、学習ジョブにおけるモデルの特徴の重要性を示しています。最も重要な特徴は、顧客の契約継続期間（メンバーシップ期間月数）です。lekker 社は、12ヶ月や24ヶ月などの固定期間の契約を提供しています。顧客が契約をキャンセルした場合、解約は固定契約期間の終了時に表示される。そのため、12ヶ月目と24ヶ月目に解約が集中するのです。

何がモデルの結果に影響を与えるかという知識は、モデルを説明する上で重要です。 lekker 社は、学習中に Debugger が記録した SHapley Additive exPlanations（SHAP）値を使用しています。SHAPは予測モデルの局所的な解釈可能性のために作られたものです。機械学習モデルの出力をゲーム理論的なアプローチで説明するものです。

以下の図では、青が低い特徴量を、赤が高い特徴量を表しています。x軸は SHAP値を示しており、結果に対する影響を表しています。高い値は予測値の増加を、低い値は予測値の減少を示します。線の太さは、この特定のポイントにいる顧客の数を表しています。離反モデルでは、契約継続時間が短い顧客は、予測解約確率が低くなります。これは、契約構造の結果であり、顧客の解約は早くても契約から12ヶ月後に決定されるからです。

SageMaker を使用しているユーザーは、SageMaker Debugger または SageMaker Clarify を使用してモデルの SHAP値を取得できます。両者の主な違いは、Debugger は学習中にそれらの値を記録するのに対し、Clarify はモデルの学習後にそれらを取得することです。学習段階で SHAP値を検査することで、無関係な入力特徴を特定して排除することにより、モデルをさらに改善することができます。

モデルが学習されると、Clarify を使ってあらゆるデータセットの SHAP値を得ることができます。モデルをエンドポイントとしてデプロイした後は、Clarifyを使ってエンドポイントからキャプチャしたデータの SHAP値を監視することができます。もう一つの重要な違いは、Debugger が XGBoost モデルの学習中に SHAP値を収集できるのに対し、Clarify はモデルにとらわれず、どのモデルでも動作することです。

結果

SageMaker が提供するすべてのツールとサービスを利用して、lekker 社は離反モデルの精度を20％近く向上させることができました。さらに、このモデルは以前のバージョンよりも安定しています。これにより F1スコアは80％以上、AUCは96％まで上昇しました。

lekker 社のデータサイエンティストである Steffen Kremers 氏は次のように述べています。「モデルの洞察に関連するすべての情報を得られたので、何が起こっているのかを明確に理解することができました。特に、Debugger のレポートに完全に統合されている特徴分析のコンセプトは、最も影響力のある特徴に関する有益な情報を提供してくれました。特徴量エンジニアリングと特徴量選択の両方にとって重要な情報です」

離反モデルが導入されて以来、lekker 社ではさらに3つのモデルを SageMaker に移行し、運用統合しました。lekker 社は、以前に行った学習モデルをこれらのモデルに移行し、すべてのモデルが以前よりも良い結果をもたらすことを確認しました。lekker 社は、MLがもたらす洞察力を目の当たりにして、ML活動の拡大に着手しています。

まとめ

この記事では、lekker 社がどのようにワークロードをオンプレミスから SageMaker に移行したか、そしてそれがどのように彼らのデータサイエンスチームの加速と革新を早めるのに役立ったかを示しました。 lekker 社は、モデルをより深く洞察するために Debugger を広範囲に使用しており、モデルの改善とより良い説明に役立てています。Debugger の機能と、このサービスがお客様のビジネスにどのように役立つかについては、Amazon SageMaker Debugger をご覧ください。顧客離反の最適化についての詳細は、ブログポスト「Preventing customer churn on optimizing incentive programs using stochastic programming」をご覧ください。

本ブログは、ソリューションアーキテクトの丹羽が翻訳しました。原文はこちらです

著者について

Steffen Kremers は、ドイツを本社に置くlekker 社のデータ・サイエンティストです。彼は、ユースケースのアイデアの開発からモデルの構築、モデルの展開まで、機械学習のプロセス全体をサポートしています。