Amazon Web Services ブログ

未来を見据えたテレビ歴史の保存とアーカイブ

Team Coco が AWS と Iron Mountain を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトからハイライトを永続的に保存、トランスコード、表示、クリップ、および公開して、何百万人もの Conan ファンに公開した方法。

TeamCoco ウェブサイトホームページ - クラブを開催する Conan。

古い英詩があります。古いもの、新しいもの、人から借りたもの、青いものなど、花嫁が身に付けると幸せになるといわれるものを持参する限り、新たなことに取り組むときに幸運を掴めるというものです。

ほとんどの人は、結婚を申し込むほどの重要な日に古くからの知恵を使うようにしています。しかし、Team Coco では、これをまったく別の種類の提案に使用することにしました。私たちの上司は、伝説的な深夜テレビの司会者である Conan O’Brien が率いるチームから来ました。そして、彼は私たちが大胆な計画に乗り出すことを要求しました。

  • 彼が担当した NBC ショーの 2725 件のエピソードをデジタル化する
  • エピソードを将来性のあるデジタル形式で永続的に保存する
  • すべてのエピソードを表示およびカタログ化するシステムを実装する
  • ロックされて何年も保管庫の劣化テープに保管されていたお気に入りの瞬間にファンがアクセスできる画期的なサービスを提供する

そして、1993 年 9 月の最初のショーから 25 周年目までに出版を始めることを目標としていたので、すぐに作業を始める必要があります。上司を落胆させたくはありません。

Team Coco では、新しい挑戦に対して肯定的に反応したいのは山々ですが、このような一生に一度の機会に直面することはありませんでした。この種のタスクを処理するための最良の方法に関するロードマップを提供する類似プロジェクトから単純な類似点を見つけることは困難でした。Team Coco の小規模チームが従来のオンプレミス手段を使用して、デジタル化、保存、トランスコーディング、およびカタログ化の範囲と規模を処理することは不可能でした。しかし、私たちの厳しい生産スケジュールによって悪化しました。これにより、AWS クラウドという、目標を達成するためのワークフローを構築する唯一の実行可能な方法が残りました。このブログ記事では、Team Coco が AWS を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトのハイライトを永続的に保存、トランスコード、表示、クリップして、何百万人もの Conan ファンに公開した方法について説明します。

古いものと借りたもの: テープ保管庫、ビデオテープマスター、輸送、デジタル化

古い低品質のファンアップロードは、Team Coco がこのプロジェクトに着手する前に入手可能な最高品質のクリップでした。ここに例を示します。

プロジェクトの前は、利用可能な最高品質のクリップはファンのアップロードによるものでした。

テープをデジタル化するプロセスの簡単な概要は次のとおりです。

  1. NBC ボールトから 2725 本のブロードキャストマスターテープを借りました。
  2. APN パートナーである Iron Mountain は、NBC のテープ保管庫からカリフォルニア州ロサンゼルスにある Iron Mountain のデジタル化施設に移動するときに、テープを慎重に移動して追跡しました。
  3. 2725 本のテープはすべて、Iron Mountain Entertainment Services (IMES) で収容、受信、整理、デジタル化されました。
  4. ブロードキャストビデオテープは、Betacam-SP、D-2、D-3、MPEG-IMX、HDCAM、HDCAM-SR のビデオテープ形式に至りました。
    • D-3 は、1990 年代初頭に番組最初のエピソード 1629 件で使用された初期の複合デジタルテープ形式 NBC であったため、最大の課題となりました。
    • このフォーマットは現在廃止されていると考えられるため、十分な高品質でテープを再生できるデッキは世界中でわずか少数しかありません。
  5. ビデオテープは、コンピュータに適した形式でキャプチャされました。
  6. 新しく作成されたビデオファイルは、Iron Mountain のオンプレミスストレージプラットフォームにステージングされ、Team Coco に配信する準備が整いました。

テープをデジタル化するプロセスの簡略化された図の概要

新しいもの: AWS クラウド

私たちの大胆なプロジェクトにおける 3 つ目の幸運は、AWS と、私たちが利用できる膨大な数のサービスを提供するといった新しいものでした。非常に多くの未知に直面しているにもかかわらず、ほぼ無限のコンピューティングリソースとストレージリソースにアクセスできることを知ったことが、AWS を選択するうえで最も大きい推進力となりました。また、TeamCoco.com、iOS および Android アプリ、そして 2012 年以降から構築してきた社内の Eisenhower 製品を支えてきたカスタムビルドの AWS インフラストラクチャを実行した経験もありました。

今日、Eisenhower は、CMS、アセットマネージャー、検索可能なデータベース、アーカイブソリューション、ビデオトランスコーダー、公開システム、さらにはチームのコラボレーションツールとしても機能する Team Coco の日常的な機能の多くを運用しています。Eisenhower のカスタマイズされたテクノロジーにより、Team Coco は、画期的な制作会社として、エンターテインメントの制作方法と配信方法を継続的に再考することができました。小規模で機敏なチームでしたが、Eisenhower のようなツールのおかげで、私たちは素晴らしい業務を成し遂げることができました。これらのツールを使用することで、AWS カタログからマネージドサービスをまとめることにより、非常に効率的な作業を実現できました。この記事では、Conan25 プロジェクトを実現するために使用されたサービスのいくつかに触れています。

データを Amazon S3 に移動する方法の概要:

AWS への Team Coco バックアップ

  1. 最初の配信では、完全な品質のファイルがストレージサーバーから AWS Snowball デバイスにコピーされました。その後、デバイスは最寄りの AWS データセンターに発送され、ファイルは Amazon S3 バケットにコピーされました。
  2. プロセスの後半で、AWS CLI と 10 Gb のデータパイプを使用して S3 バケットに直接クラウドシードワークフローを採用しました。
  3. 次に、完全な品質のファイルが AWS Elemental MediaConvert に送信され、よりビットレートの低いメザニンおよびプロキシ形式に変換されました。AWS Elemental により、業界で信頼されているビデオエンコーディングの専門知識をフルマネージドサービスとして使用できるようになりました。これにより、個々のビデオエンコーディングサーバーをセットアップして管理する必要がなくなり、必要な業界標準のフォーマットがすべて提供されました。
  4. 最初の処理作業が完了すると、Amazon S3 ライフサイクルポリシーを実装して、より大きなファイルを S3 Inelligent-Tiering、Amazon S3 Glacier、または S3 Glacier Deep Archive に移行できるようになり、長期的なストレージコストの節約を実現できました。小さなブラウザ互換 h.264 ファイルには S3 Intelligent-Tiering を適用しました。これにより、コストをいくらか節約することができました。これにより、ファイルへのアクセス頻度に関係なく、各ファイルのストレージクラスを直接管理する必要がなくなりました。高品質のメザニンファイルの場合、Amazon S3 Glacier が提供する 1〜5 分の迅速な取得オプションがワークフローの完璧なバランスを実現しました。数分のアクセスレイテンシーを許容できるようにワークフローを設計することで、場合によってはストレージコストを最大 80% 削減することができました。アクセス頻度が非常に低い最大のビデオファイル、および 12 時間のレイテンシーを許容できるワークフローでは、S3 Glacier Deep Archive を使用してさらに節約しました。

青いもの: ファンのために構築したテレビ歴史のデータレイク

(データ) 湖は青色なので、青です。そのままにしてください。

このプロジェクトでの最後の幸運は、以前はアクセスできなかったメディアにアクセスするために構築を続けている (青い) データレイクでした。私たちのデータレイクは、2725 時間、そしてテレビ歴史の中でお気に入りの瞬間のいくつかで満たされ、ファンエクスペリエンスの不可欠な部分となりました。

しかし、私たちの仕事はまだ終わっていません。データレイクから本当の価値を実現するために、2725 件のエピソードアーカイブからセグメントをカタログ化、検索、クリップ、トランスコードできる AWS サービスを使用しました。

要点: エピソードのカタログ化、CMS のインポート、クリップの生成

  1. フルエピソードは、標準ウェブブラウザの h.264 エピソードプロキシを介して、リモートロガーのチームによって上映されました。セグメントにはタイトルが付けられ、インポイントとアウトポイントが付けられました。
  2. 最初のメタデータが生成されたら、そのデータを、Amazon EC2、AWS Lambda、Amazon RDS などの他の有名な AWS サービスで実行されている Team Coco の Eisenhower プラットフォームに移行しました。
  3. ここから、Amazon ECS と AWS Batch で実行されるカスタムで非常にスケーラブルなコンテナエンコーディングソリューションを介してオーディオとビデオのフェードを自動的に追加して、エピソードからクリップを生成できます。
  4. その後、ファイルは Amazon S3 に保存され、YouTube や Facebook などのプラットフォーム用の高品質 MP4 にトランスコードされます。また、TeamCoco.com (ここでも MediaConvert) の HLS 可変ビットレートストリームをエンコードしました。
  5. その後、ハイライトはオンラインで公開され、20 年以上 (またはこれまで) これらのセグメントを見ていなかったかもしれない何百万人もの Conan ファンが楽しんでいます。

プロジェクトの完了後に高品質でアップロードされた 2004 年の Team Coco YouTube クリップの例

AWS ベースプロジェクトの結果

  • 高品質のビデオマスターは、Amazon S3、S3 Intelligent-Tiering、S3 Glacier、S3 Glacier Deep Archive に永続的に保存されます。テレビ履歴の ½ PB は、99.999999999% (11 9’s) の耐久性を実現するように設計された Amazon S3 に保存されているので、安心できます。
  • これで、AWS を使用してすべてのエピソードのセグメントを検索および表示する自家製の Eisenhower プラットフォーム内に、検索可能で即座に表示可能なセグメントのデータベースができました。驚くべき部分は、私たちスタッフがあらゆるデスクトップウェブブラウザで Eisenhower を使用できるということです。これにより、チームの参入障壁が大幅に下がり、リモートで作業できるようになります。
  • MediaConvert や AWS Batch などの AWS サービスにより、非常に大きなスケールでビデオをトランスコードできました。
  • 私たちは、Amazon CloudFront を介して提供される特注の CONAN Classic ウェブエクスペリエンスを構築し、ファンに完全なデジタルエクスペリエンスを提供します。
  • AWS サービスでトランスコードされたクリップは、毎週 Team Coco の YouTube、Instagram、Facebook、Twitter アカウントに公開され、何百万人ものファンが楽しんでいます。
  • Amazon S3 のビデオファイルを使用すれば、AWS 製品カタログ全体でビデオファイルを使用できる可能性が広がります。今年の初めに自宅からショーを制作するようにシフトしたとき、Amazon WorkSpaces、S3、および Amazon FSx 共有ストレージを使用して、仮想化されたポストプロダクション環境を立ち上げることができました。
  • Amazon S3 にカタログ全体があることで、シームレスにリモート作業に切り替えることができました。これは、ビジネス継続性の目的から非常に重要でした。
  • 今年のロードマップには、Amazon Transcribe のような Amazon ML ツールへの拡張があり、保有しているビデオコンテンツの膨大なアーカイブを転記できます。写真アーカイブの大きな可能性を解き放つために、Amazon Rekognition ソリューションを実装できることに興奮しています。

AWS サービスエコシステムを使用する場合、私は通常、空が限界になると言っていますが、それも控えめな表現です。信じられないかもしれませんが、必要に応じて一連の衛星を管理するサービスもあります (真剣に このページをご覧ください)。幸い、私と Team Coco テックチームの残りのメンバーは、衛星の全艦隊を管理する必要があるプロジェクトを担当していません。しかし、その作業に取り組むような新しい試みを始める素晴らしい時期にもう一度幸運を必要とする日が来たら、私たちがどこに向かっているのかもわかるでしょう。

まとめ

Team Coco の有名なトークショーのホストボスをやっと迎え入れることができました。課題に真正面から応えることができました。Iron Mountain のような資産およびデジタル化パートナーと長期的なクラウドコンピューティングパートナーである AWS で伸縮自在なスケールを達成できたおかげで、大部分を実現できるようになりました。私たちは、ファンのお気に入りのハイライトをデジタルプラットフォームにもたらすという当面の目標を達成しました。同時に、次世代に向けて、テレビの歴史について信じられないほどの耐久性があり、高可用性で使いやすい Amazon S3 クラウドストレージをデジタル保存しました。CONAN Classic にアクセスして、プロジェクトの結果をお楽しみください。

記事をお楽しみいただけましたら幸いです。コメント欄にコメントをお寄せください。私たちのプロジェクトに関する追加情報については、re:Invent 2019 からのデータアーカイブおよびデジタル保存ソリューションプレゼンテーションの一部として講演をご覧ください。