牛津大学引入行业领先的图像识别 ML 原型，以增强钱币的数字化

牛津大学的花园、图书馆和博物馆（GLAM）的藏品高达 2,100 万件，包括全世界最具影响力的文物和标本。GLAM 的一个使命是保护这些资产并向全世界开放以用于教育和研究目的。但这家机构的场馆一次只够展示大约 10% 的藏品，同时需要编目的文物挤压严重。为了解决这一问题， GLAM 使用 Amazon Web Services（AWS）的服务构建了一个增强的图像识别系统，以帮助加速文物编目的过程。

花园和博物馆 IT 团队使用了 Amazon SageMaker 这种完全托管式的服务，以帮助开发人员和数据科学家快速构建、训练和部署机器学习（ML）模型。然后利用 Amazon Elastic Compute Cloud（Amazon EC2）实例以低成本对这些模型进行训练和部署，从而自动对阿什莫尔博物馆（Ashmolean Museum，这是英国唯一的公共博物馆，也是全世界最大的大学博物馆）收藏的大量硬币进行编目。在 AWS 上，图像识别系统只需志愿者人工完成该任务使所需的一小部分时间，即可完成硬币的识别和编目。

GLAM 共有阿什莫尔艺术与考古博物馆（Ashmolean Museum of Art and Archaeology）、牛津大学自然历史博物馆（Oxford University Museum of Natural History）、皮特利弗斯博物馆（Pitt Rivers Museum）和科学史博物馆（History of Science Museum）这四个博物馆，以及波德林图书馆（Bodleian Libraries）和牛津大学植物园及哈科特树木园（Oxford Botanic Garden & Harcourt Arboretum）。2019 年，GLAM 数字藏品的访客人数达到 90 万。它的 2,100 万藏品包括鲜活标本和植物、历史文物，甚至包括已损坏、遗失或者归还给收藏者的物品的照片。花园和博物馆 IT 部系统架构师及网络经理 Anjanesh Babu 说：“多年来，博物馆一直未积极投资和管理支持我们所有数字服务的信息技术基础设施。在经过多年对陈旧的基础设施投资不足后，牛津大学提出了通过 GLAM 数字计划实现数字化转型的战略重心。” 数字遗产改进项目是此计划的一部分，也是从根本上和枝干上改进基础设施的基础，从而使其能够实现目标中所提出的数字化抱负。2017 年，该项目将 60TB 的数字记录上传到 Amazon Simple Storage Service（Amazon S3）这种对象存储服务，它具有行业领先的可扩展性、数据可用性、安全性和性能。

为了优化藏品的访问方便性以支持数字化教学和研究，GLAM 开始关注通过 ML 解决方案来减少研究部门进行藏品识别和编目所需的时间。为此，Anjanesh 必须找到能够成为原型候选对象并且妥善编目的适合藏品。阿什莫尔博物馆赫伯登硬币研究室室长 Jerome Mairat 以前有过从头开始开发数字藏品的经验，并提出为此探索项目提供支持。此解决方案将首先与世界著名的钱币研究项目 Roman Provincial Coinage 网合作。Anjanesh 解释说：“我想有一个实际的案例，以向利益攸关方展示我们可以做的事情。硬币是这一讯息的天然承载工具，拥有巨大的参与吸引力，从而让我们能够与 AWS 的数据科学家互动。” 机器学习的第一步是确定要预测什么 — 在此案例中，Anjanesh 希望预测一个简单的结果：人头还是字，也就是正面还是反面。如果有一组已知的训练数据，ML 解决方案是否能够以较高的准确度预测硬币的正反面？ 这自然而然就与 ML 世界联系起来。但结果不是简单的“人头还是字”，而是远远更加丰富的数据分类。

GLAM 借助 AWS 的服务，利用大约 10 周时间在 Amazon SageMaker 上构建并部署了 11 个 ML 模型。其中研究和试验的时间就用了大约 1 个月。“原型设计非常迅速，超过了我的预期，”Anjanesh 说。利用 10 万个图像的初始数据集，GLAM 首先使用 Amazon SageMaker 笔记本来构建、训练和试验模型。后来它改用 Amazon SageMaker 训练任务，因为可以在作为 Amazon EC2 竞价型实例的 Amazon EC2 P3 实例（采用 NVIDIA V100 Tensor Core GPU）上同时启动许多训练任务。Amazon SageMaker 负责管理训练任务，以确保这些任务会在有计算容量可用时运行。通过利用竞价型实例的定价，GLAM 训练模型的成本低至 Amazon EC2 按需型实例定价的十分之一，并且节省了 50% 的时间。由于 Amazon SageMaker 与框架无关，GLAM 能够在 PyTorch 上训练模型并实施自己的算法和脚本。

最终的图像识别系统涉及一系列的模型。首先是利用多个 ML 模型对图像进行预处理，以便让图像识别模型能够生成最佳的结果。例如，为了将硬币数字化，志愿者（通常是大学生）会拍摄正反面的照片，然后进行编目。如果硬币有偏移，即使是 20 度的偏移，ML 模型也无法对其进行处理，因此使用卷积神经网络将每张图像旋转到 90 度，Jerome 说这一过程本身将为阿什莫尔博物馆节省最高 3 年的工作。另一个模型负责清除硬币图像的背景，然后另一个模型使用先进的对抗网络来去除毛刺、去噪并放大图像比例，从而提高图像质量。这一过程的效果非常，以致于用手机拍摄的照片也可使用。

图像准备妥当后，将利用更多的 ML 模型来提取硬币的特征（例如它印有金额、由金属制成或者有人物画像），然后使用这一信息来查找 GLAM 索引中具有类似特征的硬币。然后使用转换模型来生成图像字幕或元数据，这将在每张图像上标记。所有模型都部署在 Amazon EC2 G4 实例（采用 NVIDIA T4 Tensor Core GPU），这些实例可将推理时间从数分钟缩短至数秒。

对这些 30 万个硬币而言，此图像识别系统预计将最高节省 3 年的工作。“这是用一种将会改进综合处理步骤的 ML 模型来代替我们的生产线，”Anjanesh 说。Jerome 补充说：“现在我们可以让志愿者专注于能够增加价值的其他步骤。ML 过程改进了工作流和生产率，并为公众增加了价值。” 未来，ML 模型将成为 GLAM 各类图像数据集的主要分类工具。

以前，志愿者分析一个硬币需要 10 分钟到几个小时的时间，而在图像识别系统上线后，这一时间预计将缩短至几分钟。“如果我们拥有相关数据集的 ML 模型，并且有模型来负责验证和图像增强，这将不仅能够节省工作人员的时间，而且可让我们为志愿者提供培训，也许能够帮助他们提升处理这些模型的能力。学生也可以从中学习到许多的知识，这是我们可以为整个过程增加的另外一个价值，”Jerome 解释说。

此图像识别系统还可用于促进与访客的可视互动。例如，阿什莫尔博物馆往往会举办物体鉴别活动，人们携带物体并征求博物馆人员的意见，以鉴别这些物体并了解它们的故事。现在，通过由 AWS 提供支持的图像识别，任何人都可以拍摄物体的照片，然后在家上传图像以了解与物体有关的详细信息，甚至有可能开展虚拟物体鉴别活动。

GLAM 计划将其图形识别系统应用到硬币之外的其他藏品，包括植物、宝石、蝴蝶等更复杂的物体以及其他藏品。根据更大的战略规划，它还计划在 GitHub 上与其他大学和研究机构共享该系统的开源版本，以促进数据集的共享。

未来，Anjanesh 设想可以通过更多的方式以利用 ML 提高 GLAM 藏品的访问方便性并简化内部流程。目前，网站访客无法使用单个搜索框来查找 GLAM 全部藏品中的某个特定对象，而必须访问各个博物馆或图书馆的单独网站。目前已经有计划提供涵盖 GLAM 全部藏品的跨站搜索功能。最终，Anjanesh 设想一个更大胆的搜索功能，一个能够搜索全球多个参与的大学和遗产保护合作伙伴藏品的功能。此外，在更加围观的方面，ML 解决方案也可用于监控和调整展馆的温度以更好地保护藏品，这将可以增强藏品保护团队的工作。

通过在 AWS 上构建图像识别系统，GLAM 极大地提高学生、研究人员和公众访客访问其藏品的能力，同时为工作人员和志愿者节省了大量的工作。Anjanesh 说：“我非常感谢 AWS 在此方面的巨大努力。我原以为这个项目将会十分复杂和耗时，但使用 AWS 的服务后，我们可以轻松利用常见的标准工具，它们非常便捷、并且能够快速交付。”