随着晶圆厂和设备制造商寻求以更高的精度和速度识别晶圆图像中的缺陷模式，高级机器学习开始进入良率提高方法。

每个月，晶圆制造厂通过检查、计量和测试产生数千万张晶圆级图像。工程师必须分析这些数据以提高良率并剔除不值得处理的晶圆，几十年来他们一直依赖支持这种分析的计算机视觉算法。但是，这些机器学习的早期实现并没有跟上当今复杂的芯片以及对更长寿命内可靠性不断增长的需求。错误分类率很高，导致误报——将好的晶圆识别为坏的——并需要人工参与进行最终评估。

这种错误分类还会降低晶圆厂的产量，从而增加制造成本。此外，对边界图像的人工审查会导致分配了处置任务的操作员或技术人员做出不一致的决定。随着晶体管密度在水平和垂直方向上的增加，这一点尤其明显，从而产生了现有设备可能难以辨别的微妙图案。

为提高准确性，需要根据不同工艺步骤的空间模式对晶圆测试图进行正确分类。反过来，这需要与检查晶片图像类似的计算分析。事实证明，随着晶圆厂工程师开始利用最先进的深度学习方法，准确性和速度的改进意义重大。在使用这些技术的地方，错误分类正在减少，并且对循环中的人类的需求正在减少。

在 2021 年先进半导体制造会议 ( ASMC 2021 ) 上的许多演讲展示了工程师使用先进的机器学习（包括深度学习技术）在晶圆级图像上快速响应产量限制事件，以及提高产品质量和可靠性. 这些方法比过去更广泛地可用，并且底层计算硬件——专为深度学习而设计的 GPU——能够使用大规模并行配置处理数据，这很有帮助。

Synopsys产品营销总监 Anjaneya Thakar 表示：“使用先进的机器学习进行缺陷分类和晶圆处理是一大推动力。“使用更多机器学习的整个推动是由更好的硬件以及改进的软件算法实现的。我们已经能够将图像处理和计算机视觉用于这些检测和处置任务。但先进的机器学习可以发现新趋势。”

除此之外，某些市场（尤其是汽车、医疗和军用/航空）对消除潜在缺陷的需求也在不断增长。在这里，分析晶圆图像的更先进的方法已经被采用。

“与领先的汽车制造商及其供应商密切合作，使 KLA 更加专注于零缺陷，从而推出了 I-PAT 等新解决方案，帮助他们实现了十亿分之一的目标，”战略合作高级总监杰伊拉特说。克拉。“我们希望在这个市场上不断创新，以实现推动这个不断增长的市场的连接性、自主性和电气化趋势。”

晶圆图像和计算机视觉

所有这些因素——应用程序、更高的复杂性和密度以及新方法——都会增加处理晶圆所需的时间。为了管理这些成本，工程师使用晶圆图像来识别低良率的来源。例如，他们可以使用晶圆图像主动报废晶圆，识别需要返工的晶圆，并标记有问题的设备。

在过去的几十年里，半导体制造商一直依赖计算机视觉，这是机器学习在半导体制造中最早的应用之一。这些系统称为自动光学检测(AOI)，使用信号处理算法来识别宏观和微观物理变形。

缺陷检测为晶圆厂处理步骤提供反馈回路。晶圆测试结果生成 bin 映射（好或坏芯片），也可以作为图像进行分析。它们的数据粒度明显大于来自光学检测工具的像素化数据。然而，晶圆图的测试结果可以匹配光刻期间产生的飞溅和 AOI 系统可能遗漏的处理过程中产生的划痕。因此，晶圆测试图为晶圆厂提供了有用的反馈。

训练计算机视觉机器学习模型需要三个过程步骤（见图 1）。

图 1：计算机视觉机器学习训练步骤。来源 A. Meixner/半导体工程

生成的模型基于好的和坏的晶圆图像。数据预处理可以在特征提取或图像标记之前增强图像。例如，对于 AOI 图像，工程师可以使用过滤器提高图像质量以进一步增强。相比之下，基于晶圆测试图的图像无法从这种过滤中受益，因为每个管芯都被简单地标记为好/坏。

特征提取需要工程师决定模型应该考虑哪些图像特征。例如，通过图像标记，工程师可以为模型命名空间模式以供学习。

机器学习模型从一组训练图像数据开始。然后需要检查算法以确保它正确识别相似的图像。对于晶圆测试图，分类基于晶圆空间模式。对于 AOI 晶圆图像，重点是识别缺陷。需要良好和有缺陷的晶圆图像来训练模型。

“当检测工具捕获图像时，仅缺陷图像就足以了解缺陷的详细信息吗？Onto Innovation销售和客户解决方案总监 Prasad Bachiraju 表示，对于计算图像分类，有两种方法——基于参考和非基于参考. “基于参考的方法将比基于非参考的方法提供更高的缺陷分类准确度，因为缺陷图像与同一晶片上的参考点进行比较。当使用基于非参考的分类时，这减少了晶圆间可变性或批次间可变性可能给缺陷分类带来的挑战。实现基于引用的设计并非没有挑战。大多数系统使用非参考方法，因此人们现在选择使用深度学习。”

当前的 AOI 系统使用传统的计算机视觉机器学习。标记为有缺陷的晶圆需要人工审查，因为它们会产生过多的误报，从而在没有缺陷的情况下检测到缺陷。10% 到 15% 的假阳性数并不少见。人工审核既费时又主观，因此容易出错。在 2007 年的一篇论文中，AMD 和 Rudolph [现在 Onto] 的工程师报告称，经验丰富的运营商之间的一致性为 43%，运营商的可重复性为 93%。

AOI 系统也无法找到晶圆厂工程师关心的所有缺陷。这推动了向高级机器学习技术的转变，以构建更好的检测和分类方法。

“大多数系统使用传统的机器学习算法，” CyberOptics 的首席执行官 Subodh Kulkarni 说。“一旦您查看图像，您就会发现某些传统机器学习看不到的区域存在问题。当您使用深度学习类型的算法时，它们可以检测到所有这些东西。但是他们需要一周的时间来编程和检测它们，这是不切实际的。因此，我们领域的许多创新开始发生在机器学习中，具有更快的深度学习算法，可以更轻松地编程。”

要在这方面取得成功，需要深入了解您试图通过机器学习实现什么目标。

通过深度学习，了解问题并减少解决该问题所需的数据变得更加重要，但晶圆厂和设备供应商正在取得进展。在今年的 ASMC 上，几个工程团队报告了他们成功应用高级机器学习和深度学习技术以及支持迭代学习过程所需的工程工作。虽然深度学习技术可以轻松区分猫和狗，但种类繁多的缺陷模式及其广泛的图像尺寸范围给学习过程带来了挑战。相同的方法也用于晶圆测试仓图和晶圆检测图像，尽管它们的图像在数据粒度方面存在很大差异。

机器学习和晶圆测试地图

自世纪之交以来，工程团队已经使用晶圆测试结果来查看空间模式，从而能够对有问题的设备和工艺步骤进行反馈。通过应用先进的机器学习方法，可以使用来自测试数据的产量特征模式库正确识别模式。反过来，这可以循环回晶圆厂设备。

在他们的 ASMC 2021论文中，GlobalFoundries 工程师将计算机视觉应用中常见的支持向量机学习 ( SVM ) 技术与用于晶圆测试图分类的 4 级深度卷积神经网络 ( CNN ) 进行了比较。他们的目标是提高低产量分类的准确性。

SVM 需要特征工程来促进模型的训练。CNN 需要对现有图像进行训练，并经历了 120 个 epochs/学习周期。使用 12 个不同的晶圆图特征和 300 到 500 个图像，每个图像都由工程师手动标记，两个模型都得到了训练。

图 2：SVM（上图）和 CNN（下图）的十几种晶圆空间模式分类结果。资料来源：格罗方德

对 12 个不同特征的正确分类结果进行平均，CNN 的表现优于 SVM。SVM 解决方案的整体精度为 59%，对图案位置和密度具有高灵敏度，对图案形状的灵敏度较低。相比之下，4 级 CNN 表现出 90% 的整体准确率和对图案形状的高灵敏度。

低产量晶圆具有特定的空间模式，通常可以追溯到特定的工艺步骤。将晶圆图图案分类与晶圆的设备谱系（即处理晶圆的特定设备）相结合，有助于工程师/技术人员查明根本原因。但是，即使制造设施将这些晶圆图图案存储在图案检测库中，也可能会随着当今复杂的系统出现新的图案。

主动检测以前未知的模式可以更快地响应流程问题。这促使 SkyWater Technology 和 Onto Innovation 共同开发解决方案。他们实施了内联空间特征监测解决方案，创建了一种更系统的方法来识别具有新空间模式分组（未知模式）的 4% 的晶圆。

图 3：空间识别引擎的数据输入。资料来源：创新

“我们首先采用机器学习技术对这些未知模式进行自动发现，”SkyWater 的 David Gross 和 Katherine Gramling 以及 Onto 的 Prasad Bachiraju 在他们的 ASMC 2021论文中写道。“这种自动发现过程通过基于 SPR 引擎生成的数百个特征向量对具有相似图案的晶圆进行分组来生成图案帕累托报告。因此，我们最终会得到 Top-n、高影响力、自动发现的模式，以帮助我们理解新的、开始出现或未被注意到的模式。这个过程帮助我们有效地维护了一个全面的模式库，能够对生产问题做出主动响应。”

机器学习和晶圆 AOI 图像

这是一项非平凡的努力。在 AOI 图像上成功实施深度学习模型需要实际图像领域的专业知识（即寻找变色或图案形状）和开发机器学习算法的专业知识。由于缺陷尺寸范围广泛和图像分类种类繁多，晶片图像数据提出了独特的图像检测和分类挑战。为了训练高级机器学习模型，最终使用了数十万张图像。然后由工程师/技术人员在学习周期之间检查结果，他们了解图像处理和检测到的缺陷。

在两篇 ASMC 2021论文中，作者详细描述了创建模型的前期投资。不过，在这两种情况下，这些投资都证明是值得的。由此产生的模型显着改善了检测和分类。

GlobalFoundries 工程团队分享了他们在光刻工艺中应用高级机器学习的结果。对于光刻工艺的在线控制，晶圆厂在光阻显影（也称为显影后检查或 ADI）后使用 AOI 来检测点缺陷和涂层缺陷。一旦检测到，涂层缺陷可以通过从受影响的晶片上去除所有抗蚀剂并在蚀刻之前重复光刻步骤来修复。如果错过，在晶圆测试中产量影响非常明显。

图 4：晶圆测试结果图（绿色为好）描绘了与光刻胶显影缺陷相关的图案。来源 GlobalFoundries

通过 100% 检验，ADI 以大于 30 微米的分辨率寻找宏观层面的变化。这种检测的检测方法依赖于颜色差异，但它们对微弱的颜色缺乏敏感性。虽然可以训练和调整商用计算机视觉 ML 模型以提高灵敏度和选择性，但它们的误报率很高。

GlobalFoundries 开发了一种新方法来增加对微弱图像的检测并减少误报结果。首先，它使用图像均衡来增加微弱缺陷区域的可见性。

图 5：微弱涂层缺陷的 ADI 图像 a) 原始图像，b) 图像均衡后。资料来源：格罗方德

接下来，它在学习周期之间使用了先进的机器学习和可解释的人工智能方法。这提供了关于为什么初始预测结果在晶圆边缘的图像失败的重要见解，包括误报和漏报。

GlobalFoundries 的研究人员写道：“我们的注意力被吸引到了 ADI 图像的维度以及 ML 系统如何管理这些维度。” “调查图像尺寸发现 ADI 提供了广泛的图像尺寸（许多高达 4,256，但大多数低于 2,240 像素）；并且 ML 系统使用裁剪图像到最大 x 或 y 维度为 2,240 像素。这种裁剪是一个问题，因为如果维度太大和/或缺陷靠近边缘，则发送到模型进行预测的 ML 训练集中的图像可能会从图像中删除缺陷。”

他们通过将所有图像的尺寸按比例缩放到最大 x/y 尺寸 2,240 像素来修复图像裁剪。

不过，晶圆图像分类和更高级的机器学习算法并不仅仅局限于亚微米工艺技术。Hitachi ABB Power Grids 的工程师也在ASMC 2021 上分享了他们的努力。同样为了减少误报和增加检测，他们开发了一种复杂的深度学习方法，用于在来自五种不同功率器件的晶圆图像中发现的缺陷，包括双极IGBT和功率二极管，用于高压应用（1.2kV 至 6.5kV）。

由于要检测的缺陷类型的范围以及某些缺陷类型的罕见/独特发生，他们选择使用对象检测方法而不是图像分类方法。他们需要检测的缺陷图像大小从几十到几十万像素不等。前者由于它们的大小——占总图像的 0.01% 到 0.1%，因此存在很大的检测挑战。非常大的缺陷超过了图像尺寸，导致 AOI 工具对图像进行裁剪。

通过选择较小的图像进行分析，他们报告说该模型更容易学习图像背景，从而减少了误报。通过他们的对象检测方法，他们将基于区域的 CNN 与主动学习和迁移学习相结合，从而能够使用仅 500 到 2,500 个示例的训练集来检测小缺陷。经过 6 个学习周期，总共 2431 个训练样例，分类结果的精度为 0.98，召回率为 0.80。精度等于真阳性与预测阳性的比率，而召回率等于真阳性与实际阳性的比率。

更多内容

使用晶圆检查图像或晶圆仓图，工程目标从根本上围绕解释晶圆图像以采取主动行动来提高产量和质量。

“您从晶圆厂的检查和测量工具中获取的数据量非常大。因此，您需要机器学习技术来检查这些数据，找出趋势并在出现问题时发出警告，”Synopsys 的 Thakar 说。“图像成为这些模型的绝佳训练工具。机器学习解决了硅制造中一个非常关键的问题：如何查看所有这些数据并找出哪些是良率效应，哪些不是。回答这个问题会推动使用机器学习和深度学习来执行缺陷分析。”

结论

晶圆厂工程团队正在采用更复杂的机器学习算法进行晶圆图像审查，因为这些方法可以实现更好的分类和检测指标。设计用于加速使用神经网络、开源图像库的计算硬件以及增加的 CNN 经验，通常有助于他们采用这些方法。

预计未来晶圆厂工程团队会开发先进的机器学习模型。