变形金刚6（变形金刚3）

随着围绕 GPT3、DALLE、PaLM 等的疯狂炒作，现在也许是本文撰写的蕞佳时机。

翻开这些天的机器学习新闻，你会看到变形金刚随处可见。

自推出以来，Transformers 已经席卷了深度学习的世界。虽然它们传统上与自然语言处理相关联，但 Transformer 现在也被用于计算机视觉管道中。就在蕞近几周，我们已经在计算机视觉的一些疯狂应用中看到了 Transformer 的使用。因此，Transformers 似乎将取代卷积神经网络 用于通用计算机视觉任务。

DALL·E：从文本创建图像确实突破了许多被认为是可能的界限。

然而，Facebook AI 的研究人员有一些东西要补充。在他们的论文“ A ConvNet for the 2020s ”中，作者认为 Transformers 在视觉相关任务中的表现优于 CNN 的很大一部分原因是 Transformers 使用的高级训练协议。因此，通过改进模型周围的管道，他们认为我们可以缩小 Transformer 和 CNN 之间的性能差距。用他们的话来说，

在这项工作中，我们重新检查了设计空间并测试了纯 ConvNet 所能达到的极限。我们逐渐将标准 ResNet “现代化”为视觉 Transformer 的设计，并在此过程中发现了导致性能差异的几个关键组件。

结果非常有趣，它们表明 CNN在某些任务中甚至可以胜过Transformer。这更多地证明了您的深度学习管道可以通过更好的训练得到改进，而不是简单地使用更大的模型。在本文中，我将介绍他们论文中的一些有趣发现。但首先要了解 Transformer 和 CNN 的一些背景，以及每种架构在计算机视觉任务中的优势。

详细内容请看：Facebook AI 与变形金刚展开较量。

海外精品引流脚本–最强海外引流  

官网：www.facebook18.com

唯一TG：https://t.me/Facebook181818