facebook有多强大（facebook好吗）

机器之心报道

编辑：陈萍

你在纸上写个词，AI 只要看一眼就能模仿你的笔迹，还是看起来毫无破绽的那种。

Facebook 近日公布了一项新的图像 AI——TextStyleBrush，该技术可以复制和再现图像中的文本风格。

借助该技术，你只需要输入一个词作为「标准」，AI 就能全篇模仿你的书写风格，一键执行，效果可谓惊艳。

此外，你还可以用它替换不同场景中的文字。下图中左侧为原始场景图像，单词显示在蓝色矩形中；右侧为文本替换后的图像。

从图中可以看出，各种风格的字体 AI 几乎都能 hold 住。下图中每个图像对在左边显示输入源样式，在右边显示新内容，左右两端字体看起来风格完全相同。与源图像相比，输出的图像在外观上似乎都有些模糊，但我们可以看到，在大多数情况下，该技术似乎工作得很好。

与其他字迹模仿 AI 相比，TextStyleBrush 功能更强大，可以从更细微的角度分析文字样式，从而做到在各种角度和背景下进行字迹模仿。

下图是酱油瓶替换为茶瓶 中实现逼真的语言翻译。通过公布这项研究所具有的能力、方法和结果，研究者希望推动对话和研究，以发现这类技术的潜在应用，如深度假文本攻击——这是人工智能领域的一大挑战。

由于 TextStyleBrush 也可能被用来制作误导性的图像，所以 Facebook 的 CTO 在个人社交网站表示，他们只发布了论文和数据集，但没有公开代码。并表示正如我们对 deepfakes 的方法一样，我们认为共享研究和数据集将有助于构建检测系统并提前预防攻击。

可以学习文本风格表征的 TextStyleBrush

用 AI 生成图像一直在以惊人的速度发展，这种生成技术能够重现历史场景，或者将照片变成梵高等绘画风格。现在，Facebook AI 已经建立了一个可以替换场景和手写文本风格的 AI，只需要一个单词作为输入。

虽然大多数 AI 系统都可以完成定义明确的、专门的任务，但构建一个足够灵活的 AI 系统，以理解现实场景中文本和手写体的细微差别，具有很大的挑战。这意味着需要了解众多的文本样式，不仅包括不同的字体和书写风格，而且也包括不同的转换，如旋转、弯曲的文字以及图像噪声等问题。

Facebook AI 提出了 TSB架构。该架构以自监督的方法进行训练，没有使用目标风格监督，只使用了原始风格图像。该框架可以自动地寻找图片真实风格。在训练时，它假设每个词框有真实值；推理时，它采用单一源样式图像和新内容，并生成带有目标内容的源样式的新图像。

该生成器架构是基于 StyleGAN2 模型。然而，它有两个重要的限制：

首先，StyleGAN2 是一个无条件模型，这意味着它通过对一个随机的潜在向量进行采样来生成图像。但 TextStyleBrush 必须要生成指定文本的图像。

其次，TextStyleBrush 生成的文本图像风格不受控制。文本风格涉及全局信息，以及精细的比例信息组合分类器、文本识别器和对抗式鉴别器来保留源风格和目标内容。首先，研究者通过使用预训练的字体分类网络来评估生成器捕获输入文本风格的能力。另外，他们使用预训练文本识别网络来评估生成图像的内容，以反映生成器捕获目标内容的效果。总而言之，这种方法能够对训练进行有效的自监督。

实验

表 2 提供了评估不同损失函数、风格特征扩展以及训练 TSB 时 mask 的作用消容实验结果。实验结果显示，TextStyleBrush 生成的图片在 MSE上大幅降低，PSNR、SSIM均获得了提高。

表 3 是在三种数据集图像上测得的文本识别准确率。实验结果显示，TSB 的识别效果蕞好，在 IC13 上的识别准确率为 97.2%，IC15 上的识别准确率为 97.6%，TextVQA 上的识别准确率为 95.0%。

表 4 提供了生成的手写文本的定量比较，将 TSB 方法与 Davis 等人 [14] 专门为生成手写文本而设计的 SotA 方法进行了比较。FID 分数越低，生成质量越好。显然，TSB 方法优于以前的工作。

TextStyleBrush 证明了 AI 在文字上面可以比过去更加灵活、准确地识别，但这项技术仍然存在许多问题，如无法模仿金属表面的字符或彩色字符等， Facebook 希望这项研究能继续扩展，突破翻译、自主表达和 deepfake 研究之间的障碍等。

失败案例。

参考链接：

https://ai.facebook.com/blog/ai-can-now-emulate-text-style-in-images-in-one-shot-using-just-a-single-word

海外精品引流脚本–最强海外引流  

官网：www.facebook18.com

唯一TG：https://t.me/Facebook181818