生成性AI的快速发展在隐私和安全方面带来了前所未有的挑战，引发了对监管干预的紧迫呼吁。

上周，我有机会在华盛顿特区与一些国会议员及其工作人员讨论AI与安全相关的影响。

今天的生成性AI让我想起80年代末的互联网，基础研究、潜在潜力和学术用途，但它还没有为公众做好准备。这一次，不受约束的供应商野心，受到小联盟风险资本的推动和Twitter回声室的激励，正在快速推进AI的“美丽新世界”。

“公共”基础模型存在缺陷，不适用于消费者和商业用途；隐私抽象，即使存在，也像筛子一样泄漏；安全结构非常重要，因为攻击面和威胁向量仍在被理解中。至于虚幻的护栏，说得越少越好。

那么我们是怎么到这里的？安全和隐私怎么了？

“妥协”的基础模型

“开放”模式有时也会存在局限性。不同的供应商通过开放模式权重、文档或测试的访问来宣传他们的开放程度。尽管如此，没有一个全主要供应商提供接近训练数据集或其清单或血统的信息，以便能够够复制和重新现他们的模型。

如果你想使用一个或多个模型来训练数据集，那么你作为消费者或组织，没有任何能力来验证或确认数据污染的程度，无论是关于知识产权、版权等，还是作为非法内容。

关键的是，没有训练数据集的清单，就无法验证或确认不存在的恶意内容。恶意行为者，包括国家资助的行为者，在网络上植入特洛伊木马内容，这些内容如果在模型训练期间被摄取，导致在推理时产生不可预测和潜在的恶意副作用。

记住，一旦模型被妥协，就没有方法让它忘记，唯一的选择是销毁它。

“无孔不入”的安全问题

生成式AI模型是终极安全蜜罐，因为“所有”数据都被摄取到一个容器中。在AI时代出现了出现了新的攻击向量类别；该行业尚未理解这些模型如何从网络威胁中得到保护，以及这些模型如何被网络威胁行为者用作工具的影响。

恶意提示注入技术可能被用来污染索引；数据投毒可能被用来破坏权重；嵌入攻击，包括反转技术，可能被用来从嵌入中提取丰富的数据；成员推断可能被用来确定某些数据是否在训练集中，等等，这只是冰山一角。

威胁行为者可能通过模型反转和程序化查询，来获得机密数据的访问权限；他们可能破坏或以其他方式影响模型的潜在行为；而且，正如前面提到的，大规模失控的数据摄取会导致通过特洛伊木马等方式嵌入国家支持的网络活动威胁。

“泄漏”的隐私

AI模型之所以有用，是因为它们所训练的数据集；不加区别地大规模数据摄取，为个人和公众带来了前所未有的隐私风险。在AI时代，隐私已成为社会关注的问题；主要解决个人数据权利的法规是不够充分的。

除了静态数据之外，动态对话的提示也必须被视为知识产权来保护和维护。如果你是一名消费者，参与与模型共同创造一个工件，你希望你引导这个创造活动的提示，不会被用来训练模型或与其他模型消费者共享。

如果你是一名员工，使用模型来实现业务成果，你的雇主期望你的提示保密；此外，提示和响应需要一个安全的审计跟踪，以防任何一方出现责任问题。这主要是由于这些模型的随机性以及其响应随时间的变化。

接下来会发生什么？

我们正在处理一种前所未有的技术，这种技术在我们的计算机历史中是独一无二的，它展现出了规模化的涌现性和潜在行为；过去用于安全、隐私和保密的方法已经不再适用。

行业领导者将谨慎抛在了脑后，监管者和政策制定者别无选择，只能选择介入。