论文综述|AI生成式内容(AIGC)的架构、安全威胁和监管方案

作者: Yuntao Wang and Yanghe Pan and Miao Yan and Zhou Su and Tom H. Luan

论文链接: https://arxiv.org/pdf/2305.18339.pdf

随着ChatGPT等大型人工智能（AI）模型的广泛应用，AI生成式内容（AI-Generated Content, AIGC）引起了全球范围内的广泛关注，正引领着内容创作和知识表达的范式转变。AIGC利用生成式AI大模型，根据用户提供的提示，以更快的速度和更低的成本辅助或替代人类创建大规模、高质量、类似人类的内容。尽管AIGC最近取得了重大进展，但仍需解决来自安全、隐私、伦理和法律方面的挑战。

西安交大研究团队推出的最新综述《A Survey on ChatGPT: AI-Generated Contents, Challenges, and Solutions》，本文深入调研了AIGC范式的工作原理、安全和隐私威胁、最新解决方案以及未来挑战。具体而言，首先探讨了AIGC的使能技术、体系架构，并讨论了其工作模式和关键特性。接着，研究了AIGC安全和隐私威胁的分类，并强调了GPT和AIGC技术的伦理和社会影响。此外，回顾了用于可监管AIGC范式的最新AIGC水印技术，包括AIGC模型及其生成的内容。最后，指出了与AIGC相关的相关挑战和未来研究方向。

人工智能生成式内容（AIGC）是指利用生成式人工智能算法，根据用户输入或需求来协助或替代人类以更快的速度和更低的成本创建丰富、个性化、高质量的内容，包括文本（如诗歌）、图像（如艺术品）、音频（如音乐）、视频（如动漫）、增强型训练样本，以及3D互动内容（如虚拟化身、资产和环境）。作为PGC（Professional Generated Content）和UGC（User Generated Content）等传统内容生成范式的补充，AIGC范式具有广泛的应用前景，可以自动、高效、低成本地生产大量高质量内容，这对于元宇宙和数字孪生等各种新兴应用至关重要。

从技术角度看，AIGC通常包括两个阶段：（i）提取和理解用户意图信息；（ii）根据提取的意图生成所需内容。2022年11月，OpenAI发布了ChatGPT，这是一个多功能的语言模型，可以生成代码、编写故事、进行机器翻译、进行语义分析等。截至2023年1月，ChatGPT的日活用户达1300万。ChatGPT是GPT（Generative Pre-training Transformer）的一个变体，它是基于Transformer的大型语言模型（Large Language Model, LLM），可以理解人类语言并创建人类可读的文本（如故事和文章），如图1所示。

1. AIGC的安全威胁主要包括数据中毒攻击、模型中毒攻击、对抗样本、海绵样本、数据准备和注释中的偏见、数据滥用和问责问题、数据收集中的知识产权问题、生成式AI模型的知识产权问题、越狱和提示注入；

2. AIGC 的隐私威胁主要包括广泛的私有数据收集、与AI交互的隐私泄漏、AI Memory中的数据窃取、数据重构攻击、成员推理攻击、数据收集中的隐私合规性、从AI Memory中遗忘和Prompt窃取；

3. AIGC 的信任问题主要包括AIGC生成内容的可信性、AIGC制造虚假内容、冒充威胁、虚假身份威胁和缺乏可解释性。 

4. AIGC 的伦理问题主要包括大量钓鱼邮件生成、即使恶意代码生成、有害和暴力内容生产、智能网络欺诈、对AIGC服务过度依赖和技术垄断风险； 

本文还讨论了应对这些挑战的各种解决方案和方法，例如水印、监管和道德准则。

ChatGPT和AI生成式内容技术的快速兴起带来了内容创造方面的重大进展。然而，它也带来了诸如越狱、数据盗窃、深度伪造和有偏见/有害内容等安全威胁。

为跟上AIGC时代的进展，本综述从安全威胁与防御的角度对AIGC进行了全面的回顾。

本文首先介绍AIGC的工作原理，包括其支撑技术、体系架构、工作模式、关键特征和典型应用。

然后，指出了现有和潜在的GPT和AIGC中的安全/隐私威胁、信任、伦理问题。此外，综述了AIGC的最新监管解决方案，以及当前解决方案的挑战和限制。

最后，讨论了AIGC框架的绿色、可解释、有效性、可问责和设计安全等方面的未来研究方向。

本综述的主要目标是为AIGC提供工作原理、安全/隐私/伦理问题和潜在对策方面的综合洞察，并引领该领域更多的创新举措。