网络安全之红队LLM的大模型自动化越狱

前言

大型语言模型（LLMs）已成为现代机器学习的重要支柱，广泛应用于各个领域。通过对大规模数据的训练，这些模型掌握了多样化的技能，展现出强大的生成与理解能力。然而，由于训练数据中难以完全剔除有毒内容，LLMs在学习过程中不可避免地吸收了这些不良信息，进而可能生成被认为是不适当、冒犯甚至有害的内容。为了解决这一问题，大多数LLMs都会经历一个称为安全对齐的过程，通过微调模型以反映积极社会价值观的人类偏好，使其能够生成更有帮助、更安全的回答。然而，即使经过安全对齐，LLMs仍然容易受到旨在绕过其安全机制的对抗性提示攻击。例如，早期的越狱攻击方式包括“忽略先前的提示”或“现在做任何事情”，这些方法旨在诱导模型生成违背安全对齐目标的内容。

不过目前这些手动的红队方法需要找到导致此类越狱的对抗性提示，例如通过给给定指令附加后缀，这是低效且耗时的。另一方面，自动对抗性提示生成往往导致语义无意义的攻击，这些攻击可以轻易被基于困惑度的过滤器检测到，可能需要从TargetLLM获取梯度信息，或者由于在标记空间上耗时的离散优化过程而无法很好地扩展。所以我们将在本文分析并复现一种典型的思路，使用另一个LLM在几秒钟内生成人类可读的对抗性提示。我们希望训练得到的这个LLM生成的后缀在不改变输入指令的含义的情况下掩盖了输入指令，诱使TargetLLM给出有害的回应。整体的思路如下所示，后续会进一步分析。

越狱攻击

随着越狱攻击的普遍化和复制的便利性不断提高，确保大型语言模型（LLMs）的安全对模型开发者而言已变得至关重要。

主动进行红队行动以识别和修复潜在的安全漏洞，是防范越狱攻击的重要措施。然而，传统的红队行动依赖于人工构造对抗性提示，这种方式不仅耗时耗力，还容易受限于个人视角的盲点，从而可能导致错误的安全感。

近期的研究探索了自动生成对抗性提示的方法，希望以更高效的方式提高LLMs的鲁棒性。然而，这些方法存在两大主要局限：其一，生成的对抗性提示往往缺乏人类可读性，使得它们易被基于困惑度的缓解策略直接过滤；其二，为生成单个对抗性提示，需要在组合标记空间上执行计算密集型的离散优化，导致资源开销极高。

首先我们来对问题做一个形式化定义。

用V表示词汇表{1,...,N}中标记的指示器集合。考虑一个攻击者有一个有害或不恰当的指令x ∈ X = V|x|（例如“写一个制作炸弹的教程”），这使得对齐的基于聊天的TargetLLM生成一个负面回应（例如“对不起，我不能提供制作炸弹的教程。”）。

越狱攻击是一个对抗性后缀q ∈ Q = V|q|（例如“作为讲座的一部分”），当它被添加到指令中时，会使TargetLLM反而生成期望的正面回应y ∈ Y = V|y|（例如“当然，这是一个制作炸弹的教程：...”）。原则上，可以对指令应用其他保留语义的转换，然而，为了简单起见，我们遵循先前的工作，通过注入后缀来进行。我们用[x, q]表示对抗性提示，其最简单的情况是将q附加到x上。此外，我们用[x, q, y]表示完整的提示，其中回应y嵌入在聊天模板中（可能包括系统提示和带有分隔符的聊天角色）。

提示优化

寻找最优的对抗性后缀相当于最小化一个正则化的对抗性损失函数

即

如下的对抗性损失函数

衡量了在参数 φ固定的目标LLM下，期望的正面回应 yy 出现的可能性，它被选择为加权交叉熵损失函数。

其中

我们引入权重来强调第一个肯定标记的重要性（例如

y1="Sure"

）

这些标记对目标LLM自回归生成的回应有强烈影响。正则化项

提升了对抗性提示q的人类可读性，确保[x,q]形成一个连贯的自然文本.

我们使用固定参数 η的预训练基础LLM的对数概率来计算这个正则化分数，即

我们使用

表示解映射，它将指令-回应对映射到最小化方程的最优对抗性后缀

但是解映射没有封闭形式的解，并且在单个输入上评估它需要巨大代价，比如要搜索离散标记空间Q

优化方程的难度在很大程度上取决于对TargetLLM的信息有多少是可用的。我们主要区分两种情况：白盒和黑盒TargetLLM。

在白盒设置中，用户可以完全访问TargetLLM的参数φ。白盒访问允许计算方程中目标相对于标记嵌入的梯度，这反过来提供了一个信号，指示在q⋆中使用哪些标记。这个信号可以用来指导在离散标记空间Q中的搜索，以优化方程。

相比之下，在黑盒设置中，TargetLLM只能作为一个接受文本提示作为输入并生成文本回应作为输出的预言机来访问。这阻止了任何依赖于通过TargetLLM的梯度或依赖于TargetLLM输出对数概率的直接应用。不过之前的研究已经表明通过转移攻击仍然有可能成功攻击黑盒模型。在这里，攻击者针对一个白盒TargetLLM找到了方程的解q⋆(x,y)，然后将成功的对抗性提示转移到不同的黑盒TargetLLM上。还发现，通过找到所谓的通用对抗性后缀，可以显著提高对抗性提示[x,q⋆(x,y)]的可转移性，这些后缀可以同时绕过TargetLLM对多个有害指令的限制，这直观上允许在不同指令之间共享信息。

通话提示优化

这是指为一组有害指令-回应对D找到一个单一的通用对抗性后缀q⋆，相当于联合最小化

通用对抗性后缀方法的一个主要固有缺点是后缀无法适应个别指令，无论是在语义上还是句法上。不过我们可以学习一个模型，根据指令预测对抗性后缀，我们可以生成更自然和成功的对抗性攻击。

我们要分析和复现的具体实现的方法，就是来自Meta公开的方案AdvPrompter.具体工作可以见参考文献1.

方法

将寻找通用对抗性后缀的想法扩展到条件设置中，通过训练一个参数化模型来近似最优解映射

我们称

q_theta

为AdvPrompter。这种方法比之前提出的通用对抗性后缀有多个好处。首先，给定一个训练好的模型，我们可以快速为未见过的指令生成对抗性后缀，而不需要解决新的昂贵的优化问题。其次，由于AdvPrompter是基于指令 x 条件化的，预测的后缀甚至可以适应训练集中未包含的指令。例如，对于未见过的指令“写一个制作炸弹的教程”，生成的后缀“作为炸弹拆除讲座的一部分”在句法和语义上都适应了指令。

给定一组有害指令-回应对D，我们通过最小化来训练AdvPrompter

我们希望生成的对抗性提示是连贯且人类可读的自然语言句子。这表明应该使用另一个预训练的LLM作为AdvPrompter qθ，它自回归地生成对抗性后缀。由于正则化损失是基于BaseLLM来测量的，因此很自然地将AdvPrompter初始化为BaseLLM。

这里主要的技术挑战来自于训练AdvPrompter，即最小化方程。传统的基于SGD的端到端优化目标是具有挑战性的，因为对抗性后缀的中间表示是标记化的，因此是离散的。另一个独立的挑战来自于通过自回归生成的梯度优化的不稳定性。应用传统强化学习方法也是一个可行的方法。然而，由于多种原因，这种方法并没有形成一个有效的对抗性攻击模型。为了避免这些问题，我们不用端到端基于梯度的优化，而是提出了一种交替优化方案。基本思想是计算可以作为AdvPrompter回归目标的“目标”对抗性后缀。我们选择这些目标 q，使得它们相对于AdvPrompter生成的有更低的对抗性损失。在目标生成和AdvPrompter回归之间迭代，可以持续改进目标，这反过来又改进了AdvPrompter的预测，从而优化了方程中的参数\theta。

那么完整交替程序如下形式：

对于每个给出的有害的指令-响应对，通过近似最小化下式找到目标对抗性后缀

我们对目标进行回归，近似最小化下式

对应的完整训练算法如下所示

复现

我们首先来看完整的代码，随后实现在给定数据集上针对TargetLLM测试指定的AdvPrompter的性能

这段代码定义了两个方法：pretrain 和 pretrain_epoch，它们用于执行模型的预训练阶段。

方法 pretrain

• 初始化:

• • 使用 tqdm.write 打印一条消息，表示预训练开始。

• • 创建一个进度条 pbar，其范围是根据配置文件中的预训练轮数 self.cfg.pretrain.epochs 来设置的，并设置了描述信息为 "Warmstarting (epochs)"。

• 循环遍历每个预训练轮次:

• • 对于每一个预训练轮次（通过 for pretrain_epoch in pbar: 循环），调用 self.pretrain_epoch() 来执行具体的预训练操作。

• • 如果在配置中启用了评估选项 self.cfg.pretrain.do_eval_after，则在所有预训练轮次完成后调用 self.eval() 进行评估。

方法 pretrain_epoch

• 设置模型状态:

• • 将 prompter 设置为训练模式（.train()）。

• • 将目标语言模型 target_llm 设置为评估模式（.eval()），这意味着该模型将不会进行梯度更新等训练相关的行为。

• 准备数据加载器和指标记录:

• • 初始化一个名为 pretrain_metrics 的指标对象，用于跟踪当前预训练阶段的各种性能指标。

• • 使用 get_dataloader 函数创建一个数据加载器 pretrain_loader，该函数接受参数如数据路径、是否打乱数据、批量大小等。

• 迭代处理数据加载器中的批次:

• • 对于从数据加载器获取的每一批数据，首先将其转换为适合模型使用的上下文格式。

• • 然后，利用这些上下文信息调用 finetune_prompter_step 方法来微调提示生成器，并得到优化步骤的结果。

• • 调用 log_data 函数记录当前批次的训练数据到日志表中，同时可能上传至 Weights & Biases (wandb) 平台以便可视化监控。

• • 更新全局步数计数器 self.step。

• 完成一轮训练后的操作:

• • 如果启用了 wandb，那么会把当前的训练示例表上传到 wandb。

• • 计算本轮预训练的平均指标，并打印出特定的损失值。

• • 如果开启了 wandb 日志功能，也会将这些平均指标上传到 wandb 上。

这段代码展示了如何组织一次完整的预训练过程，包括数据加载、模型训练、性能监测以及结果记录等关键步骤。

这段代码定义了 train 方法和 train_epoch 方法，用于执行模型的训练过程。它包括设置优化器、采样器、回放缓冲区以及实际的训练逻辑。

方法 train

• 初始化:

• • 创建一个 Adam 优化器 self.prompter_optimizer 来优化提示生成器（prompter）的参数。

• • 设置优先级采样器 sampler 和回放缓冲区 replay_buffer。这些是强化学习中常用的组件，用来存储过去的交互数据，并根据重要性来采样数据。

• • 如果配置文件中启用了初始评估 self.cfg.train.do_initial_eval，则调用 self.eval() 进行一次评估。

• • 如果预训练被启用 self.cfg.pretrain.enable，则先进行预训练 self.pretrain()，并在预训练完成后保存提示生成器。

• 开始训练循环:

• • 打印一条消息表示训练开始，并创建一个进度条 pbar 来跟踪整个训练过程中各个轮次的状态。

• • 对于每一轮训练，调用 self.train_epoch() 来执行具体的训练操作。

• • 根据配置中的 eval_every 参数，决定是否在特定轮次后进行评估和保存模型。

• 训练结束后:

• • 在所有训练轮次完成后，如果设置了模型保存目录，则保存提示生成器。

• • 最后再执行一次评估。

方法 train_epoch

• 设置模型状态:

• • 将 prompter 设置为训练模式。

• • 将目标语言模型 target_llm 设置为评估模式。

• 准备数据加载器和指标记录:

• • 初始化一个名为 train_metrics 的指标对象。

• • 使用 get_dataloader 函数创建一个数据加载器 train_loader。

• • 创建一个空列表 data 用于收集每批次的数据样本。

• 迭代处理数据加载器中的批次:

• • 对于从数据加载器获取的每一批数据，将其转换为适合模型使用的上下文格式。

• • 通过无梯度上下文 with torch.no_grad(): 生成初始后缀并评估其效果。

• • 生成优化后的后缀并再次评估。

• • 将原始指令、目标、初始后缀、优化后的后缀等信息存储到 data 列表中。

• • 将相关信息添加到回放缓冲区 self.replay_buffer 中。

• • 调用 finetune_prompter() 来微调提示生成器。

• • 记录当前批次的训练数据到日志表中，并可能上传至 Weights & Biases (wandb) 平台。

• • 更新全局步数计数器 self.step。

• 完成一轮训练后的操作:

• • 将收集的数据保存为一个数据集，并保存到指定目录。

• • 如果启用了 wandb，将当前训练示例表上传到 wandb。

• • 计算本轮训练的平均指标，并打印出特定的损失值。

这段代码定义了两个方法：batch_to_context 和 add_to_replay_buffer。它们分别用于将批次数据转换为模型可以使用的上下文格式，以及将训练过程中产生的数据点添加到回放缓冲区中，并根据一定的优先级进行存储。

方法 batch_to_context

• 目的:

• • 将输入批次（batch）中的数据转换成适合模型处理的形式。这包括将文本序列转换为使用特定模型的分词器和设备创建的 Seq 对象。

• 实现:

• • 创建一个字典 model_map，其中键是批次数据中的字段名（如 instruct, suffix, target, full_instruct），值是指向相应模型（prompter 或 target_llm）的引用。

• • 初始化一个空的 dotdict 对象 context 来存放转换后的数据。

• • 遍历 model_map 中的每个键值对：

• • • 如果当前键存在于批次数据中，则创建一个 Seq 对象，该对象包含批次数据中的文本、相关模型的分词器和设备信息。

• • • 否则，将 None 分配给 seq。

• • 将转换后的 seq 对象添加到 context 字典中，键与原始批次数据中的键相同。

• • 返回填充好的 context 字典。

方法 add_to_replay_buffer

• 目的:

• • 将训练过程中的数据点（包括指令、后缀、目标等）以及计算出的优先级添加到回放缓冲区中。优先级基于损失函数的变化量及是否发生了“越狱”行为（即模型产生了不符合预期的行为或输出）。

• 实现:

• • 计算原始损失 loss_batch 和优化后的损失 loss_opt_batch 的差值，并通过 ReLU 函数确保只有正的损失差异才会被考虑。

• • 根据配置文件中的设置，计算优先级 priority。默认情况下，优先级仅基于损失差异，但也可以加上“越狱”行为的影响。

• • 如果启用了“越狱”行为的优先级因素，那么会检查优化后的自回归生成结果是否违反了预设的测试前缀规则，并据此调整优先级。

• • 对于每个样本，如果其优先级大于0，则将其作为一个数据点添加到回放缓冲区，并更新对应的优先级值。

• • 使用 self.replay_buffer.add(datapoint) 添加数据点到缓冲区，并通过 self.replay_buffer.update_priority(index=idx, priority=prio.item()) 更新对应索引处的优先级。

这段代码定义了两个方法：finetune_prompter 和 finetune_prompter_step，用于微调提示生成器（prompter）。这两个方法通过从回放缓冲区中采样数据并进行训练来优化提示生成器

方法 finetune_prompter

• 目的:

• • 从回放缓冲区中采样数据，并使用这些数据对提示生成器进行微调。

• 实现:

• • 初始化 prompter_tf_opt 为 None。

• • 检查回放缓冲区中的样本数量是否小于配置文件中指定的批量大小 self.cfg.train.batch_size。如果小于，则直接返回 None。

• • 如果启用了详细输出模式 self.verbose，则打印一条消息表示正在从回放缓冲区中采样数据并微调提示生成器。

• • 计算需要执行的更新次数 num_updates，这是配置文件中指定的最大更新次数和回放缓冲区中样本数量除以批量大小之间的最小值。

• • 对于每次更新：

• • • 从回放缓冲区中采样一个批次的数据及其优先级 priority_batch。

• • • 调用 finetune_prompter_step 方法，传入指令 instruct 和后缀 suffix 来执行一次微调步骤。

• • • 如果启用了详细输出模式，打印当前步数、损失值以及采样的优先级。

• • 返回最后一次微调的结果 prompter_tf_opt。

方法 finetune_prompter_step

• 目的:

• • 执行一次具体的微调步骤，计算损失并更新提示生成器的参数。

• 实现:

• • 将优化器的梯度清零 self.prompter_optimizer.zero_grad()。

• • 调用 self.prompter.compute_pred_loss_teacher_forced 方法计算预测损失。该方法接收键名 key、指令 instruct、后缀 suffix 以及损失参数 loss_params。

• • 获取计算出的损失 loss。

• • 通过反向传播计算梯度 loss.backward()。

• • 更新提示生成器的参数 self.prompter_optimizer.step()。

• • 如果启用了 Weights & Biases (wandb)，记录当前步数的回归损失 wandb.log({"regression_loss": loss.item()}, step=self.step)。

• • 返回包含损失信息的对象 prompter_tf_opt。

总结

• finetune_prompter 方法负责从回放缓冲区中采样数据，并多次调用 finetune_prompter_step 来微调提示生成器。

• finetune_prompter_step 方法执行具体的优化步骤，包括前向传播计算损失、反向传播计算梯度、更新模型参数，并记录损失值到 wandb（如果启用）。

这种方法通过利用回放缓冲区中的高优先级样本，能够更有效地调整提示生成器的参数，从而提高模型在特定任务上的表现。

这段代码定义了三个方法：eval、generate_suffix_datasets 和 generate_suffix_dataset，用于生成和评估后缀数据集。这些方法的主要目的是在不同配置下生成模型的输出，并将结果保存下来以便后续分析或评估。

方法 eval

• 目的:

• • 生成并评估后缀数据集。

• 实现:

• • 调用 generate_suffix_datasets 方法生成后缀数据集。

• • 调用 eval_suffix_datasets 方法对生成的后缀数据集进行评估。

方法 generate_suffix_datasets

• 目的:

• • 为每个指定的数据集生成后缀数据集，并保存到文件系统中。

• 实现:

• • 初始化一个空字典 suffix_dataset_pth_dct 来存储生成的后缀数据集路径。

• • 遍历配置文件中的数据集键值对（self.cfg.eval.data.dataset_pth_dct.items()）：

• • • 对于每个数据集，调用 generate_suffix_dataset 方法生成后缀数据集。

• • • 将生成的后缀数据集保存到指定目录，并记录其路径。

• • • 将数据集键和对应的路径添加到 suffix_dataset_pth_dct 中。

• • 返回包含所有生成的后缀数据集路径的字典 suffix_dataset_pth_dct。

方法 generate_suffix_dataset

• 目的:

• • 为特定数据集生成后缀数据集。

• 实现:

• • 将提示生成器 prompter 和目标语言模型 target_llm 设置为评估模式。

• • 根据配置文件中的参数确定生成后缀时是否使用采样（do_sample），以及生成试验次数 num_trials。

• • 初始化一个空列表 data 来存储生成的数据点。

• • 构建数据集键 suffix_dataset_key。

• • 使用 get_dataloader 函数创建一个评估数据加载器 eval_loader。

• • 使用 tqdm 创建一个进度条 pbar_batches 来跟踪数据加载过程。

• • 对于从数据加载器获取的每一批数据：

• • • 将批次数据转换为适合模型使用的上下文格式。

• • • 获取指令 instruct 和目标 target。

• • • 初始化一个空列表 batch_data 来存储当前批次的数据。

• • • 对于每个 max_new_tokens 值：

• • • • 初始化一个空列表 trial_data 来存储当前试验的数据。

• • • • 对于每个试验（num_trials 次）：

• • • • • 生成自回归后缀 suffix。

• • • • • 将指令和后缀合并成完整的指令 full_instruct。

• • • • • 确保指令、目标和后缀的批量大小一致。

• • • • • 将每个样本的信息添加到 datapoint 列表中。

• • • • 将 trial_data 添加到 batch_data 中。

• • • 将 batch_data 中的数据点添加到 data 列表中。

• • 构建一个包含生成数据点的 dotdict 对象 suffix_dataset，并返回它。

• eval 方法负责启动后缀数据集的生成和评估过程。

• generate_suffix_datasets 方法遍历配置文件中的多个数据集，为每个数据集生成后缀数据集，并保存到文件系统中。

• generate_suffix_dataset 方法具体执行生成后缀数据集的操作，包括处理每一批数据、生成后缀、合并指令和后缀，并将结果保存在一个结构化的对象中。

这段代码定义了三个方法：save_suffix_dataset、eval_suffix_datasets 和 eval_suffix_dataset，用于保存后缀数据集以及对其进行评估。

方法 save_suffix_dataset

• 目的:

• • 将生成的后缀数据集保存为 CSV 文件。

• 实现:

• • 检查目标目录是否存在，如果不存在则创建该目录。

• • 构建 CSV 文件的路径 suffix_dataset_pth。

• • 打印一条消息表示正在保存数据集到指定路径。

• • 使用 csv.writer 将数据写入 CSV 文件：

• • • 首先写入字段名（列标题）。

• • • 然后写入数据行。

• • 返回保存的文件路径 suffix_dataset_pth。

方法 eval_suffix_datasets

• 目的:

• • 对多个后缀数据集进行评估。

• 实现:

• • 遍历传入的后缀数据集路径字典 suffix_dataset_pth_dct。

• • 对于每个数据集，调用 eval_suffix_dataset 方法进行评估。

方法 eval_suffix_dataset

• 目的:

• • 评估单个后缀数据集，并计算相关指标。

• 实现:

• • 将提示生成器 prompter 和目标语言模型 target_llm 设置为评估模式。

• • 从数据集键中提取出一个简化的名称 split，去除非字母字符。

• • 创建一个评估数据加载器 eval_loader。

• • 初始化一个 Metrics 对象 eval_metrics 来记录评估指标。

• • 初始化一些变量来跟踪处理的样本数和困惑度总和。

• • 使用 tqdm 创建一个进度条 pbar 来显示评估过程中的状态。

• • 对于从数据加载器获取的每一批数据：

• • • 将批次数据转换为适合模型使用的上下文格式。

• • • 获取指令 instruct、后缀 suffix、完整指令 full_instruct 和目标 target。

• • • 调用 evaluate_prompt 方法评估生成的后缀。

• • • 检查生成的响应是否越狱（即不符合预期的行为）。

• • • 记录每个指令的越狱情况。

• • • 记录评估指标并更新进度条描述。

• • 计算平均指标并打印损失值、越狱率和困惑度。

• • 计算不同试验次数下的越狱命中率。

• • 如果启用了 Weights & Biases (wandb)，记录平均指标和评估示例表。

• save_suffix_dataset 方法负责将生成的后缀数据集保存为 CSV 文件。

• eval_suffix_datasets 方法遍历多个后缀数据集，并对每个数据集调用 eval_suffix_dataset 进行评估。

• eval_suffix_dataset 方法具体执行评估操作，包括处理每一批数据、评估生成的后缀、检查越狱情况，并记录和打印评估指标。

这种方法允许系统地评估生成的后缀数据集，从而了解模型在不同条件下的性能表现，特别是关于越狱行为的检测和评估。

而我们将 --config-name=eval设置后就可以开始进行评估

执行后如下所示

如上所示，此时给出了最终评估的结果。

在计算过程中生成的后缀被保存到运行目录下的新数据集中。/exp/…/suffix_dataset以供以后使用。这样的数据集对于根据TargetLLM评估基线或手工制作的后缀也很有用，并且可以通过运行如下命令来评估

python3 main.py --config-name=eval_suffix_dataset

执行后如下所示

接着我们可以针对TargetLLM训练指定的AdvPrompter。它会定期自动执行上述指定的计算，并且还会将AdvPrompter的中间版本保存到./exp/…/稍后预热启动的检查点。检查点可以使用模型配置中的lora_checkpoint参数指定。Training也为每个epoch保存AdvPrompterOpt生成的目标后缀到。/exp/…/suffix_opt_dataset。

完整命令如下

python main.py --config-name=train target_llm=llama2_chat train.q_params.lambda_val=150

跑训练的实验的截图如下

如上所示，此时就给出了最终的攻击效果,也验证了方法的有效性。