Secure Transformer Inference Made Non-interactive

本文主要是介绍Secure Transformer Inference Made Non-interactive，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.概述

我们提出了NEXUS，这是第一个用于安全变压器推理的非交互式协议，其中客户端只需要提交加密输入并等待服务器的加密结果。NEXUS的核心是两种创新技术:SIMD密文压缩/解压缩和SIMD槽折叠。因此，与标准普尔24年提出的最先进的解决方案相比，我们的方法实现了2.8倍的加速和368.6倍的显著带宽减少。

第一个用于安全变压器推理的非交互式协议比最先进的带宽减少368倍;
用于密文打包的SIMD密文压缩和解压缩技术;
SIMD插槽折叠技术，有效地操作SIMD密文的插槽;
全面的实施和评估。

2.Attention

在这里插入图片描述

2.1 Matrix multiplication (ciphertext-plaintext).

在这里插入图片描述

2.2 Matrix multiplication (ciphertext-ciphertext)

$Q = [[E n c (q_{00}), E n c (q_{01}), E n c (q_{02})], [E n c (q_{10}), E n c (q_{11}), E n c (q_{12})]]$
$K^T = [[Enc(k₀₀), Enc(k₁₀)],[Enc(k₀₁), Enc(k₁₁)],[Enc(k₀₂), Enc(k₁₂)]]$

对于 Q 的第一行和 K^T 的第一列：

计算逐元素乘积:
$E n c (u_{0}) = [E n c (q_{00}) ⊙ E n c (k_{00}), E n c (q_{01}) ⊙ E n c (k_{00}), E n c (q_{02}) ⊙ E n c (k_{00})]$
对逐元素乘积结果进行累加:
$s_{0} = E n c (u_{00}) + E n c (u_{01}) + E n c (u_{02})$

2.3 Placement of bootstrapping

NEXUS 是基于 RNS-CKKS 的，这是一种分层同态加密方案，允许在任何计算路径上最多进行 𝐿 次乘法操作。一旦密文的级别变得太低，就需要进行bootstrapping以将其刷新到更高的级别，从而使更多的乘法操作成为可能。由于引导操作代价高昂，因此其放置对整体性能至关重要。
在这里插入图片描述

3.SIMD密文压缩和解压缩

我们将 C 打包成多项式并将其发送给 S。通过这种方式，我们将通信成本从 $N^{'}$ 个密文减少到一个单独的密文。
在这里插入图片描述
$p(x)=a_0+a_1x+a_2x^2+...+a_{N^{'}-1}X^{N^{'}-1}$

在这里插入图片描述

4.SIMD槽折叠

在这里插入图片描述
因此，我们的解决方案只需要 $l o g N - 1$ 个旋转

在这里插入图片描述

5.实验结果

在这里插入图片描述矩阵乘法。图7显示了局域网中多个输入的MatrixMul(参见算法6)的平摊代价。考虑到ChatGPT经常在单个响应中生成数百个单词，𝑡= 256将是合理的输入数量。NEXUS的平摊运行时间(256个输入)为2.26秒，比Iron快15.9倍，比BOLT快3.3倍。当输入的数量增加到1024个时(这也是很常见的)，NEXUS表现出更大的性能优势。具体来说，它在运行时和通信方面的性能分别比BOLT高4.8倍和2.6倍。

端到端性能大致上是微基准的汇总。另外，Iron 和 BOLT 需要执行安全截断来防止溢出，因为它们将浮点数缩放为整数。相比之下，NEXUS 利用 RNS-CKKS 避免了截断的需要，后者支持浮点数，但会导致bootstraping操作。具体来说，NEXUS 的端到端工作流程如图 3 所示。图 8 显示了端到端性能（针对 128 个输入进行摊销）。值得注意的是，NEXUS 仅消耗 164MB 带宽，比 Iron 减少了 1737.5 倍，比 BOLT 减少了 368.6 倍。就端到端运行时间而言，NEXUS 仍然比 Iron 快高达 11.6 倍，比 BOLT 快 2.8 倍。
在这里插入图片描述

表 4 列出了 NEXUS 中每个单独操作的运行时间，以及它们对应的比例。引导操作是整个过程中最耗时的部分，需要 315 秒，占总运行时间的 37.72%。在引导操作之后，Softmax 和 GELU 是接下来最耗时的部分，分别占总运行时间的 21.72% 和 20.92%。

在这里插入图片描述
准确性。我们使用来自 GLUE 基准 [50] 的 4 个数据集进行准确性评估，GLUE 基准是对于 BERT 和基于 GPT 的转换器广泛采用的评估指标。其中三个数据集涉及到 BERT-base：RTE、SST-2 和 QNLI，都涉及分类任务。剩下的数据集，儿童图书测试(CBT)，属于GPT，通过让GPT从完形测试的10个选项中预测正确的单词来评估准确性。如表5所示，与明文推理相比，NEXUS达到了相当的精度水平。
在这里插入图片描述