speculative专题

MapReduce的 Speculative Execution机制

如果10台机器,同时运行10个Mapper,9台都干完了,就1台始终没有提交。 调度器就会着急了,它就会找到这个机器运行的数据,和这个数据的副本在哪儿,再其他有副本的机器上开个任务, 谁先计算完,我就先收集谁的数据。

2024年1月16日Arxiv热门NLP大模型论文:Multi-Candidate Speculative Decoding

大幅提速NLP任务,无需牺牲准确性!南京大学提出新算法,大幅提升AI文本生成效率飞跃 引言:探索大型语言模型的高效文本生成 在自然语言处理(NLP)的领域中,大型语言模型(LLMs)已经证明了它们在各种任务上的卓越能力,从语言理解到文本生成,再到跨多种NLP任务和开放领域的泛化能力。然而,这些模型在自回归地生成文本时往往耗时较长。为了加快它们的速度,研究者们提出了一种名为“推测性解码”(spe

Speculative Oracles on Memory Tagging

1 引言 PACMAN [1] 的结果引发了对推测机制对 Arm MTE 安全性的关切。 MTE 代表 Memory Tagging Extension [1],它实现了基于锁和密钥的内存访问。可以在每 16 字节的内存上设置 4 位的分配标签(或锁),只有在地址包含匹配的地址标签(或密钥)时才允许对锁定位置进行访问。 Arm MTE 可用于检测内存安全性违规,并有可能增强对某些攻击的鲁

ChatGLM大模型推理加速之Speculative Decoding

目录 一、推测解码speculative decoding 1、自回归解码 2、speculative decoding 3、细节理解 二、核心逻辑代码 1、算法流程代码 2、模型自回归代码 a、带缓存的模型自回归实现代码 b、优化版本带缓存的模型自回归实现代码 c、ChatGLM的past_key_values的回滚 三、效果实测 1、效果对比 2、解

InvisiSpec Making Speculative Execution Invisible in the Cache Hierarchy

InvisiSpec: Making Speculative Execution Invisible in the Cache Hierarchy 摘要: 推测式执行对微架构的任何状态改变都可能会泄露信息论文提出了InvisiSpec,通过在数据缓存的层级结构中使得推测执行不可见,从而抵御硬件的推测攻击。主要是阻断了利用数据缓存进行隐蔽信道或侧信道来传递推测式load泄露的数据 在invisi

Spectre Attacks Exploiting Speculative Execution-1

Spectre Attacks: Exploiting Speculative Execution 摘要: 推测式执行在如何执行方面是不可靠的,因为它可以访问受害者的内存和寄存器,并且可以执行具有可测量的副作用的操作幽灵攻击:诱导受害者在执行在正确的程序执行过程中不会发生的推测性操作,并通过一个侧信道将受害者的敏感数据泄露出去论文提出了一种实用的攻击方法,通过结合侧信道攻击,fault攻击和R

【Flink】FLIP-249: Flink Web UI Enhancement for Speculative Execution

1.动机 翻译:https://cwiki.apache.org/confluence/display/FLINK/FLIP-249%3A+Flink+Web+UI+Enhancement+for+Speculative+Execution 作为FLIP-168和FLIP-224的后续步骤,在启用投机执行机制的情况下,需要对Flink Web UI进行增强,以便显示相关信息。 2.公共接