hyenadna专题

LLM生成模型在生物基因DNA应用:HyenaDNA

参考: https://github.com/HazyResearch/hyena-dna 整体框架基本就是GPT模型架构 不一样的就是𝖧𝗒𝖾𝗇𝖺𝖣𝖭𝖠 block ,主要是GPT的多重自注意力层引入了cnn 特征向量提取 # python huggingface.py #@title Single exampleimport jsonimport osim