LLM在SFT之后会产生大量的冗余参数(delta参数)，阿里团队提出DARE方法来消除delta参数，并将其合并到PRE模型中，从而实现多源模型能力的吸收。 DARE无需GPU重新训练，其思路非常简单，就跟dropout类似： m t ∼ Bernoulli ⁡ ( p ) δ ~ t = ( 1 − m t ) ⊙ δ t δ ^ t = δ ~ t / ( 1 − p ) θ D A R

第二次参加Game Jam，第一次参加Ludum Dare。在开发该游戏时，我学习游戏开发110天了。 项目源码：https://github.com/SamuelQZQ/Ludum-Dare-41-Double-Fly 项目游戏主页：https://ldjam.com/events/ludum-dare/41/double-fly 我们最终的得分如下。看了一下，Jam组排名内的一共约1200