通透专题
一文通透DeepSeek-V2(改造Transformer的中文模型)：从DeepSeek LLM到DeepSeek-V2的MLA与MoE
前言 成就本文有以下三个因素 24年5.17日，我在我司一课程「大模型与多模态论文100篇」里问道：大家希望我们还讲哪些论文 一学员朋友小栗说：幻方发布的deepseek-v224年5.24日，我司一课程「大模型项目开发线上营1」里的一学员朋友问我：校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的 我当
开放式耳机是什么意思？开放式对比入耳式耳机的音质更通透
开放式耳机是一种无需入耳的蓝牙耳机。它主要提供的是一种自然、开放的音频体验，并且无需封耳，能维持佩戴者对外界的感知和环境的联系。这种耳机并不需要深入耳道，但又能清晰听清耳机传来的内容，所以在佩戴方面会更加舒适。 开放式耳机它的作用原理是以他的发声形式来定义的，主要就是骨传导和气传导： 开放式运动耳机推荐 1.南卡OE MIX 推荐指数：★★★★★ 一句话推荐：千元之内性能巅峰款，
Android 自定义view完全解析--带你通透了解自定义view
参考转自郭霖博客带你一步步深入了解View系列 Android LayoutInflater原理分析 相信接触Android久一点的朋友对于LayoutInflater一定不会陌生，都会知道它主要是用于加载布局的。而刚接触Android的朋友可能对LayoutInflater不怎么熟悉，因为加载布局的任务通常都是在Activity中调用setContentView()方法来完成
Adaptive leakthrough ANC自适应通透ANC调试快速上手3
1.在MDE中通过命令控制，让耳机进入到ANC tuning状态，在ancdesigner工具中连接成功； 2.前面Mision mode的方法中得到5各录音文件，生产相应的missin model; Adaptive leakthrough ANC自适应通透ANC调试快速上手 3.在file->configration中设置FB为Filter_PEQ手动调试，可以将优化的频
玩通透 全面解析Windows双系统引导菜单
现在，使用双系统的朋友可不在少数，在开机时，系统会显示一个双引导菜单让我们选择欲进入的操作系统（图1），如果不选择的话，将会在30秒后自动引导高度条所在的操作系统。不过，你对双引导菜单到底了解多少呢？ 一、双引导是如何实现的 当系统加电自检通过后（POST），BIOS将根据用户事先设置的引导顺序从硬盘或软驱或光驱进行启动，例如硬盘启动是首先将主引导记录读入内存，然
通透！一万字的统计学知识大梳理~
来源：PMCAFF，作者：大山里人 大家好，我是小z 今天给大家分享一篇独具韵味的统计学知识梳理 道德经云：”道生一，一生二，二生三，三生万物“。学习知识亦是如此，一个概念衍生出两个概念，两个概念演化出更小的子概念，接着衍生出整个知识体系。 笔者结合自己对统计学和概率论知识的理解写了这篇文章，有以下几个目标。 目标一：构建出可以让人理解的知识架构，让读者对这个知识体系一览无余目标二：尽l量阐
一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba
前言 不知读者发现没有，本文标题的信息含量很大，比如 出来了一个新的序列模型：Mamba，其基于SSM或S4发展为S6(S4 models with a selection mechanism and computed with a scan)，其对应的论文为《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》该M
Photoshop制作通透的紫色宝石字
效果图由两部分构成，纹理及高光。纹理部分基本上不需要处理，直接用纹理素材。高光部分稍微复杂一点，需要把文字多复制几层，并把填充改为0，然后分别设置样式增加高光即可。最终效果 1、创建一个新的文档，宽度600，高度340。 2、创建调整图层，选择“渐变”，然后进行以下更改，并创建你的背景。 3、现在使用Photoshop文字工具，创建你的文字，白色的颜色。这是我们正在制作
【BSP视频教程】STM32H7视频教程第13期：系统讲解Cortex-M7内核MPU和Cache，理解通透(2022-04-17)
视频教程汇总帖：https://www.armbbs.cn/forum.php?mod=viewthread&tid=110519 本期视频教程为大家分享BSP驱动教程第13期。 系统讲解Cortex-M7内核MPU和Cache，理解通透。初学时容易无法形成系统的认识，说到某一个知识点也明白，但是具体到Cache读写操作的时候是怎么个流程，就懵了，本期视频教程就帮大家捋顺这个问题。 MPU和
通透理解FlashAttention与FlashAttention2：全面降低显存读写、加快计算速度
前言 成就本文有两个因素 第一个因素是，我带长沙的LLM项目团队做论文审稿GPT这个项目时，遇到了不少工程方面的问题(LLM方面的项目做多了，你会逐步发现，现在模型没啥秘密 技术架构/方向选型也不是秘密，最终都是各种工程细节的不断优化)，比如数据的问题，再比如大模型本身的上下文长度的问题 前者已经得到了解决，详见此文《学术论文GPT的源码解读与微调：从ChatPaper到七月论文审稿GPT第1
面试必备！回归模型最强总结，内容太通透了！
昨天发布了关于分类算法的一些总结，不少人给予了反馈。 令我没想到的是，居然足足有一半的人想要看关于回归的总结，今天它来了！~ 先来进行一个简单的介绍，回归算法的重要性体现在其能够建立特征与目标之间的关系模型，实现预测、关系分析和特征重要性评估等多方面的应用。通过回归分析，我们能够理解变量之间的趋势、检测异常值、为决策提供支持，并在时间序列中进行趋势分析，为数据科学和实际问题提供有力的工具。
一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)
前言 不知读者发现没有，本文标题的信息含量很大，比如 出来了一个新的序列模型：Mamba，其基于SSM或S4(Structured State Space for Sequence Modeling，连起来4个S，故简称S4)发展为S6(S4 models with a selection mechanism and computed with a scan)，其对应的论文为《Mamba: L
2024仿制药注册审批流程＜一文讲通透＞
随着医药科技的进步和创新，仿制药在世界范围内得到了广泛应用。仿制药是指在原研药品专利保护期满后，依据原研药品的临床试验数据和技术文献，通过科学合理的方法，生产出与原研药品具有相同质量、安全性和有效性的药品。仿制药的注册申报是仿制药上市前的重要环节，本文将介绍仿制药注册申报的流程和要求。 简化流程：前期调研→研发阶段→注册资料整理→申报递交和核查审评 前期项目调研准备工作： 在进行仿制药
一文通透Text Embedding模型：从text2vec、openai-ada-002到m3e、bge
前言 如果说半年之前写博客，更多是出于个人兴趣 + 读者需要，那自我司于23年Q3组建LLM项目团队之后，写博客就成了：个人兴趣 + 读者需要 + 项目需要，如此兼备三者，实在是写博客之幸运矣 我和我司更非常高兴通过博客、课程、内训、项目，与大家共同探讨如何把先进的大模型技术更好、更快的落地到各个行业的业务场景中，赋能千千万万公司的实际业务 而本文一开始是属于：因我司第三项目组「知识库问答项
程序员为何厌恶写文档，看完我彻底通透了...
本文转载公众号：不会笑青年，授权转载请联系微信(laughyouth369)。 作者：不会笑青年 漫画师：Summer 推荐阅读点分享点收藏点点赞点在看
第一次有人把Android 23种设计模式讲的这么通透，给大佬跪了！
前言 我曾经也有个决心，想把23种设计模式全部记住，但总是背了又忘，忘了又继续背，总是记不住。虽然网上有一大堆教学，分析，自己写一遍，比看十遍深刻多了。顺便学几个单词。话说回来，我们无时无刻都在根据设计模式写代码。 设计模式的七大原则 尽量用最简单的话描述 1、开闭原则（Open Closed Principle） 对类的扩展是开放，对修改关闭。 在程序需要扩展的时候，对于一个类，不要去
CSS特效024：旋转的通透立方体
CSS常用示例100+专栏目录 本专栏记录的是经常使用的CSS示例与技巧，主要包含CSS布局，CSS特效，CSS花边信息三部分内容。其中CSS布局主要是列出一些常用的CSS布局信息点，CSS特效主要是一些动画示例，CSS花边是描述了一些CSS相关的库、知识点、理论篇章等。 因为常用所以记录、展示、分享，希望能给您带来帮助。 文章目录 效果图源代码CSS基础知识点结尾语
一文通透位置编码：从标准位置编码、欧拉公式到旋转位置编码RoPE
前言 关于位置编码和RoPE 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现的)，但自觉写的不是特别透彻好懂再后来在我参与主讲的类ChatGPT微调实战课中也有讲过，但有些学员依然反馈RoPE不是特别好理解 考虑到只要花足够多的时间 心思 投入，没有写不清楚的，讲课更是如此，故为彻底解决这个位置编码/RoPE的问题，我把另外两篇
干货 | 通透理解Elasticsearch聚合
Elasticsearch 最少必要知识实战教程直播回放 使用Elasticsearch的过程中，除了全文检索，或多或少会做统计操作，而做统计操作势必会使用Elasticsearch聚合操作。 类似mysql中group by的terms聚合用的最多，但当遇到复杂的聚合操作时，往往会捉襟见肘、不知所措… 这也是社区中聚合操作几乎每天都会被提问的原因。 本文基于官方文档，梳理出聚
通透的人生看风轻云淡，苦乐自由切换
爱默生（1803-1882），美国19世纪哲学家、诗人、散文家。他是确立美国文化精神的代表人物，被冠以“美国文艺复兴领袖”之美誉，美国前总统林肯称他为“美国的孔子”、“美国文明之父”。 文 | 爱默生 节选自《爱默生文集》 1/25 历经世故的人是一定不会爱好虚荣的，这便是他们的标志。他们不进行演讲，低调做人，避免任何夸夸其谈；他们衣着俭朴，从来都不空许诺言；他们做事认真严谨，做得多，说得少
通透理解FlashAttention与FlashAttention2：让大模型上下文长度突破32K的技术之一
前言 成就本文有两个因素 第一个因素是，我带长沙的LLM项目团队做论文审稿GPT这个项目时，遇到了不少工程方面的问题(LLM方面的项目做多了，你会逐步发现，现在模型没啥秘密 技术架构/方向选型也不是秘密，最终都是各种工程细节的不断优化)，比如数据的问题，再比如大模型本身的上下文长度的问题 前者已经得到了解决，详见此文《学术论文GPT的源码解读与微调：从chatpaper、gpt_academi
CI/CD和 DevOps还在傻傻分不清吗？今日一文让你通透
基本概念 持续集成 （Continuous Intergration） 持续集成的重点在于构建编译及测试，开发人员每天要提交很多次代码到分支，在分支合并到主干前，需要通过编译和测试识别出问题。持续集成的流程就是通过自动化的构建（主要是构建编译、自动化测试）来验证，从而尽早地发现集成错误。 持续集成的核心意义：通过自动化测试尽早的发现代码的问题。 持续交付 （C
全网最通透：MySQL 的 redo log 保证数据不丢的原理
总会有面试官问：你知道 MySQL 如何保障数据不丢的吗？实际上这个问题是十分不准确的，MySQL 保障数据不丢的手段可太多了。但通常面试官想听的内容就是 redo log 两段式提交是如何保障数据不丢的。（不过个人感觉这么说还是不太准确） 所谓「redo log」，意即「重做日志」，也就是用来恢复数据用的日志。所谓「两段式提交」，也被称作「两阶段提交」（Two-Phase Commit，简称
知乎上48条神回复，针针见血，看完整个人通透多了
1、“别让孩子输在起跑线上”有道理吗？ 答：一辈子都要和别人去比较，是人生悲剧的源头。 2、交朋友的标准是什么？ 答：出世的智者，入世的强者，或者正常而阳光的普通人。 3、怎么反驳“你行你上啊”的逻辑？ 答：“我评论个电冰箱，自己还得会制冷啊？” 4、做哪些事情可以提升生活品质？ 答：定期扔东西。 5、结婚以后两个人在一起最重要的是什么？ 答：就当这婚还没结。 6、把
ChatGLM2-6B的通透解析：从FlashAttention、Multi-Query Attention到GLM2的微调、源码解读
目录 前言 第一部分 相比第一代的改进点：FlashAttention与Multi-Query Attention 第二部分 FlashAttention：减少内存访问提升计算速度——更长上下文的关键 2.1 FlashAttention相关的背景知识 2.1.1 Transformer计算复杂度：编辑——Self-Attention层与MLP层 2.1.1.1 Self-Atte