【NeRF和NLP】一些观察感悟,碎碎念

2024-02-02 12:20
文章标签 感悟 nlp 观察 nerf 碎碎念

本文主要是介绍【NeRF和NLP】一些观察感悟,碎碎念,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

NeRF的paper,有几个感想:

  1. NeRF读的时候感觉和diffusion思路特别像,训练目标是一个很小很小的子步骤,大大简化了训练难度
  2. NeRF建模的是“真实”世界,其用模型隐含的存储了真实世界的体素(场)模型,而模型输出二维图片的方法本质上和模型所建模的内容无关(采用的是体素渲染的方式)。 【对比大语言模型】大语言模型也是隐藏的建模了人类知识,但是大语言的模型输出并没有和模型的内容独立开来。
  3. NeRF存储真实世界的体素信息,但真实体素信息是没办法被直接监督训练的,所以采用了真实世界的在特定输入下(某个相机视角)的输出(平面投影的多组2D图片输出)进行监督训练 【对比大语言模型】大语言模型建模的真实是什么呢?是人类的知识库。大语言模型的知识在训练过程中也没被直接监督优化,取而代之的是,通过这些知识在特定输入下(上下文语境)的输出(语言输出),进行监督训练。 【对比现代控制系统】估算系统内部状态的采用的方法就是观察其在特定输入下产生输出的关系。
  4. 【考虑到NLP的幻觉问题】NeRF是在一组图片中训练,得到这个世界的真实,这就需要保证这个训练集合是一致的。Tim他测试的在同一时间拍下了一组子弹时间照片在NeRF训练的结果特别差,输出会出现模糊、碎片和错误,这些问题产生的原因是他们并没有严格的做到拍摄时间是确切相同的,而且被拍摄对象还在高速运动。这就导致了NeRF的训练数据不是同一个“真实”【联系】这样输出的碎片感觉就是NLP领域的幻觉,大模型用于监督的输出来源过于广泛,很难保证是同一个“真实”,这个“真实”随着时间变化,随着阐述者变化。【解决】NeRF最简单的解决办法是,换更好的数据集带来统一的“真实”。但是这个代价对于训练大语言模型来说就是清洗数据集,这个过于昂贵。很多解决幻觉的方法是变着法子prompt,既然是“真实”下幻觉的碎片,相同语义不同的prompt其实是在这个“真实”附近采样,如果是幻觉的碎片,那么输出将会不稳定,这也是Major Vote可以某种程度上改善幻觉的一种解释。【开始胡说八道】如果直接check训练好的NeRF模型的体素密度,我们可以轻松发现哪里的“真实”有碎片,甚至可以通过删除/调整这些碎片改善模型。这个对应到NLP又很像知识编辑。我们知道现实物体应该有怎么样的形状,这个先验可以指导我们,但是我们不知道知识的形状。阿巴阿巴阿巴

这篇关于【NeRF和NLP】一些观察感悟,碎碎念的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/670693

相关文章

Python实现NLP的完整流程介绍

《Python实现NLP的完整流程介绍》这篇文章主要为大家详细介绍了Python实现NLP的完整流程,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 编程安装和导入必要的库2. 文本数据准备3. 文本预处理3.1 小写化3.2 分词(Tokenizatio

【转载】ACM感悟

今天看了一篇我们学校前辈的ACM的感悟,觉得写的十分有道理,这里转载,文章还会不断的改进和更新。 原文链接:http://www.cnblogs.com/Chierush/p/3760870.html?ADUIN=1339764596&ADSESSION=1401536826&ADTAG=CLIENT.QQ.5329_.0&ADPUBNO=26349 声明:本文是写给弱校ACM新手的一点

【python 走进NLP】两两求相似度,得到一条文本和其他文本最大的相似度

应用场景: 一个数据框里面文本,两两求相似度,得到一条文本和其他文本最大的相似度。 content source_id0 丰华股份军阀割据发生的故事大概多少w 11 丰华股份军阀割据发生的故事大概多少 22 丰华股份军阀割据发生的故事大概多少 33 丰华股份军阀割据发生的故事大概多少

【Python 走进NLP】NLP词频统计和处理停用词,可视化

# coding=utf-8import requestsimport sysreload(sys)sys.setdefaultencoding('utf-8')from lxml import etreeimport timetime1=time.time()import bs4import nltkfrom bs4 import BeautifulSoupfrom

【java 走进NLP】simhash 算法计算两篇文章相似度

python 计算两篇文章的相似度算法simhash见: https://blog.csdn.net/u013421629/article/details/85052915 对长文本 是比较合适的(超过500字以上) 下面贴上java 版本实现: pom.xml 加入依赖 <dependency><groupId>org.jsoup</groupId><artifactId>jsoup</a

【python 走进NLP】simhash 算法计算两篇文章相似度

互联网网页存在大量的重复内容网页,无论对于搜索引擎的网页去重和过滤、新闻小说等内容网站的内容反盗版和追踪,还是社交媒体等文本去重和聚类,都需要对网页或者文本进行去重和过滤。最简单的文本相似性计算方法可以利用空间向量模型,计算分词后的文本的特征向量的相似性,这种方法存在效率的严重弊端,无法针对海量的文本进行两两的相似性判断。模仿生物学指纹的特点,对每个文本构造一个指纹,来作为该文本的标识,从形式上来

【python 走进NLP】文本相似度各种距离计算

计算文本相似度有什么用? 1、反垃圾文本的捞取 “诚聘淘宝兼职”、“诚聘打字员”…这样的小广告满天飞,作为网站或者APP的运营者,不可能手动将所有的广告文本放入屏蔽名单里,挑几个典型广告文本,与它满足一定相似度就进行屏蔽。 2、推荐系统 在微博和各大BBS上,每一篇文章/帖子的下面都有一个推荐阅读,那就是根据一定算法计算出来的相似文章。 3、冗余过滤 我们每天接触过量的信息,信息之间存在大量

【python 走进NLP】句子相似度计算--余弦相似度

余弦相似度,又称为余弦相似性,是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值,绘制到向量空间中,如最常见的二维空间。 github 参考链接:https://github.com/ZhanPwBibiBibi/CHlikelihood # -*- coding: utf-8 -*-import jiebaimport numpy as npimpor

【python 走进NLP】从零开始搭建textCNN卷积神经网络模型

无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。人工智能教程 1、众所周知,tensorflow 是一个开源的机器学习框架,它的出现大大降低了机器学习的门槛,即使你没有太多的数学知识,它也可以允许你用“搭积木”的方式快速实现一个神经网络,即使没有调节太多的参数,模型的表现一般还

【UE4源代码观察】观察Core模块

话题 Core模块是整个引擎中最核心的模块,在之前的博客【UE4源代码观察】可视化所有模块的依赖情况中有统计,它被983个模块引用,恐怕除了第三方的模块外基本所有模块都有引用。我想首先观察其中的内容,然后再做测试:将Core模块拷贝到之前【UE4源代码观察】手动建立一个使用UBT进行编译的空白工程建立的空白工程中,看能否将它成功编译,理论上讲,“核心”不应再依赖太多其他的东西,所以我应该不会再需