七个很酷的GenAI LLM技术性面试问题

2024-05-25 16:20

本文主要是介绍七个很酷的GenAI LLM技术性面试问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

不同于互联网上随处可见的传统问题库,这些问题需要跳出常规思维。

大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能,并在诸多行业中推动了效率和创新性的提升,成为企业保持竞争力的关键。

然而,尽管GenAI和LLM越来越常见,但我们依然缺少能深入理解其复杂性的详细资源。职场新人在进行GenAI和LLM功能以及实际应用的面试时,往往会觉得自己像是陷入了未知领域。

为此,我们编写了这份指导手册,收录了7个有关GenAI & LLM的技术性面试问题。这份指南配有深入的答案,旨在帮助您更好地迎接面试,以充足的信心来应对挑战,以及更深层次地理解GenAI & LLM在塑造人工智能和数据科学未来方面的影响和潜力。

1. 如何在Python中使用嵌入式字典构建知识图谱?

一种方法是使用哈希(Python中的字典,也称为键-值表),其中键(key)是单词、令牌、概念或类别,例如“数学”(mathematics)。每个键(key)对应一个值(value),这个值本身就是一个哈希:嵌套哈希(nested hash)。嵌套哈希中的键也是一个与父哈希中的父键相关的单词,例如“微积分”(calculus)之类的单词。该值是一个权重:“微积分”的值高,因为“微积分”和“数学”是相关的,并且经常出现在一起;相反地,“餐馆”(restaurants)的值低,因为“餐馆”和“数学”很少出现在一起。

在LLM中,嵌套哈希可能是embedding(一种将高维数据映射到低维空间的方法,通常用于将离散的、非连续的数据转换为连续的向量表示,以便于计算机进行处理)。由于嵌套哈希没有固定数量的元素,因此它处理离散图谱的效果远远好于矢量数据库或矩阵。它带来了更快的算法,且只需要很少的内存。

2. 当数据包含1亿个关键字时,如何进行分层聚类?

如果想要聚类关键字,那么对于每一对关键字{A, B},你可以计算A和B之间的相似度,获悉这两个词有多相似。目标是生成相似关键字的集群。

Sklearn等标准Python库提供凝聚聚类(agglomerative clustering),也称为分层聚类(hierarchical clustering)。然而,在这个例子中,它们通常需要一个1亿x 1亿的距离矩阵。这显然行不通。在实践中,随机单词A和B很少同时出现,因此距离矩阵是非常离散的。解决方案包括使用适合离散图谱的方法,例如使用问题1中讨论的嵌套哈希。其中一种方法是基于检测底层图中的连接组件的聚类。

3. 如何抓取像Wikipedia这样的大型存储库,以检索底层结构,而不仅仅是单独的条目?

这些存储库都将结构化元素嵌入到网页中,使内容比乍一看更加结构化。有些结构元素是肉眼看不见的,比如元数据。有些是可见的,并且也出现在抓取的数据中,例如索引、相关项、面包屑或分类。您可以单独检索这些元素,以构建良好的知识图谱或分类法。但是您可能需要从头开始编写自己的爬虫程序,而不是依赖Beautiful Soup之类的工具。富含结构信息的LLM(如xLLM)提供了更好的结果。此外,如果您的存储库确实缺乏任何结构,您可以使用从外部源检索的结构来扩展您的抓取数据。这一过程称为“结构增强”(structure augmentation)。

4. 如何用上下文令牌增强LLM embeddings?

Embeddings由令牌组成;这些是您可以在任何文档中找到的最小的文本元素。你不一定要有两个令牌,比如“数据”和“科学”,你可以有四个令牌:“数据^科学”、“数据”、“科学”和“数据~科学”。最后一个表示发现了“数据科学”这个词。第一个意思是“数据”和“科学”都被发现了,但是在一个给定段落的随机位置,而不是在相邻的位置。这样的令牌称为多令牌(multi-tokens)或上下文令牌。它们提供了一些很好的冗余,但如果不小心,您可能会得到巨大的embeddings。解决方案包括清除无用的令牌(保留最长的一个)和使用可变大小的embeddings。上下文内容可以帮助减少LLM幻觉。

5. 如何实现自校正(self-tuning)以消除与模型评估和训练相关的许多问题?

这适用于基于可解释人工智能的系统,而不是神经网络黑匣子。允许应用程序的用户选择超参数并标记他喜欢的那些。使用该信息查找理想的超参数并将其设置为默认值。这是基于用户输入的自动强化学习。它还允许用户根据期望的结果选择他最喜欢的套装,使您的应用程序可定制。在LLM中,允许用户选择特定的子LLM(例如基于搜索类型或类别),可以进一步提高性能。为输出结果中的每个项目添加相关性评分,也有助于微调您的系统。

6. 如何将矢量搜索的速度提高几个数量级?

在LLM中,使用可变长度(variable-length)embeddings极大地减少了embeddings的大小。因此,它可以加速搜索,以查找与前端提示符中捕获到的相似的后端embeddings。但是,它可能需要不同类型的数据库,例如键-值表(key-value tables)。减少令牌的大小和embeddings表是另一个解决方案:在一个万亿令牌系统中,95%的令牌永远不会被提取来回答提示。它们只是噪音,因此可以摆脱它们。使用上下文令牌(参见问题4)是另一种以更紧凑的方式存储信息的方法。最后,在压缩embeddings上使用近似最近邻搜索(approximate nearest neighbor,ANN)来进行搜索。概率版本(pANN)可以运行得快得多,见下图。最后,使用缓存机制来存储访问最频繁的embeddings 或查询,以获得更好的实时性能。

概率近似最近邻搜索(pANN)

根据经验来看,将训练集的大小减少50%会得到更好的结果,过度拟合效果也会大打折扣。在LLM中,选择几个好的输入源比搜索整个互联网要好。对于每个顶级类别都有一个专门的LLM,而不是一刀切,这进一步减少了embeddings的数量:每个提示针对特定的子LLM,而非整个数据库。

7. 从你的模型中获得最佳结果的理想损失函数是什么?

最好的解决方案是使用模型评估指标作为损失函数。之所以很少这样做,是因为您需要一个损失函数,它可以在神经网络中每次神经元被激活时非常快地更新。在神经网络环境下,另一种解决方案是在每个epoch之后计算评估指标,并保持在具有最佳评估分数的epoch生成解决方案上,而不是在具有最小损失的epoch生成解决方案上。

我目前正在研究一个系统,其中的评价指标和损失函数是相同的。不是基于神经网络的。最初,我的评估指标是多元Kolmogorov-Smirnov距离(KS)。但如果没有大量的计算,在大数据上对KS进行原子更新(atomic update)是极其困难的。这使得KS不适合作为损失函数,因为你需要数十亿次原子更新。但是通过将累积分布函数(cumulative distribution)改变为具有数百万个bins参数的概率密度函数(probability density function),我能够想出一个很好的评估指标,它也可以作为损失函数。

这篇关于七个很酷的GenAI LLM技术性面试问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1002013

相关文章

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

SpringBoot启动报错的11个高频问题排查与解决终极指南

《SpringBoot启动报错的11个高频问题排查与解决终极指南》这篇文章主要为大家详细介绍了SpringBoot启动报错的11个高频问题的排查与解决,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一... 目录1. 依赖冲突:NoSuchMethodError 的终极解法2. Bean注入失败:No qu

MySQL新增字段后Java实体未更新的潜在问题与解决方案

《MySQL新增字段后Java实体未更新的潜在问题与解决方案》在Java+MySQL的开发中,我们通常使用ORM框架来映射数据库表与Java对象,但有时候,数据库表结构变更(如新增字段)后,开发人员可... 目录引言1. 问题背景:数据库与 Java 实体不同步1.1 常见场景1.2 示例代码2. 不同操作

如何解决mysql出现Incorrect string value for column ‘表项‘ at row 1错误问题

《如何解决mysql出现Incorrectstringvalueforcolumn‘表项‘atrow1错误问题》:本文主要介绍如何解决mysql出现Incorrectstringv... 目录mysql出现Incorrect string value for column ‘表项‘ at row 1错误报错

如何解决Spring MVC中响应乱码问题

《如何解决SpringMVC中响应乱码问题》:本文主要介绍如何解决SpringMVC中响应乱码问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC最新响应中乱码解决方式以前的解决办法这是比较通用的一种方法总结Spring MVC最新响应中乱码解

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意:要选择cp(python版本)和你py

解决Java中基于GeoTools的Shapefile读取乱码的问题

《解决Java中基于GeoTools的Shapefile读取乱码的问题》本文主要讨论了在使用Java编程语言进行地理信息数据解析时遇到的Shapefile属性信息乱码问题,以及根据不同的编码设置进行属... 目录前言1、Shapefile属性字段编码的情况:一、Shp文件常见的字符集编码1、System编码

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

Redis解决缓存击穿问题的两种方法

《Redis解决缓存击穿问题的两种方法》缓存击穿问题也叫热点Key问题,就是⼀个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击,本文给大家介绍了Re... 目录引言解决办法互斥锁(强一致,性能差)逻辑过期(高可用,性能优)设计逻辑过期时间引言缓存击穿:给

Java程序运行时出现乱码问题的排查与解决方法

《Java程序运行时出现乱码问题的排查与解决方法》本文主要介绍了Java程序运行时出现乱码问题的排查与解决方法,包括检查Java源文件编码、检查编译时的编码设置、检查运行时的编码设置、检查命令提示符的... 目录一、检查 Java 源文件编码二、检查编译时的编码设置三、检查运行时的编码设置四、检查命令提示符