20240325-1-HMM

2024-04-09 00:04
文章标签 hmm 20240325

本文主要是介绍20240325-1-HMM,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

HMM

直观理解


马尔可夫链(英语:Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain,缩写为DTMC),因俄国数学家安德烈·马尔可夫(俄语:Андрей Андреевич Марков)得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。
隐马尔可夫模型包含5个要素:初始概率分布,状态转移概率分布,观测概率分布,所有可能状态的集合,所有可能观测的集合
隐马尔可夫模型HMM是结构最简单的动态贝叶斯网络,是有向图模型

核心公式


  1. 依据马尔可夫性,所有变量的联合概率分布为:

在这里插入图片描述

注意要点


  • 统计语言模型[Statistical Language Model]

是自然语言处理的重要技术,对于要处理的一段文本,我们可以看做是离散的时间序列,并且具有上下文依存关系;该模型可以应用在语音识别和机器翻译等领域,其模型表达式如下:
在这里插入图片描述
如果只考虑前n-1个单词的影响,称为n元语法(n-grams),那么语言模型变为:
在这里插入图片描述
注意:很多时候我们无法考量太久以前的词,一是因为距离太远的词与当前词关系不大,二是因为距离越长模型参数越多,并且成指数级增长,因此4元以上几乎没人使用。当n=2的时候,就是只考虑前一个单词的一阶马尔科夫链模型,大家都知道在NLP任务中,上下文信息相关性的跨度可能非常大,马尔科夫模型无法处理这样的问题,需要新的模型可以解决这种长程依赖性(Long Distance Dependency)。
这里可以回忆一下RNN/LSTM网络,通过隐状态传递信息,可以有效解决长程依赖问题,但当处理很长的序列的时候,它们仍然面临着挑战,即梯度消失。

  • 两点马尔可夫性质:[可以理解为无记忆性;留意:NLP问题会涉及哦]

(1). 下一个状态的概率分布只与当前状态有关
在这里插入图片描述

(2). 下一个时刻的观测只与其相对应的状态有关
在这里插入图片描述

  • 最大熵马尔可夫模型为什么会产生标注偏置问题?如何解决?

  • HMM为什么是生成模型

因为HMM直接对联合概率分布建模;相对而言,条件随机场CRF直接对条件概率建模,所以是判别模型。

  • HMM在处理NLP词性标注和实体识别任务中的局限性

在序列标注问题中,隐状态(标注)不仅和单个观测状态相关,还 和观察序列的长度、上下文等信息相关。例如词性标注问题中,一个词被标注为 动词还是名词,不仅与它本身以及它前一个词的标注有关,还依赖于上下文中的 其他词

  • 隐马尔可夫模型包括概率计算问题、预测问题、学习问题三个基本问题

(1)概率计算问题:已知模型的所有参数,计算观测序列Y出现的概率,可 使用前向和后向算法求解。
(2)预测问题:已知模型所有参数和观测序列Y,计算最可能的隐状态序 列X,可使用经典的动态规划算法——维特比算法来求解最可能的状态序列。
(3)学习问题:已知观测序列Y,求解使得该观测序列概率最大的模型参 数,包括隐状态序列、隐状态之间的转移概率分布以及从隐状态到观测状态的概 率分布,可使用Baum-Welch算法进行参数的学习,Baum-Welch算法是最大期望算 法的一个特例。

  • 浅谈最大熵模型

最大熵这个词听起来很玄妙,其实就是保留全部的不确定性,将风险降到最小。
应用在词性标注,句法分析,机器翻译等NLP任务中。
在这里插入图片描述

面试真题


  1. 如何对中文分词问题用HMM模型进行建模的训练?
  2. 最大熵HMM模型为什么会产生标注偏置问题,如何解决?

参考

1.隐马尔可夫链定义参考维基百科
2.统计学 李航
3.数学之美
4.百面机器学习

这篇关于20240325-1-HMM的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/886710

相关文章

【数学】【机器学习】什么是隐马尔可夫模型 (HMM)?

文章目录 隐马尔可夫模型 (HMM)背景公式示例题目详细讲解Python代码求解实际生活中的例子 什么是隐变量背景隐含变量的意义举例说明HMM的三个基本问题示例 隐马尔可夫模型 (HMM) 背景 隐马尔可夫模型(Hidden Markov Model, HMM)是一种统计模型,用于描述含有隐含变量的时间序列数据。它在自然语言处理、语音识别、生物信息学等领域有广泛应用。HMM

统计学习--HMM

隐马尔可夫模型的定义: HMM 是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。(p171) 隐藏的马尔可夫链随机生成的状态的序列,称为状态序列。 每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。 序列的每一个位置又可以看作是一个时刻 t。 隐马尔可夫模型由初始概率分布( π \pi π)

HMM地图匹配算法库Barefoot环境搭建

1.引入gps路径匹配开源项目barefoot 克隆仓库 git clone https://github.com/bmwcarit/barefoot.git 打开项目执行mvn命令将项目打包到maven仓库 mvn install -DskipTests 在自己的maven项目中引入barefoot依赖 <dependency><groupId>com.bmw-c

HMM在自然语言处理中的应用一:词性标注2

http://www.52nlp.cn/hmm-application-in-natural-language-processing-one-part-of-speech-tagging-2     上一节我们对自然语言处理中词性标注的基本问题进行了描述,从本节开始我们将详细介绍HMM与词性标注的关系以及如何利用HMM进行词性标注。首先回顾一下隐马尔科夫模型(HMM)的定义和三大基本问题,并由

一文说尽HMM(隐马尔科夫链)

转载大神的博客,原文有很多图:http://www.cnblogs.com/skyme/p/4651331.html 我这里就不贴了 什么是熵(Entropy) 简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系

(done) NLP+HMM 协作,还有维特比算法

参考视频:https://www.bilibili.com/video/BV1aP4y147gA/?p=2&spm_id_from=pageDriver&vd_source=7a1a0bc74158c6993c7355c5490fc600 (这实际上是 “序列标注任务”) HMM 的训练和预测如下图 训练过程:我们首先先给出一个语料文本,这个语料文本每个词组都分配了一个“词性”。在训练过程中

隐马尔可夫模型(HMM),了解一下?

隐马尔可夫模型(HMM) 隐马尔可夫模型(HMM) 1. 隐马尔可夫模型基本概念 1.1 定义1.2 观测序列生成过程1.3 3个基本问题 2. 概率计算方法 2.1 直接计算法2.2 前向算法2.3 后向算法 3. 学习算法 3.1 监督学习方法3.2 非监督学习方法 EM算法 Baum-Welch算法 4. 预测算法 4.1 近似算法4.2 维特比算法 1. 隐马尔可

对比五款基于HMM和N-gram模型的开源语音识别工具

在语音识别技术的飞速发展中,开源工具以其灵活性和成本效益,为开发者和研究者提供了宝贵的资源。本文将深入对比五款基于HMM和N-gram模型的开源语音识别工具:CMUSphinx,Kaldi,HTK,Julius和ISIP,同时也会探讨一些基于深度学习的工具,如Mozilla DeepSpeech、Whisper和Flashlight ASR,旨在为开发者提供一个选择和使用的综合指南。 1.

HMM原理简述和使用说明

1、原理简述          为了对GMM-HMM在语音识别上的应用有个宏观认识,花了些时间读了下HTK(用htk完成简单的孤立词识别)的部分源码,对该算法总算有了点大概认识,达到了预期我想要的。不得不说,网络上关于语音识别的通俗易懂教程太少,都是各种公式满天飞,很少有说具体细节的,当然了,那需要有实战经验才行。下面总结以下几点,对其有个宏观印象即可(以孤立词识别为例)。   一、每个

马尔可夫模型及隐马尔可夫模型(HMM)

马尔可夫模型 马尔可夫模型是由Andrei A. Markov于1913年提出的 ∙ ∙ 设  S S是一个由有限个状态组成的集合 S={1,2,3,…,n−1,n} S={1,2,3,…,n−1,n} 随机序列  X X 在  t t时刻所处的状态为  qt qt,其中  qt∈S qt∈S,若有: P(qt=j|qt−1=i,qt−2=k,⋯)=P(qt=j|qt