文献研读-Methodology for Performing Synchrophasor Data Conditioning and Validation执行同步相量数据调节和验证的方法

本文主要是介绍文献研读-Methodology for Performing Synchrophasor Data Conditioning and Validation执行同步相量数据调节和验证的方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 1. 文献来源
    • 2. 摘要
    • 3. 目的
    • 4. 改进思想
      • 4.1 滤波
      • 4.2 平滑
    • 5. 模型预测控制-MPC
    • 6. 总结

1. 文献来源

Methodology for Performing Synchrophasor Data Conditioning and Validation

2. 摘要

  纯相量测量单元(PMU)状态估计器在速度、性能和可靠性方面本质上优于其SCADA模拟。然而,在将其作为EMS或其他网络应用程序的前端之前,确保进入线性估计器的数据流的质量至关重要。一种方法是在相量数据到达线性估计器之前对其进行预处理。本文提出了一种同步相量数据调节和修复算法,该算法巧妙地作为前缀嵌入到现有的线性状态估计公式中。使用安装在Dominion Virginia Power(DVP)超高压网络中的PMU获得的现场数据对该方法进行了测试。结果表明,该方法为同步相量数据质量问题提供了一种计算简单、优雅的解决方案。

3. 目的

由于相量数据的流性质,使用该数据的下游应用程序容易受到网络拥塞、配置错误、设备故障等的影响。参考文献[3]强调了与PMU数据相关的一些数据质量问题,但没有提供任何算法用于其调节/验证。本文的目的是通过建立一个计算简单有效的模型来调节和修复同步相量数据的质量。

4. 改进思想

复电压和电流遵循式(2),下一个时刻的估计值,取决于之前三个时刻的
x ^ ( k + 1 ∣ k ) = 3 x ^ ( k ∣ k ) − 3 x ^ ( k − 1 ∣ k − 1 ) + x ^ ( k − 2 ∣ k − 2 ) (2) \hat{\mathrm{x}}(\mathrm{k}+1 \mid \mathrm{k})=3 \hat{\mathrm{x}}(\mathrm{k} \mid \mathrm{k})-3 \hat{\mathrm{x}}(\mathrm{k}-1 \mid \mathrm{k}-1)+\hat{\mathrm{x}}(\mathrm{k}-2 \mid \mathrm{k}-2)\tag{2} x^(k+1k)=3x^(kk)3x^(k1k1)+x^(k2k2)(2)

4.1 滤波

式(3)为经典卡尔曼滤波器的状态方程和量测方程:
x ( k + 1 ) = Φ ( k + 1 , k ) x ( k ) + Γ ( k + 1 , k ) w ( k ) z ( k + 1 ) = H ( k + 1 ) x ( k + 1 ) + v ( k + 1 ) (3) \begin{array}{l} \mathbf{x}(\mathrm{k}+1)=\boldsymbol{\Phi}(\mathrm{k}+1, \mathrm{k}) \mathbf{x}(\mathrm{k})+\boldsymbol{\Gamma}(\mathrm{k}+1, \mathrm{k}) \mathbf{w}(\mathrm{k}) \\ \mathbf{z}(\mathrm{k}+1)=\mathbf{H}(\mathrm{k}+1) \mathbf{x}(\mathrm{k}+1)+\mathbf{v}(\mathrm{k}+1) \end{array}\tag{3} x(k+1)=Φ(k+1,k)x(k)+Γ(k+1,k)w(k)z(k+1)=H(k+1)x(k+1)+v(k+1)(3)
在这里插入图片描述
因此, k + 1 \mathrm{k+1} k+1是测量到达并进行估计的当前时间戳。对于最优滤波,我们取(3)的估计值,并将其表示为卡尔曼滤波符号中的递归关系,如(4a)和(4b)所示:
x ^ ( k + 1 ∣ k + 1 ) = Φ ( k + 1 , k ) x ^ ( k ∣ k ) + K ( k + 1 ) ( z ( k + 1 ) − z ^ ( k + 1 ∣ k ) ) (4a) \begin{aligned} \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k}+1) &=\boldsymbol{\Phi}(\mathrm{k}+1, \mathrm{k}) \hat{\mathbf{x}}(\mathrm{k} \mid \mathrm{k}) \\ &+\mathbf{K}(\mathrm{k}+1)(\mathbf{z}(\mathrm{k}+1)-\hat{\mathbf{z}}(\mathrm{k}+1 \mid \mathrm{k}))\tag{4a} \end{aligned} x^(k+1k+1)=Φ(k+1,k)x^(kk)+K(k+1)(z(k+1)z^(k+1k))(4a) z ^ ( k + 1 ∣ k ) = H ( k + 1 ) x ^ ( k + 1 ∣ k ) (4b) \hat{\mathbf{z}}(\mathrm{k}+1 \mid \mathrm{k})=\mathbf{H}(\mathrm{k}+1) \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k})\tag{4b} z^(k+1k)=H(k+1)x^(k+1k)(4b)
在(4)中 K ( k + 1 ) \mathrm{K(k+1}) K(k+1) 是卡尔曼增益。使用标准卡尔曼滤波技术[11]求解方程(4)。
  当应用于同步相量数据时,可以进一步简化,如下所示。 由于二次预测模型的性质,相邻状态向量共享三个状态变量中的两个,从而产生一个增强状态向量。这可以被视为一个移动窗口,其中包含系统的三个快照,一次只向前移动一个快照。因此,用于基于(2)预测下一个状态,并且 x ^ ( k + 1 ) \hat{\mathrm{x}}(\mathrm{k+1}) x^(k+1) x ^ ( k + 1 ∣ k ) \hat{\mathrm{x}}(\mathrm{k+1}|\mathrm{k}) x^(k+1k)可以表示为 :
x ^ ( k ∣ k ) = [ x ^ ( k ∣ k ) x ^ ( k − 1 ∣ k − 1 ) x ^ ( k − 2 ∣ k − 2 ) ] (5a) \hat{\mathbf{x}}(\mathrm{k} \mid \mathrm{k})=\left[\begin{array}{c} \hat{\mathrm{x}}(\mathrm{k} \mid \mathrm{k}) \\ \hat{\mathrm{x}}(\mathrm{k}-1 \mid \mathrm{k}-1) \\ \hat{\mathrm{x}}(\mathrm{k}-2 \mid \mathrm{k}-2)\tag{5a} \end{array}\right] x^(kk)= x^(kk)x^(k1k1)x^(k2k2) (5a) x ^ ( k + 1 ∣ k ) = [ x ^ ( k + 1 ∣ k ) x ^ ( k ∣ k ) x ^ ( k − 1 ∣ k − 1 ) ] (5b) \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k})=\left[\begin{array}{c} \hat{\mathrm{x}}(\mathrm{k}+1 \mid \mathrm{k}) \\ \hat{\mathrm{x}}(\mathrm{k} \mid \mathrm{k}) \\ \hat{\mathrm{x}}(\mathrm{k}-1 \mid \mathrm{k}-1)\tag{5b} \end{array}\right] x^(k+1k)= x^(k+1k)x^(kk)x^(k1k1) (5b)
由于未来状态的估计取决于之前的三个状态估计,出于过滤目的,将 x ^ ( k ∣ k ) \hat{\mathrm{x}}(\mathrm{k}|\mathrm{k}) x^(kk) x ^ ( k + 1 ∣ k ) \hat{\mathrm{x}}(\mathrm{k+1}|\mathrm{k}) x^(k+1k)和描述为3x1矩阵是有意义的。现在,我们知道了 Φ ( k + 1 , k ) \Phi(\mathrm{k+1,k}) Φ(k+1,k) k + 1 \mathrm{k+1} k+1 k \mathrm{k} k等时刻状态关联。
x ^ ( k + 1 ∣ k ) = Φ ( k + 1 , k ) x ^ ( k ∣ k ) (5c) \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k})=\boldsymbol{\Phi}(\mathrm{k}+1, \mathrm{k}) \hat{\mathbf{x}}(\mathrm{k} \mid \mathrm{k})\tag{5c} x^(k+1k)=Φ(k+1,k)x^(kk)(5c)
因此,基于(2)、(5a)、(5b)和(5c), Φ ( k + 1 , k ) \Phi(\mathrm{k}+1,\mathrm{k}) Φ(k+1,k)可以公式化为常数,如(5d)所示:
Φ ( k + 1 , k ) = [ 3 − 3 1 1 0 0 0 1 0 ] (5d) \boldsymbol{\Phi}(\mathrm{k}+1, \mathrm{k})=\left[\begin{array}{ccc} 3 & -3 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \end{array}\right]\tag{5d} Φ(k+1,k)= 310301100 (5d)
这里需要注意的是,(5a)和(5b)中的状态是复电压和电流测量值。因此,在不失一般性的情况下,我们可以写出(5e)和(5f):
z ( k + 1 ) = x ( k + 1 ) + v ( k + 1 ) (5e) \mathrm{z}(\mathrm{k}+1)=\mathrm{x(k+1)}+\mathrm{v(k+1)}\tag{5e} z(k+1)=x(k+1)+v(k+1)(5e) z ^ ( k + 1 ∣ k ) = z ^ ( x + 1 ∣ k ) (5f) \hat{\mathrm{z}}(\mathrm{\mathrm{k+1|k}})=\hat{\mathrm{z}}(\mathrm{\mathrm{x+1|k}})\tag{5f} z^(k+1∣k)=z^(x+1∣k)(5f)
使用(4b)中的(5b)和(5f),我们得到 H ( k + 1 ) \mathrm{H}(\mathrm{k+1}) H(k+1)
H ( k + 1 ) = [ 1 0 1 ] (5g) \mathrm{H}(\mathrm{k+1})=[1\ 0 \ 1]\tag{5g} H(k+1)=[1 0 1](5g)
因此,在分别替换(4a)和(4b)的RHS中的(5d)和(5g)时,将开发滤波技术的简化模型,如(6a)和(6b)所示
x ^ ( k + 1 ∣ k + 1 ) = [ 3 − 3 1 1 0 0 0 1 0 ] x ^ ( k ∣ k ) + K ( k + 1 ) ( z ( k + 1 ) − z ^ ( k + 1 ∣ k ) ) (6a) \begin{aligned} \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k}+1) &=\left[\begin{array}{ccc} 3 & -3 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \end{array}\right] \hat{\mathbf{x}}(\mathrm{k} \mid \mathrm{k}) \\ &+\mathbf{K}(\mathrm{k}+1)(\mathrm{z}(\mathrm{k}+1)-\hat{\mathrm{z}}(\mathrm{k}+1 \mid \mathrm{k})) \end{aligned}\tag{6a} x^(k+1k+1)= 310301100 x^(kk)+K(k+1)(z(k+1)z^(k+1k))(6a)
z ^ ( k + 1 ∣ k ) = [ 1 0 0 ] x ^ ( k + 1 ∣ k ) (6b) \hat{\mathbf{z}}(\mathrm{k}+1 \mid \mathrm{k})=\left[\begin{array}{lll} 1 & 0 & 0 \end{array}\right] \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k})\tag{6b} z^(k+1k)=[100]x^(k+1k)(6b)
(6a)的RHS中的第二项对应于稳态观测残差。卡尔曼增益由以下方程组指定:
K ( k + 1 ) = P ( k + 1 ∣ k ) H T ( k + 1 ) × [ H ( k + 1 ) P ( k + 1 ∣ k ) H T ( k + 1 ) + R ( k + 1 ) ] − 1 (7a) \begin{aligned} \mathbf{K}(\mathrm{k}+1)=& \mathbf{P}(\mathrm{k}+1 \mid \mathrm{k}) \mathbf{H}^{\mathrm{T}}(\mathrm{k}+1) \\ & \times\left[\mathbf{H}(\mathrm{k}+1) \mathbf{P}(\mathrm{k}+1 \mid \mathrm{k}) \mathbf{H}^{\mathrm{T}}(\mathrm{k}+1)\right.\\ &+\mathbf{R}(\mathrm{k}+1)]^{-1} \end{aligned}\tag{7a} K(k+1)=P(k+1k)HT(k+1)×[H(k+1)P(k+1k)HT(k+1)+R(k+1)]1(7a)
P ( k + 1 ∣ k ) = Φ ( k + 1 , k ) P ( k ∣ k ) Φ T ( k + 1 , k ) + Γ ( k + 1 , k ) Q ( k ) Γ T ( k + 1 , k ) (7b) \begin{aligned} \mathbf{P}(\mathrm{k}+1 \mid \mathrm{k})=& \boldsymbol{\Phi}(\mathrm{k}+1, \mathrm{k}) \mathbf{P}(\mathrm{k} \mid \mathrm{k}) \boldsymbol{\Phi}^{\mathrm{T}}(\mathrm{k}+1, \mathrm{k}) \\ &+\Gamma(\mathrm{k}+1, \mathrm{k}) \mathbf{Q}(\mathrm{k}) \boldsymbol{\Gamma}^{\mathrm{T}}(\mathrm{k}+1, \mathrm{k}) \end{aligned}\tag{7b} P(k+1k)=Φ(k+1,k)P(kk)ΦT(k+1,k)+Γ(k+1,k)Q(k)ΓT(k+1,k)(7b)
P ( k + 1 ∣ k + 1 ) = [ I − K ( k + 1 ) H ( k + 1 ) ] P ( k + 1 ∣ k ) (7c) \mathbf{P}(\mathrm{k}+1 \mid \mathrm{k}+1)=[\mathbf{I}-\mathbf{K}(\mathrm{k}+1) \mathbf{H}(\mathrm{k}+1)] \mathbf{P}(\mathrm{k}+1 \mid \mathrm{k})\tag{7c} P(k+1k+1)=[IK(k+1)H(k+1)]P(k+1k)(7c)
因为各个状态是不相关的 R ( k + 1 ) = R \mathrm{R(k+1)=R} R(k+1)=R,且 Q ( k ) = Q \mathrm{Q(k)=Q} Q(k)=Q等,他们都是标量。现场数据的这两个量的典型值为 1 0 − 2 10^{-2} 102。 此外, 3 × 1 3\times1 3×1初始状态向量和 3 × 3 3\times3 3×3初始估计误差协方差 P ( 0 ∣ 0 ) \mathrm{P(0|0)} P(0∣0)是零矩阵。 原因是,只要确认在第一个窗口完全填充数据之前,初始状态向量和初始估计误差协方差的值将不正确,则初始状态向量和初始估计误差协方差的值将不会影响模拟。
这样做的目的:就是把传感器测得的值和根据数学模型推导出来的值融合以逼近实际值的过程。

4.2 平滑

平滑算法使用电流测量值估计系统的先前状态。从数学上讲,这意味着求解 x ^ ( k ∣ j ) \hat{\mathrm{x}}(\mathrm{k|j}) x^(k∣j) j > k j>k j>k时。 与滤波相比,平滑的优势在于,通过平滑,可以显著提高估计的质量[13]。与用于滤波目的的同步相量数据相关的二次预测模型也适用于平滑过程。本文中使用的固定滞后平滑器模型在[14]中开发。它有一个离散时间状态方程,其形式为递归卡尔曼滤波器,带有一个增强状态向量、一个相关的增强动力系统和一个增强测量方程,如(8)所示(有关它的更多详细信息,请参见[11]和[14]):
[ x ^ ( k + 1 ∣ k + 1 ) x ^ ( k ∣ k + 1 ) x ^ ( k − 1 ∣ k + 1 ) ⋮ x ^ ( k + 1 − N ∣ k + 1 ) ] = [ Φ ( k + 1 , k ) 0 0 … 0 I 0 0 … 0 0 I 0 … 0 ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 … I 0 ] [ x ^ ( k ∣ k ) x ^ ( k − 1 ∣ k ) x ^ ( k − 2 ∣ k ) ⋮ K ∣ k ) ] + [ K ( k + 1 ) K 1 ( k + 1 ) K 2 ( k + 1 ) ⋮ K N ( k + 1 ) ] ( z ( k + 1 ) − H ( k + 1 ) x ^ ( k + 1 ∣ k ) ) (8) \begin{array}{l} {\left[\begin{array}{c} \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k}+1) \\ \hat{\mathbf{x}}(\mathrm{k} \mid \mathrm{k}+1) \\ \hat{\mathbf{x}}(\mathrm{k}-1 \mid \mathrm{k}+1) \\ \vdots \\ \hat{\mathbf{x}}(\mathrm{k}+1-\mathrm{N} \mid \mathrm{k}+1) \end{array}\right]} \\ =\left[\begin{array}{ccccc} \boldsymbol{\Phi}(\mathrm{k}+1, \mathrm{k}) & \mathbf{0} & \mathbf{0} & \ldots & \mathbf{0} \\ \mathbf{I} & \mathbf{0} & \mathbf{0} & \ldots & \mathbf{0} \\ \mathbf{0} & \mathbf{I} & \mathbf{0} & \ldots & \mathbf{0} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \mathbf{0} & \mathbf{0} & \ldots & \mathbf{I} & \mathbf{0} \end{array}\right]\left[\begin{array}{c} \hat{\mathbf{x}}(\mathrm{k} \mid \mathrm{k}) \\ \hat{\mathbf{x}}(\mathrm{k}-1 \mid \mathrm{k}) \\ \hat{\mathbf{x}}(\mathrm{k}-2 \mid \mathrm{k}) \\ \vdots \\ \mathbf{K} \mid \mathrm{k}) \end{array}\right] \\ +\left[\begin{array}{c} \mathbf{K}(\mathrm{k}+1) \\ \mathbf{K}_{1}(\mathrm{k}+1) \\ \mathbf{K}_{2}(\mathrm{k}+1) \\ \vdots \\ \mathbf{K}_{\mathrm{N}}(\mathrm{k}+1) \end{array}\right](\mathrm{z}(\mathrm{k}+1)-\mathbf{H}(\mathrm{k}+1) \hat{\mathbf{x}}(\mathrm{k}+1 \mid \mathrm{k})) \end{array}\tag{8} x^(k+1k+1)x^(kk+1)x^(k1k+1)x^(k+1Nk+1) = Φ(k+1,k)I0000I0000I0000 x^(kk)x^(k1k)x^(k2k)Kk) + K(k+1)K1(k+1)K2(k+1)KN(k+1) (z(k+1)H(k+1)x^(k+1k))(8)
在(8)中,N是窗口长度,其中 K ( k + 1 ) , K 1 ( k + 1 ) , . . . , K N ( k + 1 ) \mathrm{K(k+1),K_{1}(k+1),...,K_{N}(k+1)} K(k+1),K1(k+1),...,KN(k+1)是增益矩阵。方程(8)可以递归求解,如[14]所示。 (8)中的矩阵 Φ ( k + 1 , k ) \Phi(\mathrm{k+1,k}) Φ(k+1,k) H ( k + 1 ) \mathrm{H(k+1)} H(k+1)具有与上一小节中计算的相同的维数和值。 明智地选择窗口长度很重要,因为虽然N的值越高,接收测量和平滑状态估计之间的延迟越大,但它也会显著提高估计的质量。 其原因是,使用 x ^ ( k + 1 − N ∣ k + 1 ) \hat{\mathrm{x}}\mathrm{(k+1-N|k+1)} x^(k+1N∣k+1)获得的估计直观上优于使用 x ^ ( k + 1 − N ∣ k + 1 − N ) \hat{\mathrm{x}}\mathrm{(k+1-N|k+1-N)} x^(k+1N∣k+1N)获得的估计。对于本文所做的模拟 N = 3 N=3 N=3。在下一节中,将说明这种基于二次预测模型的卡尔曼滤波器用于调节从现场获得的实际同步相量数据的性能。

5. 模型预测控制-MPC

在这里插入图片描述模型预测控制:
模型预测控制在实现过程中有3个关键步骤:预测模型滚动优化反馈校正

  1. 预测模型:预测模型是模型预测控制的基础。其主要功能是根据对象的历史信息和未来输入,预测系统未来的输出。对预测模型的形式没有做严格的限定,状态方程、传递函数这类传统的模型都可以作为预测模型。对于线性稳定系统,阶跃响应、脉冲响应这类非参数模型,也可以直接作为预测模型使用。
  2. 滚动优化:预测控制中的优化与通常的离散最优控制算法不同,不是采用一个不变的全局最优目标,而是采用滚动式的有限时域优化策略。在每一采样时刻,根据该时刻的优化性能指标,求解该时刻起有限时段的最优控制率。计算得到的控制作用序列也只有当前值是实际执行的,在下一个采样时刻又重新求取最优控制率。也就是说,优化过程不是一次离线完成的,而是反复在线进行的,即在每一采样时刻,优化性能指标只涉及从该时刻起到未来有限的时间,而到下一个采样时刻,这一优化时段会同时向前推移。
  3. 反馈校正:为了防止模型失配或者环境干扰引起控制对理想状态的偏离,在新的采样时刻,首先检测对象的实际输出,并利用这一实时信息对基于模型的预测结果进行修正,然后再进行新的优化。

模型预测,预测采样时刻 k k k之后的 i i i时刻的数值。在这里插入图片描述
在这里插入图片描述

6. 总结

  该文基于经典卡尔曼滤波器滤波及平滑,对纯相量测量单元(PMU)采集到的同步向量数据进行进行数据调节,以此来获得质量较高的同步相量估计值。该数据估计算法和应用至MPC中,用于提高状态估计器估计值的质量。
  关于卡尔曼滤波的基础知识可以参考郑政谋老师主编的《最佳线性滤波——维纳滤波、卡尔曼滤波与最小二乘滤波》,该书详细推导了卡尔曼滤波的递推式,卡尔曼增益的求解公式等。需要知道的一点,卡尔曼滤波是一种最优理论,卡尔曼滤波可以使估计出来的噪声值较低,通过加权估计值与测量值,使得最优估计值接近真实值,这样就降低了估计出来的噪声,也就是所谓的“滤波”。
  该文为数据处理提交数据质量提供了思路。

这篇关于文献研读-Methodology for Performing Synchrophasor Data Conditioning and Validation执行同步相量数据调节和验证的方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642717

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi