27.网络游戏逆向分析与漏洞攻防-网络通信数据包分析工具-数据推测功能的实现

本文主要是介绍27.网络游戏逆向分析与漏洞攻防-网络通信数据包分析工具-数据推测功能的实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动!

如果看不懂、不知道现在做的什么,那就跟着做完看效果

内容参考于: 易道云信息技术研究院VIP课

上一个内容:26.实现生成日志文件的功能

码云地址(master 分支):https://gitee.com/dye_your_fingers/titan

码云版本号:13a407b03922897a3453674a43c10e9eb617b18a

代码下载地址,在 titan 目录下,文件名为:titan-数据推测功能的实现.zip

链接:https://pan.baidu.com/s/1W-JpUcGOWbSJmMdmtMzYZg

提取码:q9n5

--来自百度网盘超级会员V4的分享

HOOK引擎,文件名为:黑兔sdk升级版.zip

链接:https://pan.baidu.com/s/1IB-Zs6hi3yU8LC2f-8hIEw

提取码:78h8

--来自百度网盘超级会员V4的分享

26.实现生成日志文件的功能 它的代码为基础进行修改

首先创建一个Dialog

添加一个编辑框控件:

然后添加一个类:

编辑框添加变量:

给数据包列表添加一个鼠标左键事件处理程序

效果图:选择文字可以弹出选择的文字,后面改成其它弹框,不会弹MessageBox

DataAnlyDlg.cpp文件的修改:修改了 OnInitDialog函数、LoadConfig函数(上一个内容中写错了默认配置文件取值字段),新加 OnNMClickList1函数(列表鼠标左键单击事件处理函数)


// DataAnlyDlg.cpp: 实现文件
//#include "pch.h"
#include "framework.h"
#include "DataAnly.h"
#include "DataAnlyDlg.h"
#include "afxdialogex.h"
#include "extern_all.h"
#include <fstream> // 引入io流,用于写文件#ifdef _DEBUG
#define new DEBUG_NEW
#endif// 用于应用程序“关于”菜单项的 CAboutDlg 对话框class CAboutDlg : public CDialogEx
{
public:CAboutDlg();// 对话框数据
#ifdef AFX_DESIGN_TIMEenum { IDD = IDD_ABOUTBOX };
#endifprotected:virtual void DoDataExchange(CDataExchange* pDX);    // DDX/DDV 支持// 实现
protected:DECLARE_MESSAGE_MAP()
};CAboutDlg::CAboutDlg() : CDialogEx(IDD_ABOUTBOX)
{
}void CAboutDlg::DoDataExchange(CDataExchange* pDX)
{CDialogEx::DoDataExchange(pDX);
}BEGIN_MESSAGE_MAP(CAboutDlg, CDialogEx)
END_MESSAGE_MAP()// CDataAnlyDlg 对话框CDataAnlyDlg::CDataAnlyDlg(CWnd* pParent /*=nullptr*/): CDialogEx(IDD_DATAANLY_DIALOG, pParent), Pause(FALSE)
{m_hIcon = AfxGetApp()->LoadIcon(IDR_MAINFRAME);
}void CDataAnlyDlg::DoDataExchange(CDataExchange* pDX)
{CDialogEx::DoDataExchange(pDX);DDX_Control(pDX, IDC_LIST1, lstView);DDX_Check(pDX, IDC_CHECK1, Pause);
}BEGIN_MESSAGE_MAP(CDataAnlyDlg, CDialogEx)ON_WM_SYSCOMMAND()ON_WM_PAINT()ON_WM_QUERYDRAGICON()ON_BN_CLICKED(IDOK, &CDataAnlyDlg::OnBnClickedOk)ON_WM_COPYDATA()ON_BN_CLICKED(IDC_CHECK1, &CDataAnlyDlg::OnBnClickedCheck1)ON_BN_CLICKED(IDC_BUTTON1, &CDataAnlyDlg::OnBnClickedButton1)ON_BN_CLICKED(IDC_BUTTON4, &CDataAnlyDlg::OnBnClickedButton4)ON_NOTIFY(NM_CUSTOMDRAW, IDC_LIST1, &CDataAnlyDlg::OnNMCustomdrawList1)ON_BN_CLICKED(IDC_BUTTON5, &CDataAnlyDlg::OnBnClickedButton5)ON_NOTIFY(NM_CLICK, IDC_LIST1, &CDataAnlyDlg::OnNMClickList1)
END_MESSAGE_MAP()// CDataAnlyDlg 消息处理程序BOOL CDataAnlyDlg::OnInitDialog()
{CDialogEx::OnInitDialog();// 将“关于...”菜单项添加到系统菜单中。// IDM_ABOUTBOX 必须在系统命令范围内。ASSERT((IDM_ABOUTBOX & 0xFFF0) == IDM_ABOUTBOX);ASSERT(IDM_ABOUTBOX < 0xF000);CMenu* pSysMenu = GetSystemMenu(FALSE);if (pSysMenu != nullptr){BOOL bNameValid;CString strAboutMenu;bNameValid = strAboutMenu.LoadString(IDS_ABOUTBOX);ASSERT(bNameValid);if (!strAboutMenu.IsEmpty()){pSysMenu->AppendMenu(MF_SEPARATOR);pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu);}}// 设置此对话框的图标。  当应用程序主窗口不是对话框时,框架将自动//  执行此操作SetIcon(m_hIcon, TRUE);			// 设置大图标SetIcon(m_hIcon, FALSE);		// 设置小图标// ShowWindow(SW_MAXIMIZE); // 设置最大号启动// TODO: 在此添加额外的初始化代码SetListView(&lstView);wchar_t buff[0xFF];/*获取当前程序名,这个名字是全路径,不只有程序名字(就是.exe文件的名字)它还可以获取别人的名字详细看微软的MSDN里的说明(百度搜索 “GetModuleFileName msdn” 关键字,就可以搜索出微软MSDN的说明)*/ GetModuleFileName(0, buff, sizeof(buff));int i;for (i = 0xFF - 1; buff[i] != L'\\'; i--);buff[++i] = 0;AppPath.Format(L"%s", buff);// AfxMessageBox(AppPath);ConfigPath = AppPath + L"Config\\";DataPath = AppPath + L"Datas\\";DefConfigIni = ConfigPath + L"titan.ini";SetIni = AppPath + L"Set.ini";/*读取一个Set.ini文件Set.ini文件目前存放了,当程序启动时默认加载什么配置文件的数据*/GetPrivateProfileString(L"main", L"defPro", L"", buff, 0xFF, SetIni);// 获取配置文件,也就是现在的titan.ini这个文件DefConfigIni = AppPath + L"Config\\" + buff + L".ini";LoadConfig(DefConfigIni);/*lstView.InsertColumn(0, L"消息类型", 0, 70);lstView.InsertColumn(1, L"数据类型", 0, 70);lstView.InsertColumn(2, L"内容", 0, 700);lstView.InsertColumn(3, L"长度", 0, 50);lstView.InsertColumn(4, L"时间", 0, 130);这几行代码意思是设置表头*/lstView.InsertColumn(0, L"消息类型", 0, 70);lstView.InsertColumn(1, L"数据类型", 0, 70);lstView.InsertColumn(2, L"内容", 0, 700);lstView.InsertColumn(3, L"长度", 0, 50);lstView.InsertColumn(4, L"时间", 0, 130);struct tm newtiem {};time_t t;time(&t);localtime_s(&newtiem, &t); // 获取时间LogName.Format(L"%.4d-%.2d-%.2d %.2d-%.2d-%.2d.log", newtiem.tm_year + 1900, newtiem.tm_mon+1, newtiem.tm_mday, newtiem.tm_hour, newtiem.tm_min, newtiem.tm_sec);wndSet.Create(IDD_SET);wndData.Create(IDD_DIALOG1);return TRUE;  // 除非将焦点设置到控件,否则返回 TRUE
}void CDataAnlyDlg::OnSysCommand(UINT nID, LPARAM lParam)
{if ((nID & 0xFFF0) == IDM_ABOUTBOX){CAboutDlg dlgAbout;dlgAbout.DoModal();}else{CDialogEx::OnSysCommand(nID, lParam);}
}// 如果向对话框添加最小化按钮,则需要下面的代码
//  来绘制该图标。  对于使用文档/视图模型的 MFC 应用程序,
//  这将由框架自动完成。void CDataAnlyDlg::OnPaint()
{if (IsIconic()){CPaintDC dc(this); // 用于绘制的设备上下文SendMessage(WM_ICONERASEBKGND, reinterpret_cast<WPARAM>(dc.GetSafeHdc()), 0);// 使图标在工作区矩形中居中int cxIcon = GetSystemMetrics(SM_CXICON);int cyIcon = GetSystemMetrics(SM_CYICON);CRect rect;GetClientRect(&rect);int x = (rect.Width() - cxIcon + 1) / 2;int y = (rect.Height() - cyIcon + 1) / 2;// 绘制图标dc.DrawIcon(x, y, m_hIcon);}else{CDialogEx::OnPaint();}
}//当用户拖动最小化窗口时系统调用此函数取得光标
//显示。
HCURSOR CDataAnlyDlg::OnQueryDragIcon()
{return static_cast<HCURSOR>(m_hIcon);
}void CDataAnlyDlg::OnBnClickedOk()
{wchar_t buff[]{ L"我爱阿民" };COPYDATASTRUCT copydata{};/*这里的0表示字符串0具体是什么要看 WM_COPYDATA消息处理函数怎样写的*/copydata.dwData = 0;copydata.cbData = sizeof(buff);copydata.lpData = buff;SendMessage(WM_COPYDATA, 0, (LPARAM)&copydata);
}BOOL CDataAnlyDlg::OnCopyData(CWnd* pWnd, COPYDATASTRUCT* p)
{UpdateData(true);if (Pause)return CDialogEx::OnCopyData(pWnd, p);PCOPYDATA pdata = (PCOPYDATA)p->lpData;struct tm newtiem {};localtime_s(&newtiem, &pdata->ltime); // 获取时间int type = p->dwData;if (type < MAX_MSG) {CString _result;CString _time;_time.Format(L"%.2d-%.2d-%.2d %.2d_%.2d_%.2d", newtiem.tm_year + 1900, newtiem.tm_mon + 1, newtiem.tm_mday, newtiem.tm_hour, newtiem.tm_min, newtiem.tm_sec);// 0数据包 1 char 2 wchar_tif (_MsgPtr[type].Type == 0) { // 数据包// 转换为buffunsigned char* buff = (unsigned char*)pdata->buff;CString _tmp;for (int i = 0; i < pdata->len; i++) {_tmp.Format(L"%.2X", buff[i]);_result = _result + L" " + _tmp;}}CString wlen;PDATA _data = _MsgPtr[type].GetData(pdata->MsgType);bool Show = true;CString txtDetails;if (_data){Show = _data->IsUi;txtDetails.Format(L"%s(%X)", _data->Name, pdata->MsgType);}else {txtDetails.Format(L"%X", pdata->MsgType);}if (Show) {lstView.InsertItem(0, _MsgPtr[type].txtName);lstView.SetItemData(0, (DWORD_PTR)_data);lstView.SetItemText(0, 1, txtDetails);lstView.SetItemText(0, 2, _result);lstView.SetItemText(0, 4, _time);wlen.Format(L"%d", pdata->len);lstView.SetItemText(0, 3, wlen);}CString _log;CString _logfile;_log.Format(L"[%s][%s][%d][%s][%s]", _MsgPtr[type].txtName, _time.GetBuffer(), pdata->len, txtDetails, _result);_logfile = DataPath + productName + L"\\" + LogName;if(_MsgPtr[type].IsTxt) Savelog(_log.GetBuffer(), _logfile.GetBuffer()); // 写到文件if ((_data)&&(_data->IsTxt)) { // 所有这里存放所有类型的数据包_logfile.Format(L"%s%s\\%s.log", DataPath, productName, _MsgPtr[type].txtDefine);Savelog(_log.GetBuffer(), _logfile.GetBuffer());}if ((_data) && (_data->IsTxtAlone)) { // 单独输出,也就是相同类型的数据包放到一个文件中_logfile.Format(L"%s%s\\%s\\%X.log", DataPath, productName, _MsgPtr[type].txtDefine, _data->Id);Savelog(_log.GetBuffer(), _logfile.GetBuffer());}}else {AfxMessageBox(L"接收到无法识别的数据,需要重新根据配置生成头文件!");}	return CDialogEx::OnCopyData(pWnd, p);
}void CDataAnlyDlg::OnBnClickedCheck1()
{
}void CDataAnlyDlg::OnBnClickedButton1()
{lstView.DeleteAllItems();
}void CDataAnlyDlg::OnBnClickedButton4()
{wndSet.ShowWindow(TRUE);wndSet.LoadConfig(DefConfigIni, productName);
}void CDataAnlyDlg::LoadConfig(CString inifile) {/*从配置文件中读取一个数据,意思是从main下的count读取一个数字int类型的数字GetPrivateProfileInt用来获取.ini文件里的内容,最后的Int表示读取的数据类型Int就表示读取int类型,String表示读取String类型,也就是一个字符串GetPrivateProfileString(L"main", L"title", L"", buff, 0xFF, inifile);里的L""是默认值GetPrivateProfileInt(L"main", L"count", 0, inifile);里的0是默认值默认值的意思,如果读取不到数据就把默认值返回给我们*/int icount = GetPrivateProfileInt(L"main", L"count", 0, inifile);if (_MsgPtr) delete[] _MsgPtr;if (icount < 1) return;MAX_MSG = icount;_MsgPtr = new MSG_DEC[icount];lstView.DeleteAllItems();wchar_t buff[0xFF];GetPrivateProfileString(L"main", L"title", L"", buff, 0xFF, inifile);this->SetWindowText(buff);GetPrivateProfileString(L"main", L"name", L"", buff, 0xFF, inifile);productName = buff;WritePrivateProfileString(L"main", L"defPro", productName, SetIni);/*CString App;CString AppData;CString _Name;它是用来初始化字符串的,利用 Foramt 函数把从.ini文件里获取的数据全部转成字符串*/CString App;CString AppData;CString _Name;for (int i = 0; i < icount; i++){App.Format(L"Message_%d", i);GetPrivateProfileString(App, L"name", L"", _MsgPtr[i].txtName, 0xFF, inifile);_Name.Format(L"%s", _MsgPtr[i].txtName);GetPrivateProfileString(App, L"define", L"", _MsgPtr[i].txtDefine, 0xFF, inifile);GetPrivateProfileString(App, L"type", L"", buff, 0xFF, inifile);_MsgPtr[i].Type = TxtToType(buff);GetPrivateProfileString(App, L"istxt", L"", buff, 0xFF, inifile);_MsgPtr[i].IsTxt = TxtToBool(buff);;int lcount = GetPrivateProfileInt(App, L"count", 0, inifile);_MsgPtr[i].Datas = new DATA_DEC[lcount];_MsgPtr[i].DataCount = lcount;for (int j = 0; j < lcount; j++){AppData.Format(L"%s_%d", _Name.GetBuffer(), j);PDATA dataDec = &(_MsgPtr[i].Datas[j]);dataDec->Msg = &(_MsgPtr[i]);GetPrivateProfileString(AppData, L"id", L"0", buff, 0xFF, inifile);dataDec->Id = _wtoi(buff);GetPrivateProfileString(AppData, L"name", L"0", dataDec->Name, 0xFF, inifile);GetPrivateProfileString(AppData, L"backcolor", L"0", buff, 0xFF, inifile);dataDec->BackColor = TxtToColor(buff);GetPrivateProfileString(AppData, L"fontcolor", L"0", buff, 0xFF, inifile);dataDec->FontColor = TxtToColor(buff);GetPrivateProfileString(AppData, L"isui", L"0", buff, 0xFF, inifile);dataDec->IsUi = TxtToBool(buff);GetPrivateProfileString(AppData, L"istxt", L"0", buff, 0xFF, inifile);dataDec->IsTxt = TxtToBool(buff);GetPrivateProfileString(AppData, L"istxtalone", L"0", buff, 0xFF, inifile);dataDec->IsTxtAlone = TxtToBool(buff);}}/*要做一个数据包保存到硬盘功能mainlog = DataPath + productName; 是用来获取保存到什么文件的也就是一个文件的绝对路径,这个文件用来保存数据包*/mainlog = DataPath + productName; 
}void CDataAnlyDlg::OnNMCustomdrawList1(NMHDR* pNMHDR, LRESULT* pResult)
{LPNMCUSTOMDRAW pNMCD = reinterpret_cast<LPNMCUSTOMDRAW>(pNMHDR);// TODO: 在此添加控件通知处理程序代码*pResult = 0;NMLVCUSTOMDRAW* lp = (NMLVCUSTOMDRAW*)pNMHDR;NMCUSTOMDRAW& ncmd = lp->nmcd;switch (ncmd.dwDrawStage){case CDDS_PREPAINT: {*pResult = CDRF_NOTIFYITEMDRAW;break;}case CDDS_ITEMPREPAINT: {PDATA _data = (PDATA)lstView.GetItemData(ncmd.dwItemSpec);if (_data) {lp->clrTextBk = _data->BackColor;lp->clrText = _data->FontColor;*pResult = CDRF_DODEFAULT;}break;}}}void CDataAnlyDlg::Savelog(const wchar_t* logs, const wchar_t* file)
{// 设置追加写入文件std::wofstream ofs(file, std::ios::app);// 设置语言集,防止写中文出错ofs.imbue(std::locale("chs")); if (ofs.bad())return;ofs << logs << std::endl;ofs.close();
}// 加载按钮
void CDataAnlyDlg::OnBnClickedButton5()
{LoadConfig(DefConfigIni);
}void CDataAnlyDlg::OnNMClickList1(NMHDR* pNMHDR, LRESULT* pResult)
{LPNMITEMACTIVATE pNMItemActivate = reinterpret_cast<LPNMITEMACTIVATE>(pNMHDR);// TODO: 在此添加控件通知处理程序代码*pResult = 0;NM_LISTVIEW* p = (NM_LISTVIEW*)pNMHDR;if (p->iItem != -1) {wndData.ShowWindow(TRUE);wndData.m_Edit.SetWindowTextW(lstView.GetItemText(p->iItem,2));}
}

DataAnlyDlg.cpp文件的修改:新加 OnNMClickList1函数(列表鼠标左键单击事件处理函数)


// DataAnlyDlg.h: 头文件
//#pragma once
#include "CSet.h"
#include "MSG_DEC.h"
#include "CWndData.h"typedef struct COPY_DATA {time_t ltime; // 时间unsigned MsgType; // 数据类型unsigned len; // 数据长度char buff[0x2000]; // 数据
}*PCOPYDATA;// CDataAnlyDlg 对话框
class CDataAnlyDlg : public CDialogEx
{
// 构造
public:CDataAnlyDlg(CWnd* pParent = nullptr);	// 标准构造函数// 对话框数据
#ifdef AFX_DESIGN_TIMEenum { IDD = IDD_DATAANLY_DIALOG };
#endifprotected:virtual void DoDataExchange(CDataExchange* pDX);	// DDX/DDV 支持// 实现
protected:HICON m_hIcon;// 生成的消息映射函数virtual BOOL OnInitDialog();afx_msg void OnSysCommand(UINT nID, LPARAM lParam);afx_msg void OnPaint();afx_msg HCURSOR OnQueryDragIcon();DECLARE_MESSAGE_MAP()
public:CListCtrl lstView;afx_msg void OnBnClickedOk();afx_msg BOOL OnCopyData(CWnd* pWnd, COPYDATASTRUCT* pCopyDataStruct);BOOL Pause;afx_msg void OnBnClickedCheck1();afx_msg void OnBnClickedButton1();CSet wndSet;CWndData wndData;afx_msg void OnBnClickedButton4();void CDataAnlyDlg::LoadConfig(CString inifile);afx_msg void OnNMCustomdrawList1(NMHDR* pNMHDR, LRESULT* pResult);CString LogName; // 数据包写到硬盘上的文件名CString mainlog; // 数据包保存目录CString productName; // 当前titlevoid Savelog(const wchar_t* logs, const wchar_t* file);afx_msg void OnBnClickedButton5();afx_msg void OnNMClickList1(NMHDR* pNMHDR, LRESULT* pResult);
};

新加CWndData.h文件:

#pragma once// CWndData 对话框class CWndData : public CDialogEx
{DECLARE_DYNAMIC(CWndData)public:CWndData(CWnd* pParent = nullptr);   // 标准构造函数virtual ~CWndData();// 对话框数据
#ifdef AFX_DESIGN_TIMEenum { IDD = IDD_DIALOG1 };
#endifprotected:virtual void DoDataExchange(CDataExchange* pDX);    // DDX/DDV 支持DECLARE_MESSAGE_MAP()
public:CEdit m_Edit;HWND hTips;virtual BOOL OnInitDialog();void loops(HWND, UINT, CWndData* _this, DWORD);void ShowTips();CString lastTxt;
};

新加CWndData.cpp文件

// CWndData.cpp: 实现文件
//#include "pch.h"
#include "DataAnly.h"
#include "CWndData.h"
#include "afxdialogex.h"// CWndData 对话框IMPLEMENT_DYNAMIC(CWndData, CDialogEx)CWndData::CWndData(CWnd* pParent /*=nullptr*/): CDialogEx(IDD_DIALOG1, pParent)
{}CWndData::~CWndData()
{
}void CWndData::DoDataExchange(CDataExchange* pDX)
{CDialogEx::DoDataExchange(pDX);DDX_Control(pDX, IDC_EDIT1, m_Edit);
}BOOL CWndData::OnInitDialog()
{/*为了处理数据方便,我要给定时器一个成员函数然后成员函数它不满足 TIMERPROC 这个类型,编译器也不让我们强制转换所以要用一个联合体封装一下,联合体里的变量都共用一个内存内存大小由联合体里最大的变量决定*/union {TIMERPROC _address;void (CWndData::* _classProc)(HWND, UINT, CWndData*, DWORD);}v;v._classProc = &CWndData::loops;CDialogEx::OnInitDialog();/*定时器执行的函数stdcall,让它调用的函数是类的成员函数定时器调用的时候可能不会有this(也就是ecx的值不是类对象地址)所以这里要手动的把this传递过去这样可以方便在函数里对数据进行操作*/ ::SetTimer(m_hWnd, (UINT_PTR)this, 100, v._address);return TRUE;
}void CWndData::loops(HWND, UINT, CWndData* _this, DWORD)
{int nstart = 0;// 选中的内容起始下标int nend = 0; // 选中的内容结束下标_this->m_Edit.GetSel(nstart, nend); // 获取选中的文字int ncount = nend - nstart;if (ncount > 1) {CString txt;CString tmp;_this->m_Edit.GetWindowText(txt); // 获取编辑框里的内容tmp = txt.Mid(nstart, ncount);tmp.Replace(L" ", L""); // 把空格替换成空字符if (_this->lastTxt != tmp) {int lenth = tmp.GetLength();if (lenth % 2 == 0) { // 必须是2的倍数,如果不是就说明没有选择全_this->lastTxt = tmp;_this->ShowTips();}}}
}void CWndData::ShowTips()
{AfxMessageBox(lastTxt);
}BEGIN_MESSAGE_MAP(CWndData, CDialogEx)
END_MESSAGE_MAP()// CWndData 消息处理程序

这篇关于27.网络游戏逆向分析与漏洞攻防-网络通信数据包分析工具-数据推测功能的实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/816970

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象