期货、期权tick数据接收工具

2023-11-02 19:40

本文主要是介绍期货、期权tick数据接收工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

功能:

1、开启之后,7*24自动运行。

2、在共享内存中存放当个交易日的tick数据,方便随时取用。

3、支持多行情源取数据。经过测试一个行情源峰值带宽要求为20M,所以使用时要配合带宽限制。

4、夜盘结束时输出一下tick数据,白盘结束时输出所有tick。

5、支持查询指令:

 运行时如下:

代码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

469

470

471

472

473

474

475

476

477

478

479

480

481

482

483

484

485

486

487

488

489

490

491

492

493

494

495

496

497

498

499

500

501

502

503

504

505

506

507

508

509

510

511

512

513

514

// FutureDataReceive.cpp : 定义控制台应用程序的入口点。

//

#include "stdafx.h"

#include "ThostFtdcMdSpiImpl.hpp"

#include "ThostFtdcTraderSpiImpl.hpp"

#include "future_helper.h"

#include "TinyConfig.h"

#include "FileMap.h"

#include <boost/lockfree/queue.hpp>

#include <iostream>

#include <conio.h>

CFileMap g_fileMap;

TinyConfig g_config;

CThostFtdcTraderSpiImpl g_trade;

vector<shared_ptr<CThostFtdcMdSpiImpl>> g_vecQuote;

int g_nPreTradingDay;

int g_nTradingDay;

bool g_bThread = true;

boost::lockfree::queue<CThostFtdcDepthMarketDataField> g_buffer(1000);

shared_ptr<thread> g_thdDealData = nullptr;

vector<CThostFtdcDepthMarketDataField> g_vecBuffer;

void OnLog(const char* p)

{

    printf(p);

    ofstream ofs_log("./log.data.receive.txt", ios_base::app);

    ofs_log << future_helper::get_local_datetime().c_str() << " " << p;

    ofs_log.close();

}

#pragma region trade module

///trade call back

bool g_bTradeLoginIn = false;

void OnTradeComplete()

{

    int nTradingDay = atoi(g_trade.GetTradingDay());

    if (g_nTradingDay != 0 && g_nTradingDay != nTradingDay)

        g_nPreTradingDay = g_nTradingDay;

    g_nTradingDay = nTradingDay;

    g_bTradeLoginIn = true;

    printf("交易日:%d-%d\n", g_nPreTradingDay, g_nTradingDay);

}

void OnTradeRspMessage(const char* from, const char* msg, future_msg_type msg_type)

{

    OnLog(future_helper::format_string("%s%s:%s\n", msg_type == future_msg_type::CTP_SUCCESS ? "" "*", from, msg).c_str());

}

void TradeLogin()

{

    int retry_time = 3;

    while (1)

    {

        g_bTradeLoginIn = false;

        g_trade.SetCallBackFunc(OnTradeComplete, nullptr, OnTradeRspMessage);

        g_trade.SetAuthenticate(g_config.GetValue("Trade""product").c_str(), g_config.GetValue("Trade""id").c_str(), g_config.GetValue("Trade""code").c_str());

        g_trade.InitParams(g_config.GetValue("Trade""ip").c_str(), g_config.GetValue("Trade""broker").c_str(),

            g_config.GetValue("Trade""user").c_str(), g_config.GetValue("Trade""password").c_str());

        int tick = GetTickCount();

        while (1)

        {

            if (g_bTradeLoginIn) break;

            this_thread::sleep_for(chrono::milliseconds(100));

            if (GetTickCount() - tick > 60 * 1000) break;

        }

        g_trade.Release();

        g_fileMap.SetTradingDay(g_nPreTradingDay, g_nTradingDay);

        if (g_bTradeLoginIn) break;

        retry_time--;

        OnLog("交易 登录超时[1分钟],重新登录\n");

        if (retry_time == 0)

        {

            OnLog("交易 登录次数达到3次,不再尝试重新登录!\n");

            break;

        }

    }

}

//

#pragma endregion trade module

///market call back

int g_nMarketLoginIn = 0;

void OnMarketComplete()

{

    g_nMarketLoginIn++;

}

void OnMarketRspMessage(const char* from, const char* msg, future_msg_type msg_type)

{

    OnLog(future_helper::format_string("%s%s:%s\n", msg_type == future_msg_type::CTP_SUCCESS ? "" "*", from, msg).c_str());

}

void OnDepthMarketData(CThostFtdcDepthMarketDataField* p)

{

    if (!p) return;

    g_buffer.push(*p);

}

void MarketLogin()

{

    int retry_time = 3;

    std::vector<CThostFtdcInstrumentField> vecTradingCode;

    g_trade.GetTradingCode(vecTradingCode, THOST_FTDC_PC_Futures);

    g_trade.GetTradingCode(vecTradingCode, THOST_FTDC_PC_Options);

    printf("订阅合约:%d\n", vecTradingCode.size());

    g_fileMap.SetTradingCode(vecTradingCode);

    while (1)

    {

        g_nMarketLoginIn = 0;

        for (int i = 1; i <= 3; i++)

        {

            string this_ip = g_config.GetValue("Market", future_helper::format_string("ip%d", i).c_str());

            if (this_ip == ""break;

            auto pMdSpi = make_shared<CThostFtdcMdSpiImpl>();

            g_vecQuote.push_back(pMdSpi);

            pMdSpi->SetTradingCode(vecTradingCode);

            pMdSpi->SetCallBackFunc(OnDepthMarketData, OnMarketRspMessage, nullptr, OnMarketComplete);

            pMdSpi->InitParams(this_ip.c_str(), "8888""88888888""88888888");

        }

        int tick = GetTickCount();

        while (1)

        {

            if (g_nMarketLoginIn == g_vecQuote.size()) break;

            this_thread::sleep_for(chrono::milliseconds(100));

            if (GetTickCount() - tick > 60 * 1000) break;

        }

        if (g_nMarketLoginIn > 0 && g_nMarketLoginIn != g_vecQuote.size())

        {

            int nUnconnectIndex = 1;

            OnLog("***********************\n");

            OnLog("*有未能正常登录的行情账号:\n");

            for (auto iter = g_vecQuote.begin(); iter != g_vecQuote.end(); iter++)

            {

                if (!(*iter)->IsConnected())

                {

                    OnLog(future_helper::format_string("%d、%s\n", nUnconnectIndex, (*iter)->GetFrontIP()).c_str());

                    nUnconnectIndex++;

                }

            }

            OnLog("***********************\n");

            OnLog("已有行情连接成功,未连接的不尝试重连\n");

        }

        if (g_nMarketLoginIn > 0) break;

        OnLog("行情 登录超时[1分钟],重新登录\n");

        retry_time--;

        if (retry_time == 0)

        {

            OnLog("行情 登录次数达到3次,不再尝试重新登录!\n");

            break;

        }

    }

}

void ThreadConsumeTick()

{

    OnLog("处理线程已启动\n");

    map<string, CThostFtdcDepthMarketDataField> m_mapShot;

    while (g_bThread)

    {

        if (g_buffer.empty())

        {

            this_thread::sleep_for(chrono::milliseconds(5));

            continue;

        }

        CThostFtdcDepthMarketDataField data;

        g_buffer.pop(data);

        if (data.UpdateTime[2] == ':') {

            data.UpdateTime[2] = data.UpdateTime[3];

            data.UpdateTime[3] = data.UpdateTime[4];

            data.UpdateTime[4] = data.UpdateTime[6];

            data.UpdateTime[5] = data.UpdateTime[7];

            data.UpdateTime[6] = 0;

        }

         

        if (atoi(data.UpdateTime) > 180000) {

            _snprintf_s(data.TradingDay, 9, "%d", g_nPreTradingDay);

        }

        else {

            _snprintf_s(data.TradingDay, 9, "%d", g_nTradingDay);

        }

        bool bNewTick = false;

        auto find_shot = m_mapShot.find(data.InstrumentID);

        if (find_shot == m_mapShot.end())

        {

            bNewTick = true;

            m_mapShot[data.InstrumentID] = data;

        }

        else

        {

            long long llThis = future_helper::to_longlong(atoi(data.TradingDay), atoi(data.UpdateTime)) * 1000 + data.UpdateMillisec;

            long long llLast = future_helper::to_longlong(atoi(find_shot->second.TradingDay), atoi(find_shot->second.UpdateTime)) * 1000 + find_shot->second.UpdateMillisec;

            if (llThis > llLast || find_shot->second.Volume < data.Volume)

            {//郑商所没有毫秒

                bNewTick = true;

                find_shot->second = data;

            }

        }

        if (bNewTick && g_fileMap.IsOK()) {

            g_fileMap.AddDepthData(&data);

        }

        else if (bNewTick) {

            g_vecBuffer.push_back(data);

        }

    }

    OnLog("处理线程已退出\n");

}

//bReset == true:清空共享内存中的tick数据

void OutPutTickData(bool bReset)

{

    unsigned int* exist_size;

    CThostFtdcDepthMarketDataField* p = g_fileMap.GetDepthData(&exist_size);

    if (!p || *exist_size <= 0) {

        OnLog("共享内存中无任何tick数据\n从内存中导出\n");

        if (g_vecBuffer.size() == 0)

        {

            OnLog("内存中无任何tick数据\n");

            return;

        }

        future_helper::safe_create_floder((g_config.GetValue("Path""tick_normal") + "\\" + future_helper::to_string(g_nTradingDay / 10000)).c_str());

        ofstream ofs_tick(g_config.GetValue("Path""tick_normal") + "\\" + future_helper::to_string(g_nTradingDay / 10000) +

            "\\data_" + future_helper::to_string(g_nTradingDay) + ".txt", ios_base::out);

        for (auto& field : g_vecBuffer)

        {

            char szBuf[1024];

            _snprintf_s(szBuf, 1024,

                //交易日,最后修改时间,最后修改毫秒,合约代码,

                //最新价,上次结算价,昨收盘,昨持仓量,

                //今开盘,最高价,最低价,数量,成交金额,持仓量,

                //涨停板价,跌停板价,

                //申买价一,申买量一,申卖价一,申卖量一,

                //当日均价

                "%s,%s,%d,%s,%.4f,%.4f,%.4f,%.4f,%.4f,%.4f,%.4f,%d,%.4f,%.4f,%.4f,%.4f,%.4f,%d,%.4f,%d,%.4f\n",

                field.TradingDay, field.UpdateTime, field.UpdateMillisec, field.InstrumentID,

                field.LastPrice, field.PreSettlementPrice, field.PreClosePrice, field.PreOpenInterest,

                field.OpenPrice, field.HighestPrice, field.LowestPrice, field.Volume, field.Turnover, field.OpenInterest,

                field.UpperLimitPrice, field.LowerLimitPrice,

                field.BidPrice1, field.BidVolume1, field.AskPrice1, field.AskVolume1,

                field.AveragePrice);

            ofs_tick << szBuf;

        }

        return;

    }

    OnLog(future_helper::format_string("输出共享内存中的tick数据 %d 个\n", *exist_size).c_str());

    future_helper::safe_create_floder((g_config.GetValue("Path""tick_normal") + "\\" + future_helper::to_string(g_nTradingDay / 10000)).c_str());

    ofstream ofs_tick(g_config.GetValue("Path""tick_normal") + "\\" + future_helper::to_string(g_nTradingDay / 10000) +

        "\\data_" + future_helper::to_string(g_nTradingDay) + ".txt", ios_base::out);

    for (int i = 0; i < *exist_size; i++)

    {

        auto& field = *(CThostFtdcDepthMarketDataField*)(p + i);

        char szBuf[1024];

        _snprintf_s(szBuf, 1024,

            //交易日,最后修改时间,最后修改毫秒,合约代码,

            //最新价,上次结算价,昨收盘,昨持仓量,

            //今开盘,最高价,最低价,数量,成交金额,持仓量,

            //涨停板价,跌停板价,

            //申买价一,申买量一,申卖价一,申卖量一,

            //当日均价

            "%s,%s,%d,%s,%.3f,%.4f,%.4f,%.4f,%.4f,%.4f,%.4f,%d,%.4f,%.4f,%.4f,%.4f,%.4f,%d,%.4f,%d,%.4f",

            field.TradingDay, field.UpdateTime, field.UpdateMillisec, field.InstrumentID,

            future_helper::check_double(field.LastPrice), future_helper::check_double(field.PreSettlementPrice), future_helper::check_double(field.PreClosePrice), future_helper::check_double(field.PreOpenInterest),

            future_helper::check_double(field.OpenPrice), future_helper::check_double(field.HighestPrice), future_helper::check_double(field.LowestPrice), field.Volume, future_helper::check_double(field.Turnover), future_helper::check_double(field.OpenInterest),

            future_helper::check_double(field.UpperLimitPrice), future_helper::check_double(field.LowerLimitPrice),

            future_helper::check_double(field.BidPrice1), field.BidVolume1, future_helper::check_double(field.AskPrice1), field.AskVolume1,

            future_helper::check_double(field.AveragePrice));

        ofs_tick << szBuf << endl;

    }

    ofs_tick.flush();

    ofs_tick.close();

    if (bReset)

        *exist_size = 0;

}

void Open()

{

    printf("%s\n", future_helper::get_local_datetime().c_str());

    g_nMarketLoginIn = 0;

    OnLog("区间交易开始!\n");

    if (!g_thdDealData) {

        g_bThread = true;

        g_thdDealData = make_shared<thread>(ThreadConsumeTick);

    }

    if (!g_fileMap.CreateFileMap(FILE_MAP_KEY))

    {

        OnLog("共享内存创建失败!直接存文件...\n");

    }

    else

    {

        g_fileMap.InitDefaultRange();

    }

    TradeLogin();

    unsigned int* exist_count;

    auto pTick = g_fileMap.GetDepthData(&exist_count);

    int local_time = atoi(future_helper::get_local_time(false).c_str());

    if ((!pTick || *exist_count == 0) && (local_time < 151500 || local_time > 180000))

    {

        ifstream ifs_tick(g_config.GetValue("Path""tick_normal") + "\\" + future_helper::to_string(g_nTradingDay / 10000) +

            "\\data_" + future_helper::to_string(g_nTradingDay) + ".txt", ios_base::in);

        if (ifs_tick.is_open())

        {

            OnLog("本地加载tick到共享内存:");

            int tick_count = 0;

            CThostFtdcDepthMarketDataField data;

            char szLine[1024];

            while (ifs_tick.getline(szLine, 1024))

            {

                future_helper::LineToStruct(szLine, data);

                g_fileMap.AddDepthData(&data);

                tick_count++;

            }

            OnLog(future_helper::format_string("%d条\n", tick_count).c_str());

        }

    }

    MarketLogin();

}

void Close()

{

    printf("%s\n", future_helper::get_local_datetime().c_str());

    int close_count = 0;

    for (auto& md : g_vecQuote)

    {

        if (md->IsConnected()) {

            close_count++;

            md->ReleaseAPI();

        }

    }

    g_vecQuote.clear();

    if (close_count > 0) {

        OnLog(future_helper::format_string("区间交易结束!关闭行情接收:%d\n", close_count).c_str());

        if (g_thdDealData && g_thdDealData->joinable()) {

            g_bThread = false;

            g_thdDealData->join();

            g_thdDealData = nullptr;

        }

    }

    g_nMarketLoginIn = 0;

    OnLog(future_helper::format_string("共享内存使用%d/%d(mb)=%.2f%%%%\n",

        g_fileMap.GetTotalUsedSpace() / 1024 / 1024, MAX_PAGE_SIZE / 1024 / 1024,

        (double)g_fileMap.GetTotalUsedSpace() * 100 / MAX_PAGE_SIZE).c_str());

}

int main()

{

    if (!g_config.Open((future_helper::GetWorkingDir() + "\\system.ini").c_str()))

    {

        OnLog("system.ini打开失败\n");

        system("pause");

    }

    OnLog("执行开启共享内存测试...");

    if (!g_fileMap.CreateFileMap(FILE_MAP_KEY))

    {

        OnLog("失败!");

        system("pause");

    }

    else

    {

        OnLog("成功!\n");

        g_fileMap.Release();

    }

    OnLog("==========start==========\n");

    printf("初次启动需要输入前交易日,用来更新夜盘的日期...");

    scanf_s("%d", &g_nPreTradingDay);

    int night_tick_count = -1;

    int last_local_time = atoi(future_helper::get_local_time(false).c_str());

    while (1)

    {

        if (_kbhit() != 0)

        {

            printf("**********不要长时间阻塞此处,这样将导致软件无法正常工作!***********\n");

            printf("**********记得输入完之后按回车键哦!                      ***********\n");

            string str;

            std::getline(std::cin, str);

            if (str == "quit")

            {

                Close();

                break;

            }

            else if (str == "help")

            {

                printf("quit:退出\n");

                printf("help:帮助\n");

                printf("open:手动开启接收\n");

                printf("close:手动关闭接收\n");

                printf("tradingday:交易日\n");

                printf("tradingcode:可交易合约\n");

                printf("tickdata:输出接收到的tick数据\n");

                printf("sharememory:共享内存使用率\n");

            }

            else if (str == "open")

            {

                Open();

            }

            else if (str == "close")

            {

                Close();

            }

            else if (str == "tradingday")

            {

                printf("交易日:%d-%d\n", g_nPreTradingDay, g_nTradingDay);

            }

            else if (str == "tradingcode")

            {

                printf("期货可交易合约:\n");

                map<string, vector<CThostFtdcInstrumentField>> mapClasses;

                vector<CThostFtdcInstrumentField> vec;

                g_trade.GetTradingCode(vec, THOST_FTDC_PC_Futures);

                for (auto& item : vec)

                {

                    mapClasses[item.ProductID].push_back(item);

                }

                for (auto iter = mapClasses.begin(); iter != mapClasses.end(); iter++)

                {

                    printf("%s:", iter->first.c_str());

                    for (auto& item : iter->second)

                    {

                        printf("%s ", item.InstrumentID);

                    }

                    printf("\n");

                }

            }

            else if (str == "tickdata")

            {

                OutPutTickData(false);

            }

            else if (str == "sharememory")

            {

                unsigned int* exist_size;

                CThostFtdcDepthMarketDataField* p = g_fileMap.GetDepthData(&exist_size);

                OnLog(future_helper::format_string("tick数据个数:%d\n共享内存使用%d/%d(mb)=%.2f%%%%\n",

                    p ? *exist_size : 0,

                    g_fileMap.GetTotalUsedSpace() / 1024 / 1024, MAX_PAGE_SIZE / 1024 / 1024,

                    (double)g_fileMap.GetTotalUsedSpace() * 100 / MAX_PAGE_SIZE).c_str());

            }

        }

        int local_time = atoi(future_helper::get_local_time(false).c_str());

        if ((local_time >= 23500 && last_local_time < 23500) ||

            (local_time >= 155000 && last_local_time < 155000))

        {

            unsigned int* exist_count;

            auto pTick = g_fileMap.GetDepthData(&exist_count);

            Close();

            if ((local_time >= 155000 && last_local_time < 155000)){

                OnLog("交易日结束了?...");

                if (night_tick_count == -1 || *exist_count > night_tick_count) {

                    OnLog("是的!\n");

                    OutPutTickData(true);

                    if (night_tick_count != -1) {

                        OnLog("打开TickToKline.exe\n");

                        ::ShellExecute(NULL, "open", (future_helper::GetWorkingDir() + "\\TickToKline.exe").c_str(), "1", NULL, SW_SHOW);

                    }

                     

                    night_tick_count = -1;

                }

                else

                {

                    OnLog(future_helper::format_string("没有!(共享内存的数据没有比夜盘多%d-%d)!\n",

                        night_tick_count, *exist_count).c_str());

                }

            }

            else

            {

                OnLog("夜盘结束了?...");

                if (night_tick_count == -1 && *exist_count > 0) {

                    OnLog("是的!输出一次夜盘数据\n");

                    night_tick_count = *exist_count;

                    OutPutTickData(false);

                }

                else

                {

                    OnLog("现在不是夜盘结束时间!(没有夜盘数据 或者 已经输出过一次夜盘数据了)\n");

                }

            }

        }

        if ((local_time >= 82000 && last_local_time < 82000) ||

            (local_time >= 202000 && last_local_time < 202000))

        {

            Close();

            Open();

        }

        last_local_time = local_time;

        this_thread::sleep_for(chrono::seconds(1));

    }

    return 0;

}

这篇关于期货、期权tick数据接收工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/332851

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav