无人机UAV目标检测与跟踪（代码+数据）

本文主要是介绍无人机UAV目标检测与跟踪（代码+数据），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

近年来，随着无人机的自主性、灵活性和广泛的应用领域，它们在广泛的消费通讯和网络领域迅速发展。无人机应用提供了可能的民用和公共领域应用，其中可以使用单个或多个无人机。与此同时，我们也需要意识到无人机侵入对空域安全造成的潜在威胁。今年早些时候，多次无人机目击事件导致机场停飞，给航空公司带来了巨大的经济损失。

在这里插入图片描述

目前，在计算机视觉社区中，没有一个高质量的反无人机数据集被用于真实动态场景的捕捉。为了弥补这一空白，该项目提出了一个新的数据集、评估指标和基线方法，用于发现、检测、识别和跟踪无人机的领域。该数据集包含高质量的全高清视频序列（包括RGB和IR），涵盖了多种多尺度无人机的多次出现，并且密集注释了每个帧中的边界框、属性和标志，指示目标是否存在。

数据介绍

该数据集包含三个子集，即训练子集、track 1测试子集和track 2测试子集。训练子集由200个热红外视频序列组成，并发布详细的注释文件（包括目标是否存在、目标位置信息和各种挑战）。track 1测试子集也包含200个视频序列，仅提供第一帧中目标的位置信息；track 2测试子集包含200个视频序列，该track不提供任何标记信息，需要参与者通过检测和跟踪来获取目标的存在标志和相应的目标位置信息。以上三个子集之间没有任何重叠部分。我们建议参与者根据训练子集中的多类标签信息训练适合的检测器或跟踪器模型。
在这里插入图片描述

环境要求

运行脚本

> conda activate project_uav
> python detect_tracking.py

project_uav环境主要包括：

pytorch(1.7.1)、
torchvision(0.8.2)、
Cython、tqdm、
PyYAML、
matplotlib、
numpy、Pillow、
opencv、scipy

代码

from __future__ import divisionimport os
import cv2
import sys
import time
import torch
import struct
import socket
import logging
import datetime
import argparseimport numpy as np
from PIL import Imageimport pdb# sys.path.append(r"C:\Users\aaa\Desktop\DetectionLib\DroneTracker")
# sys.path.append(r"C:\Users\aaa\Desktop\DetectionLib\DroneDetector")# from detector import DroneDetection
# from trackinguav.evaluation.tracker import Trackerfrom detect_wrapper.Detectoruav import DroneDetection
from tracking_wrapper.dronetracker.trackinguav.evaluation.tracker import Trackersys.path.append(os.path.join(os.path.dirname(__file__),'detect_wrapper'))
sys.path.append(os.path.join(os.path.dirname(__file__),'tracking_wrapper\\dronetracker'))
sys.path.append(os.path.join(os.path.dirname(__file__),'tracking_wrapper\\drtracker'))import warnings
warnings.filterwarnings("ignore")# # import torchvision
# # from torch.utils.data import DataLoader
# # from torchvision import datasets
# from torch.autograd import Variable
#import matplotlib.pyplot as plt
#import matplotlib.patches as patches
#from matplotlib.ticker import NullLocator
#import jsong_init = False
g_detector = None  # 检测器
g_tracker = None   # 跟踪器
g_logger = None
detect_box=None
track_box=None
g_data = None
detect_first =True
g_enable_log = True
repeat_detect=Truecount = 0
g_frame_counter = 0
TRACK_MAX_COUNT = 150Visualization = 1
sendLocation = 0#全局socket
udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
#目标主机的IP和端口, 用来发送坐标
IP = '192.168.0.171'
Port = '9921'def safe_log(msg):if g_logger:g_logger.info(msg)def send_bbs(bbs):global g_loggerif g_logger:g_logger.info('send a box : {}'.format(bbs))def mono_to_rgb(data):w, h = data.shapeimg = np.zeros((w, h, 3), dtype=np.uint8)img[:, :, 0] = dataimg[:, :, 1] = dataimg[:, :, 2] = datareturn imgdef rgb_to_ir(data):w, h, c = data.shapeimg = np.zeros((w, h), dtype=np.uint8)img = data[:,:,0]return imgdef distance_check(bbx1, bbx2, thd):cx1 = bbx1[0]+bbx1[2]/2cy1 = bbx1[1]+bbx1[3]/2cx2 = bbx2[0]+bbx2[2]/2cy2 = bbx2[1]+bbx2[3]/2dist = np.sqrt((cx1-cx2)**2+(cy1-cy2)**2)return dist<thddef scale_coords(img1_shape, coords, img0_shape):# Rescale coords (xyxy) from img1_shape to img0_shapegainx = img1_shape[0] / img0_shape[0]gainy = img1_shape[1] / img0_shape[1]coords[0]= coords[0]/gainxcoords[1]= coords[1]/gainycoords[2]= coords[2]/gainxcoords[3]= coords[3]/gainycoords = [int(x) for x in coords]return coords