Deep Q-Learning-Based Node Positioning for Throughput-Optimal Communications in Dynamic UAV 论文笔记

Deep Q-Learning-Based Node Positioning for Throughput-Optimal Communications in Dynamic UAV Swarm Network

1、创新点

1)使用多层协议参数来识别无人机群状态

• 物理层 $\to$SINR
• 数据链路层 $\to$ BER
• 网络层 $\to$ PDR & RTG

2) 基于M/G/1抢占式重复优先的多跳队列模型

3）使用DQN进行链路选择和位置确定

2、模型

• swarm node 普通节点

• gateway node 网关节点，用于和上层控制节点交流

• relay node 中继节点，当链路断开，中继节点补位修复链路

  本文中的SINR定义为：
  $${\gamma }_{ij}[n]=\frac{P_i[n]G_{ij}[n]}{{\sum }_{k=1,k\ne i}^N{P}_k[n]G_{ik}[n]+{\sigma }^2}$$

  $P_i$是发射功率，$G_{ij}$是信道关联相应，$P_k$是节点k对节点j的影响，${\sigma }^2$是造成方差。

  每个时隙节点i可到达的平均数据速率表示为：
  $$R_i=\frac{1}{N_T}{R}_i[n]=\frac{1}{N_T}\sum _{n=1}^{N_T}B.log2(1+{\gamma }_{ij}[n])$$

3、算法

1）MHQ-PRP队列模型

数据包服务时间:
$$E[X_{i,h}]=\frac{L_i}{R_{i,h,h+1}(1-{\rho }_{i,h,h+1})}$$
因此，具有平均信道访问延迟$E[W_h]$的，在跳数h的优先级i分组的平均服务时间为:
$$E[S_{i,h}]=E[W_h]+E[X_{i,h}]$$
可以确定从源节点发送的数据包在跃点h处的平均端到端PDR为：
$${\Psi }_{i,h}=Prob(W_{i,h}>d_i-\sum _{j=0}^{h-1}E[W_{i,j}]=(\sum _{i-1}^4{\lambda }_{i,h}E[S_{i,h}]\left)exp\right(-\frac{(d_i-{\sum }_{j=1}^{h}E[W_{i,j}])({\sum }_{i=1}^4{\lambda }_{i,h}E[S_{i,h}])}{E[W_{i,h}]})$$

2)DQN

本文的主要算法思想思想是：使用DQN选择一条链路，使用优化算法确定具体位置。

如图的左边，通过DQN，在Path1,Path2中选择了Path1.

如图的右边，选定好链路之后，在P3,P4中选择了P4，因为P3处节点较多，链路质量不好，尽管P3更近一些。

• state

  $S^n$表示在时隙n的状态，用SINR，PDR，和外部影响来表示。 S n = { γ h j , Ψ i , h , J h } n − 1 S^n=\{\gamma_{hj},\Psi_{i,h},J_h\}^{n-1} Sn={γhj​,Ψi,h​,Jh​}n−1

• action

  选择一个链路$l_h$,且$h\in H$

• optimization

  搜索网格$A_g,g\in N_g$,$N_g$是所有网格位置。优化问题可以表示为：
  m a x 1 T ∫ n = 0 T R n d n s . t . : i . d t , k ≥ d m i n ; k ∈ { 1 , 2 , . . . , N n e i g h } i i . E [ W j ] ≤ D j ; j ∈ { 1 , 2 , 3 , 4 } i i i . j g = 0 ; g ∈ N g max \frac{1}{T}\int_{n=0}^{T}\mathbb{R}^ndn\\ s.t.:i.\ \ d_{t,k}\ge d_{min};k\in\{{1,2,...,N_{neigh}}\}\\ ii.\ \ E[W_j]\le D_j;j\in\{{1,2,3,4}\}\\ iii.\ \ j_g=0;g\in N_g maxT1​∫n=0T​Rndns.t.:i.  dt,k​≥dmin​;k∈{1,2,...,Nneigh​}ii.  E[Wj​]≤Dj​;j∈{1,2,3,4}iii.  jg​=0;g∈Ng​
  有三个约束：1、距离大于最小距离，要不然会撞

  ​ 2、平均时延要低于deadline

  ​ 3、表示外部干扰是否存在

• reward
  $$\mathbb{R}={\gamma }_{ij}[n]=\frac{P_i[n]G_{ij}[n]}{P_{ESS}{J}_g+{\sum }_{k=1,k\ne i}^M{P}_k[n]G_{ik}[n]+{\sigma }_j^2}$$

神经网络结构：

为了体现连续性，定义一个$\mathcal{B}$,使得 φ n = { s n − B ， a n − B , . . . , a n − 1 , s n } \varphi^n=\{s^{n-\mathcal{B}}，a^{n-\mathcal{B}},...,a^{n-1},s^n\} φn={sn−B，an−B,...,an−1,sn}输入进CNN中，得到$Q({\phi }^n,a|{\theta }^n)$.放到经验池中。 D = { e 1 , . . . , e n } , w h e r e e n = ( φ n , a n , R s n , φ n + 1 ) \mathbb{D}=\{e^1,...,e^n\},where\ e^n=(\varphi^n,a^n,\mathbb{R}_s^n,\varphi^{n+1}) D={e1,...,en},where en=(φn,an,Rsn​,φn+1)