（文献阅读）Evolution of MAC Protocols in the MachineLearning Decade: A Comprehensive Survey

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

前言

一、文章摘要

调查的主要内容

三、文章内容

机器学习算法

媒介访问机制的分类

基于竞争的协议

基于非竞争的协议

MAC协议设计的问题

无线传感网络

总结

前言

MAC协议在机器学习十年中的演变

会议：IEEE COMMUNICATION SURVEYS & TUTORIALS

文章链接：https://arxiv.org/pdf/2302.13876.pdf

背景知识

Q-Learning

Q-learning是一种强化学习（Reinforcement Learning，RL）算法，用于解决决策问题，其中一个智能代理（Agent）需要在一个环境中采取行动，以获得最大的累积奖励。这个算法的核心思想是代理通过不断地尝试不同的行动，根据奖励信号来学习哪些行动是最有利的。

1. 状态和动作：

   • 在Q-learning中，我们首先要定义问题的状态和动作。状态（State）是描述代理所处情境的信息，而动作（Action）是代理可以采取的操作。例如，如果我们正在训练一个自动驾驶车辆，状态可能包括车辆的位置、速度、周围车辆的位置等，动作可能是加速、减速、转向等。

2. Q值：

   • Q-learning使用一个Q表（或Q函数）来存储状态和动作的映射关系。每个表项Q(s, a)表示在状态s下采取动作a的预期回报或总奖励。这个值表示了代理在特定状态下采取特定动作的好坏程度。初始时，Q表中的值通常被初始化为0或随机值。

3. Q值更新：

   • 代理通过与环境的互动来不断更新Q表。在执行一个动作后，代理会观察到一个奖励值（Reward），并转移到一个新的状态。

ALOHA协议

    纯ALOHA协议的基本思想是，当网络中的任何一个站点需要发送数据时，可以不进行任何检测就发送数据。如果在一段时间内未收到确认，那么该站点就认为传输过程中发生了冲突。发送站点需要等待一段时间后再发送数据，直至发送成功。
    每个站均自由地发送数据帧。为简化问题，不考虑由信道不良而产生的误码，并假定所有站发送的帧都是定长的，帧的长度不用比特而用发送这个帧所需的时间来表示，用T0表示这段时间。
     当站1发送帧1时，其他站都未发送数据，所以站1的发送必定是成功的。但随后站2和站N-1发送的帧2和帧3在时间上重叠了一些(即发生了碰撞)。碰撞的结果是，碰撞双方（有时也可能是多方）所发送的数据出现了差错，因而都须进行重传。但是发生碰撞的各站并不能马上进行重传，因为这样做必然会继续发生碰撞。纯ALOHA系统采用的重传策略是让各站等待一段随机的时间，然后再进行重传。若再次发生碰撞，则需要再等待一段随机的时间，直到重传成功为止。

时隙信道跳变

信道跳变是一种通信技术，其中通信系统在不同的频率信道之间进行切换。这是为了减少干扰、提高通信质量和安全性的一种方法。在信道跳变中，通信设备定期切换到不同的频率信道，这种切换可以在发送端和接收端都协调完成。这可以防止干扰源持续干扰特定的频率信道，因为通信会在不同的信道上进行。

时隙信道跳变是一种扩展了信道跳变的概念，它主要用于时分多址（TDMA）通信系统中。在TDMA系统中，通信资源按时间分隔成时隙，不同用户在不同的时隙上进行通信。时隙信道跳变是指在不同的时隙中切换信道。这可以提高通信系统的安全性和抵抗干扰的能力，因为不仅在不同的频率信道之间切换，还在不同的时间时隙之间切换。

后决策状态

在强化学习中，代理系统与环境进行互动。代理系统在某个状态下选择一个动作，然后执行该动作，从而导致环境状态的转移。这个新的状态就是所谓的"后决策状态"，因为它是在代理系统做出决策之后发生的。

一、文章摘要

本篇论文是一个全面的调查来收集、分析和分类最近在ml启发的MAC技术方面的工作（机器学习对无线MAC协议的影响）

调查的主要内容

• 非常活跃的时期(即2012-2022年)发表的近期工作
• 只关注基于ml的MAC技术
• 多维分类调查
• 全面解释了各种MAC技术

三、文章内容

机器学习算法

媒介访问机制的分类

MAC协议分为基于竞争的和非竞争的协议。

基于竞争的协议

基于非竞争的协议

TDMA

FDMA

CDMA

MAC协议设计需要注意的问题

• 带宽效率：带宽是有限的。带宽效率定义为用于传输数据的带宽与可用的总带宽的比率，提高带宽效率意味着使用更多的带宽比率进行数据传输。
• QoS(Quality of Service,服务质量)指一个网络能够利用各种基础技术,为指定的网络通信提供更好的服务能力,是网络的一种安全机制, 是用来解决网络延迟和阻塞等问题的一种技术。预留带宽就是一种保持良好的QoS方法。
• 同步：需要使用同步时钟，但是在完全分布式的情况下很难同步。
• 隐藏和暴露端子问题：隐藏终端是基站A向基站B发送信息，基站C未侦测到A也向B发送，故A和C同时将信号发送至B，引起信号冲突，最终导致发送至B的信号都丢失了。暴露终端是指在发送节点的覆盖范围内而在接收节点的覆盖范围外的节点，暴露终端因听到发送节点的发送而可能延迟发送。但是，它其实是在接收节点的通信范围之外，它的发送不会造成冲突。这就引入了不必要的延时。
• 易出错的共享广播信道:当发送节点发送到源节点时，由于广播无线电的性质，源节点附近不应该有其他节点发送;否则可能发生碰撞。因为靠近传输节点的所有节点都可以听到该节点的传输。
• 分布式特性和无中心协调:自组织网络是一种无需中央控制的网络结构，它是由相互作用节点组成的，每个节点都能够相互通信和交换信息。自组织网络的主要特点是去中心化和自治性，也就是说它不需要任何中央控制器或管理机构来维护网络的稳定性和安全性，每个节点都能够自主管理和调控自己的行为。在这种网络中，MAC协议在进行有效的通道访问控制时应尽可能减少数据包交换的数量。
• 节点的移动性：MAC协议应该考虑移动性的性质和节点的速度，以提供最有效的机制

无线传感网络

无线传感器网络是一个由许多节点组成的网络，这些节点通过多跳通信来感知和处理数据。由于节点更换或充电困难，WSN的寿命主要取决于能量效率，也就是节点转发消息的能耗。

WSN的可能出现的问题：延迟增加和吞吐量降低等。

WSN网络里面不仅要考虑网络容量和能源资源，还要考虑吞吐量、延迟或生命周期等，所以就在网络里面引入一个标准方法，就是调度唤醒。

传统的调度唤醒分为三种：按需唤醒、同步和异步唤醒。

• 按需唤醒：一个单独的无线电管理唤醒功能，在不活动时，独立无线电使用的功率比主无线电少得多。主无线电保持休眠状态，直到从无线电发出信号，告诉无线电信道即将接收消息
• 同步唤醒：当节点之间可以通信的时候，节点以协调的方式打开它们的无线电，允许节点在预定的时间唤醒。需要一个同步节点。
• 异步唤醒：节点不知道彼此的调度，并且通信涉及发送方和接收方的成本增加

使用RL来调度WSN中节点的唤醒周期，节点唤醒必须满足两个主要条件。

1. 为了通信成功，节点在路由树中的父节点需要处于唤醒状态。（为了保证通信成功）
2. 除父节点外，其他相邻节点不应处于活动状态。（减少无线干扰和电池的损耗）

这通过强化学习的方法，让每个节点会学习何时唤醒自己以满足上述条件。它会记住在过去的时间里，哪些时间段是最适合唤醒的，以确保通信成功，以及哪些时间段是不需要唤醒的，以便节省电池。这个方法还会根据节点的通信历史来不断调整节点的唤醒策略。当一个节点需要进行通信时，它会唤醒自己。如果在唤醒状态下没有通信活动，节点可能会决定在未来的时间段内不唤醒自己，从而减少电池的消耗。

QL-MAC的新型无线传感器网络（WSN）通信协议，去帮助传感器节点更有效地使用能量以延长它们的寿命。协议使用Q-learning算法，它让每个节点学会如何在特定时间段内保持唤醒状态或休眠状态。节点会根据实际负荷情况来调整唤醒策略，以减少不必要的能量浪费，比如不必要的数据包冲突和过度重传。该协议还利用了节点之间的交互，以提供更好的性能理解和通信模式，以减少因不必要的监听和不积极的侦听而导致的能量浪费。可以帮助提高无线传感器网络的性能并延长设备的寿命。

详细介绍WSN的MAC协议

• TDMA-Based MACs

Enhanced tdma based mac protocol for adaptive datacontrol in wireless sensor networks

提出了BSMAC，在TDMA的基础上使用SJF算法（减少节点数据包的平均延迟和缩短节点的工作完成时间）和短地址标识节点（通过使用1字节短地址来标识成员节点）来提高性能、减少能源消耗和降低传输延迟。

Best-mac: Bitmap-assisted efficient and scalable tdma-basedwsn mac protocol for smart cities

提出了BEST-MAC，BEST-MAC使用大量小型时间槽，以适应不断变化的流量需求。它使用背包算法来缩短节点完成任务所需的时间，允许更多节点同时传输数据。该方案还增加了不同的冲突访问时间，以允许非成员节点在数据传输过程中加入网络。通过为每个成员节点提供一个一字节的短地址来定位它们，控制开销和能源消耗都被降到最低。

An energy-awarealgorithm for tdma mac protocols in real-time wireless networks

本篇论文提出了EI-MAC，目的是降低具有实时需求的无线网络中的能源消耗。每个节点可以根据性能与能源消耗的平衡来调整其带宽需求。考虑了碰撞、监听、控制数据包开销和空闲监听作为能源浪费的主要来源，同时还有收发器在不同工作模式（活动和休眠）之间切换所消耗的能量。

• Hybrid MACs

Cross-layer optimized mac to support multihop qos routing for wireless sensor networks

将基于时分多址(TDMA)的MAC协议和现有的基于争用的信道分配方案结合在一起。使得节点能够意识到不同性能测量之间的折衷。评估指标：平均能耗;平均端到端延迟;交付率。

An adaptive csma/tdma hybrid mac for energy and throughput improvement of wireless sensor networks

这篇论文提出了一种提出了一种CSMA/TDMA混合MAC协议，改进IEEE 802.15.4标准的能源消耗和吞吐量特性。在CSMA/CA方法中，碰撞避免机制在大规模无线传感器网络中并不高效。另外，IEEE 802.15.4中使用的分时CSMA/CA在新的超帧开始时，由于许多并发传输引发的碰撞，导致网络吞吐量较低。这种混合的MAC协议允许协调器根据网络上检测到的碰撞级别和节点的数据队列状态，合理划分争用访问周期（CAP）的时间，使其适用于分时CSMA/CA和TDMA。具体来说，通过在标准数据包头中使用预留位来准确获取队列状态信息。对标准IEEE 802.15.4进行了两个主要更改：一是通过使用信标帧数据字段向IEEE 802.15.4标准添加了一个TDMA时段，另一个是使协调器能够更改CAP中CSMA和TDMA之间的边界。

• Adaptive/Dynamic MACs

Selfadapting mac layer for wireless sensor networks

提出了一种自适应的MAC协议，这种协议支持在不同MAC协议之间进行实时切换，能够选择最适合当前条件和需求的MAC协议。它有一个MAC选择引擎，该引擎可以优化延迟、能源消耗和可靠性，同时考虑动态外部干扰。这个引擎包括三个主要模块：

1. Traffic Monitor（流量监控）：通过计算应用程序调用的发送命令的数据包间隔（IPI）的平均值和方差，来跟踪应用程序的流量模式。

2. Noise Monitor（干扰监控）：通过计算接收信号强度（RSS）的平均值和方差，来评估环境中的外部干扰程度。

3. Classifier（分类器）：根据应用程序指定的可靠性（R）、能源消耗（E）和延迟（L）等参数，以及从干扰监控和流量监控中获取的数值，来确定最适合的MAC协议。

An intelligent macprotocol selection method based on machine learning in wireless sensor
networks

提出了一种用于动态网络环境的MAC协议选择模型。目的是在不同网络参数下选择最合适的MAC协议，以优化网络性能。这个模型分为两个主要阶段：

1. 分类学习过程：在第一阶段，研究人员使用机器学习算法中的序列最小优化算法（SMO）来训练不同类型的特征数据集，以获得最佳的分类结果。这些特征数据集基于不同的网络参数，如网络负载、干扰水平等。在这个阶段，模型学会如何根据这些参数将网络环境分类为适合不同MAC协议的情况。

2. 选择决策过程：在第二阶段，对于网络中的每个节点，MAC选择模块使用训练好的分类器模型来选择最适合的MAC协议。可以选择的MAC协议包括CSMA/CA和动态TDMA。选择是基于节点所处的网络环境和特征参数。

Reinforcement learning for energy-efficient delay-sensitive csma/ca scheduling

提出了一种速率自适应的全分布式CSMA/CA协议，用于改善无线通信网络的性能。

这个协议的核心思想是根据用户的需求动态调整传输速率，以在满足延迟限制的同时最大程度地减少能源消耗。为了实现这一目标，作者将多用户延迟敏感节能调度问题描述为马尔可夫决策过程（MDP），并提出了一种在线解决单用户问题的强化学习算法。这个算法可以帮助用户在满足延迟要求的同时尽量减少能源消耗，即在不知道流量、信道和其他用户动态情况的情况下做出最佳决策。

与传统的CSMA/CA协议不同，这个速率自适应CSMA/CA协议会调整拥塞窗口（CWs），以增加那些需要更高传输速率的用户访问通信信道的机会。这使得协议能够根据每个用户的延迟要求来减少其能源消耗。此外，当一个用户正在发送数据时，其他用户会暂停他们的“计数器”以等待，一旦通信结束，其他用户会重新启动计数器以进行竞争。这种方式有助于避免碰撞和提高通信的效率。

Reconfigurable and traffic-aware mac design for virtualized wireless networks via reinforcement learning

提出了一种基于学习的MAC协议，该协议可以根据网络状态改变每个帧中基于竞争和基于非竞争访问之间的划分。它的逻辑是根据设备发送数据包的概率，将具有较高发送概率的设备分配到非竞争访问模式，而其余设备允许在竞争访问模式中竞争发送。

协议采用了一种基于Thompson Sampling（TS）的强化学习（RL）算法，用于收集设备到达数据包的概率。基于学习到的概率，开发了一个算法，其中确定了确定性分配（DA）和随机访问（RA）分区的划分阈值。具有高于某个阈值的期望吞吐量的设备被分配到DA，而其余设备在RA模式中传输。作者进行了实验来评估所提出的方案的吞吐量和延迟性能。实验结果表明，所提出的可扩展MAC协议优于其他方案。

Ql-mac: A q-learning based mac for wireless sensor networks

提出了QL-MAC协议，这个协议利用Q学习算法来根据周围的实际网络负载减少能源消耗，以找到有效的唤醒策略。目标是允许节点相互推断彼此的行为，来得到良好的活跃/休眠策略。在这个协议中，每个节点必须在每个时间段内决定是处于休眠模式还是活跃模式。每个节点存储一组与帧内特定时隙相关的Q值。Q值提供了节点在相关时间段内保持清醒所获得的好处的指示。Q值的更新基于每帧中在相同时隙发生的一系列特定事件。

• ALOHA-based

Aloha and q-learning based medium access control for wireless sensor networks

在ALOHA的基础上提出了一种基于Q学习的MAC协议，用于无线传感器网络（WSNs），称为ALOHA-QIR，具有低计算成本、开销低以及ALOHA协议简单的优点。ALOHA-QIR采用了无状态的Q学习，以获取学习经验。使用Q学习作为强化学习算法，以避免与ALOHA协议相关的碰撞和重传。每个节点中都存在一个Q值，它是针对每个时隙的，描述了选择该时隙的可取性。在学习期间，节点会不断跳到不同的时隙，以找到最佳的时隙，并希望保持侦听以避免在早期的跳跃中丢失任何信息。当需要提高能源效率，特别是在流量操作较低时，会应用“有信息的接收”和ping数据包来将节点切换到休眠模式。

Application of reinforcement learning to medium access control for wireless sensor networks

提出了一种名为ALOHA-Q的协议，采用了Q学习与基于帧的ALOHA作为时隙选择策略，以提供单跳网络的碰撞和重传避免。具体来说，每个节点针对帧中的每个时隙都有一个唯一的Q值，该Q值会根据传输的成功或失败结果而进行更新。在成功传输时，奖励为+1，否则奖励为-1。如果多个时隙具有相同的Q值，将随机选择一个或多个。当节点希望传输时，它们会唤醒，同时当它们需要接收相关的确认（ACKs）时，它们也会唤醒。

无线网络

新的无线通信系统由于频谱分配不足、频带利用低效以及许多未利用的频谱，慢慢的出现了频谱短缺的问题。使用深度强化学习来解决该问题是一个很有前景的方向。

Multi-user dynamic spectrum access based on reinforcement learning

目标是探索如何在多通道无线网络中充分利用动态频谱接入。研究中假设有N个用户可以同时使用K个无线信道，每个用户可以选择一个信道来传输数据。每个用户选择一个信道并尝试发送数据包，成功的机会不同。每个用户在规定的时间段后都会收到一个二进制观测结果，告诉他们发送是否成功。这项研究的关键是找到一种最佳的频谱接入策略，以确保网络的有效利用。但一般来说，找到这种最佳策略需要大量的计算。为解决这个问题，研究人员开发了一种基于部分可观测深度强化学习（partially-observable DRL）的动态频谱接入算法。

Learning-based hybrid tdma-csma mac protocol for virtualized 802.11 wlans

无线网络虚拟化允许不同服务提供商之间共享物理资源，能够在无线网络中提高资源利用率。为了实现更高的资源利用率和更低的实施成本，这篇论文中将资源虚拟化成不同的"切片"，每个切片供一个服务提供商使用。为了确保不同服务提供商之间的隔离，通常是采用两种方法。一种方法是采用精确的隔离，通过采用时分多址（TDMA）。可以完全隔离不同的切片。这种分配方式可能导致资源的浪费，因为如果每个切片中没有活跃用户，那么切片的预留时间共享可能只被部分利用。另一种方法是使用随机接入协议，如CSMA/CA，逐渐管理每个切片的时间共享，具体取决于活跃用户的数量。这可以解决利用率问题，但可能会出现切片之间的隔离问题，因为不同切片的数据流可能会发生碰撞。然后这篇论文去提出了一种混合自适应协议，结合了TDMA和CSMA，以确保虚拟化网络中的服务提供商之间的隔离。这种协议允许高流量用户使用TDMA，而低流量用户在CSMA阶段竞争传输。充分利用CSMA的机会性特性和TDMA的隔离优势。

研究中引入了一种**多臂赌博机（Multi-Armed Bandit，MAB）**模型，其中每个"臂"代表一种可能的调度策略。通过观察CSMA阶段的信息，将其与TDMA信息整合，以添加MAB问题的新的探索阶段，从而更新"臂"的信息。这有助于更好地选择最佳调度策略。

To send or not to send-learning mac contention

分布式协调功能（Distributed Coordination Function，DCF）协议，它用于无线网络中的多路访问通信，通常采用了CSMA/CA（载波监听多路访问/碰撞避免）机制。

协议中采用的指数退避机制及其改进版本在面对未知变化，如数据包到达和用户进出时，并不高效。因此，在这里引入了一种基于强化学习（RL）的方法，以优化退避窗口的设置。

To send or not to send-learning mac contention

在提出的协议中，引入了一种RTS-CTS握手机制的马尔可夫决策过程（MDP）模型，以代表数据传输的过程。与标准的IEEE 802.11中采用的指数机制不同，这个协议会根据系统的最佳状态来选择退避窗口的大小。为了提高学习速度，作者提出了一种名为“Post Decision State”（PDS）的学习算法。它通过区分未知和已知的组成部分，包括状态转移的概率和成本/奖励，从而达到更好和更快的学习性能。

Wireless Mesh Networks"（WMNs）无线网状网络的新型网络模式，它旨在为网络提供广泛的覆盖，而无需依赖传统的基础设施。在这种网络中，节点被用作中继，通过多跳路径将数据从源传输到目的地。WMNs通常采用IEEE 802.11标准，而MAC协议依赖于CSMA/CA和DCF。物理层采用多种编码和调制技术，以支持不同的传输速率。然而，使用更高的传输速率需要更高的传输功率，以确保接收端获得所需的信噪比。这可能导致通信节点之间的干扰增加，通常会降低网络吞吐量。

Multi-rate medium access protocol based on reinforcement learning

提到了一种名为"RARE"的新型强化学习算法，用于自适应调整WMN的传输速率。该算法使用了无线信道的接入概率来确定是否需要更新传输速率。它还可以减轻不必要地更新传输速率所带来的负面影响。RARE是一种基于Q学习的算法，每个节点都可以计算基于先前的传输尝试失败次数和当前传输速率的媒体接入概率。此外，每个节点会定期从邻居节点收集消息，其中包含了流量负载估计、信道访问概率和传输速率等信息。RL（强化学习）被用于每个节点，以从以前的操作中学习，确定是否有必要更新传输速率。

A reinforcement learning based solution for cognitive network cooperation between co-located, heterogeneous wireless sensor networks

随着无线通信技术的普及，不同需求、移动能力、数据速率和覆盖范围的异构无线网络在同一区域内的增多。由于这些网络的异构性，使得不同类型的设备之间进行实时协作变得具有挑战性。为了解决这些问题提到了一种称为"Least Square Policy Iteration (LSPI)"的强化学习技术，用于高级网络优化，特别是在异构的共同部署网络中。LSPI是一种机器学习方法，通过一系列试验和错误来收集关于网络特性的知识，以评估不同服务组合对每个网络需求的影响。与其他决策策略不同，LSPI不需要提前知道服务对网络性能的影响，因为它会不断选择环境样本并更新采样矩阵。因此，每当收集到新样本时，都会使用相同的策略重新启动LSTDQ。

在下一代无线网络中，高效的视频流媒体将在各种重要应用中发挥关键作用。然而，目前的移动互联网架构无法满足对获取的视频的体验质量（Quality of Experience，QoE）要求，例如快速切换时间、播放质量或有限的传输延迟。在传统的解决方法中，控制过程使用了接收缓冲区和信道状态的信息。然而，在实际网络中，这些信息可能会带有一定的延迟。

Online learning for qoebased video streaming to mobile receivers

作者引入了一种跨层控制机制和可扩展的视频流传输给移动接收器。提出的方法的目标是在考虑传输内容和信道特性的变化的情况下，最大化接收到的视频质量。为了应对多媒体内容和无线信道的动态特性，采用了RL方法来动态更新最佳策略。该机制关注不同类别的在线RL算法，如时序差分（Temporal Difference，TD），该算法直接估计动作值函数，即Q值函数。在这个方法中，RL算法学习了一种策略，以动态调整视频传输中的不同层（或分辨率），以最大化视频的质量。这意味着它可以在传输过程中根据网络条件和内容的特性来选择适当的视频层，以提供最佳的观看体验。

从控制的角度来看，我们可以将MAC协议分为两类:分布式和集中式。

• 分布式MAC协议：这些协议让设备在网络中自主地协商并访问无线信道。它们通常提供较低的吞吐量（数据传输速率），但支持多跳传输，也就是数据可以通过多个设备中继传输。

• 集中式MAC协议：这些协议通常由网络的中心控制点（例如，无线接入点）管理，它们为设备提供了访问信道的指导。这些协议可以提供更高的吞吐量，但不能支持多跳传输。

集中式MAC协议在不同子网之间可能会遇到"隐藏终端问题"，因为不同子网之间的设备可能无法感知对方的存在。为了解决这个问题，一些研究提出了使用多个信道或频率的方法，这样不同子网之间就可以避免互相干扰。但是，这些方法可能需要大量的信道和设备，从而增加了成本和功耗。

“Adaptive channel switchingfor centralized mac protocols in multihop wireless networks

提出了一种方法，以实现集中式MAC协议的多跳传输。MFWTs是设计用来将多个异步子网连接在一起，通过改变这些子网的频率来实现连接。它们使用自适应通道切换（Adaptive Channel Switching，ACS）机制，将整个带宽分成三个通道：中继通道（R-channel）、数据通道（D-channel）和控制通道（C-channel）。

• R-channel用于在子网之间中继数据包。
• D-channel用于数据包传输。
• C-channel用于交换控制信号

这种方法提供了两种不同的操作模式：

1. 自由模式（F-mode）：设备可以使用C通道发送控制信号，使用D通道发送数据包，也可以使用R通道与其他设备通信。
2. 限制模式（R-Mode）：设备受到限制，只能使用R通道进行数据包传输，并使用CSMA/CA和RTS/CTS机制来协调通信。

对于分布式的网络，节点之间的协作对于提高网络性能至关重要。研究者们研究了如何让无线节点有效地协作，以改善网络性能。他们将协作问题看作是一个马尔可夫决策过程（Markov Decision Process，MDP）的框架。在这个框架中，每个节点都有自己的奖励函数、状态和行动，构成了一个局部MDP。无线节点通过与邻居节点共享有限信息来寻找接近最优的解决方案。1

A. Mobile Ad-hoc Networks (MANETs)（移动自组网）

Load adaptive mac: a hybrid mac protocol for mimo sdr manets

本文介绍了一种CSMA-TDMA混合MAC协议，称为负载自适应MAC (LA-MAC)。这个协议专门针对由MIMO设备装备的USRP节点组成的MANET设计和执行。通过动态切换其工作模式，该协议旨在实现类似于低碰撞条件下的CSMA和高碰撞条件下的TDMA。

在当前的无线网络中，有各种各样的应用，例如多媒体消息、文本、网页请求、视频通话和语音通话等，每种应用都有自己的要求和特点。而MAC子层是负责管理网络中的数据传输的一部分，不同应用可能对功耗、延迟、可用性、带宽和安全性等方面有不同的需求，因此需要在MAC层适应这些不同的需求。

Fs-mac: A flexible mac platform for wireless networks

提出了一种名为FS-MAC的高度适应性MAC子层协议。FS-MAC的特点是可以动态切换网络中使用的MAC协议，以保持使用对当前网络状态更有效的协议。这个切换协议是基于一组模糊规则的，这些规则可以根据网络管理员和应用需求进行调整。FS-MAC的架构可以扩展以支持更多的MAC协议，因此不是一种新的MAC协议，而是允许在MAC层使用多种不同的协议，每个协议都在适当的情况下使用，以实现最佳效果。

FS-MAC的架构包括三个主要模块：感知模块、决策模块和切换模块。感知模块收集数据以确定应该激活哪个MAC协议。决策模块使用模糊逻辑来计算每个协议对当前网络的适应性，根据感知模块提供的信息。模糊逻辑可以捕获领域专家的领域知识，因此系统无需预先训练，可以在不改变现有规则的情况下添加新规则。切换模块检查当前使用的协议的适应性是否低于最佳协议的适应性加上一个阈值，如果是，则允许系统切换MAC协议。 1

B. Machine to Machine (M2M)

M2M网络是物联网的一个关键组成部分，将被广泛用于许多领域，如电力系统、交通系统和医疗保健。M2M网络的一个重要特点是设备数量众多，这些设备会尝试同时访问网络。传统的基于竞争的MAC协议在这种密集异构的M2M网络中不太适用，因此研究人员开始尝试将基于竞争和基于预约的MAC协议的优点结合在一个混合方案中。

为了在M2M网络中实现高效、可扩展和有结构的自动通信，需要一种高效的MAC协议，以便大量设备可以同时访问通信信道。当前的M2M网络比传统网络具有更多不同的流量特征，因此可以利用流量统计信息来有效地选择合适的MAC协议或在不同情况下配置特定协议，以提高通道的利用率。然而，流量统计信息可能不容易获得或需要一定时间来收集。因此，使用学习算法来获取流量统计信息变得至关重要。这些学习算法可以帮助网络适应不同的流量模式和需求，以提高M2M网络的性能。

A scalable hybrid mac protocol for massive m2m networks

Design of a scalable hybrid mac protocol for heterogeneous m2m networks

在这两篇论文中作者提出了一种用于M2M网络的基于帧的混合MAC协议，结合了基于竞争和基于预约的协议的优点。在这种提出的方法中，帧被分为两部分：传输期（TOP）和竞争期（COP）。COP部分使用CSMA/CA接入方法，而TOP部分提供了类似TDMA的通信。设备首先竞争TOP传输时隙。在TOP期间的传输时隙将分配给获胜的设备。

C. Cognitive Radio (CR)

认知无线电（Cognitive Radio，CR）已被提出作为解决无线通信中频谱短缺问题的有希望的解决方案。CR通过允许CR用户访问频谱中的空白区域来提高频谱利用效率。然而，仍然需要更高级的CR智能技术，特别是对于一些特定的无线电环境情况，以实现智能无线电的目标以及CR传输的目标。在认知无线电自组网（CRN）中，由于难以实现同步，次级用户（SUs）之间可能会相互干扰，因此协议必须解决这个问题。

A reinforcement learning-based cognitive mac protocol

提出了一种适用于认知无线自组网的多信道认知MAC协议。这个协议使用强化学习模型，根据主用户的流量情况，辅助用户选择合适的信道。它需要较小的计算开销，以确保辅助用户（SU）保持同步，并避免与主用户（PU）发生冲突。

具体而言，研究考虑了具有相同主用户存在的SU节点群集的网络架构。在每个群集中，可以进行本地通信，而群集之间的通信是通过网关节点实现的。提出的MAC协议使用一个公共的群集资源保留控制信道，以限制辅助用户的干扰并解决隐藏终端问题。该协议依赖于群集内的同步，使用分布式方案实现，因为发送方和接收方都知道相同的主用户的存在，并且它们共享相同的信道选择概率。这种方式可以避免主用户和辅助用户之间的冲突。频谱获取可以使用能量获取和周期特征获取进行。

Ddh-mac: a novel dynamic de-centralized hybrid mac protocol for cognitive radio networks

提出了一种名为"DDH-MAC"的认知无线网络MAC协议，这个协议位于全局共享信道认知MAC协议（GCCC）和非GCCC认知MAC协议之间，支持多个安全级别和两个选择级别。DDH-MAC协议采用了两个层次的选择。第一个层次的选择允许认知节点决定要使用哪两个白名单频段来设置广播信道（BCCH）和控制信道（PCCH）。当BCCH和PCCH确定后，认知节点通过空闲频谱交换控制信息，并启动第二个选择级别。DDH-MAC提供了四个安全级别。第一级安全级别通过使用私有或公共密码设计对FCL（频道清单）进行加密来实现，并使用消息认证码对消息完整性进行验证。PCCH中FCL的秘密交换（仅对参与的认知节点可见）提供了第二级安全级别。通过在CR节点传输的确切数据帧中添加时间戳及其哈希值来实现附加的安全级别。最后，DDH-MAC会为每个事务动态地选择新的PCCH。

Mac protocol identification approach for implement smart cognitive radio

提出了一种用于认知无线电的现代技术，称为MAC协议识别。这个方法可以帮助认知无线电用户确定其他网络用户（包括认知无线电用户和主要用户）所使用的MAC协议类型和MAC层规范。这项技术的作用是帮助认知无线电用户更好地理解其他网络用户的MAC协议，以便更有效地利用可用频谱、减少对其他用户的干扰，改善不同认知无线电网络之间的通信，并降低功耗。它能够帮助认知无线电用户更智能地适应不同网络环境，提高频谱感知的效率。

Mac protocol identification using support vector machines for cognitive radio networks

研究人员研究了在认知网络应用中识别MAC协议，包括TDMA、CSMA/CA以及纯ALOHA和时隙ALOHA网络。MAC协议的识别可以让认知无线电用户识别和感知可用传输的MAC协议类型。因此，识别结果可以让认知无线电用户调整其传输规范，以提高频谱的利用率并减少次级用户和主要用户之间的干扰。

这项研究的关键点是利用接收信号强度（RSS）来识别MAC协议类型。通过支持向量机（SVM）分类器，通过RSS来检测频谱的可用性，从而提高了检测概率并降低了误报概率。当认知无线电用户尝试使用频谱空洞时，时间持续性和频率范围被视为通道访问规范。通常情况下，频谱空洞的频率范围是通过频谱获取来确定的，但时间范围信息通常没有被使用。与频谱捕获不同，MAC协议识别允许认知无线电用户将其传输时间与频谱空洞的时序模式匹配。

身体传感器网络（BSN）

身体传感器网络(BSNs)由放置在人体上/周围的许多传感器节点组成，通过无线连接发送和/或接收数据。这些应用程序大多使用CSMA/CA作为标准的MAC调度。

User behavior driven mac scheduling for body sensor networks

提出了一种基于TSCH的自适应的MAC调度器。根据传感器生成的医疗数据的动态性来调整通信资源的分配。它根据传感器产生的健康数据的状态，自动为紧急传感器分配额外的通信时隙，以确保高分辨率数据的可靠传输，同时为了应对突发事件，系统自动分配额外的通信时隙给紧急传感器，以确保其数据能够及时传输。当紧急时段到期时，这些额外的时隙被释放回整个网络的可用时隙池中。

频谱感知

动态频谱接入(DSA)的引入是为了应对有限频谱资源需求的大幅增加。DSA的核心思想：在传统情况下，某些频谱块被授权的主要用户（PU，Primary Users）所使用，这些用户通常是有特许可证的，例如电视台或无线电广播。DSA建议，当这些主要用户没有使用某些频谱块时，其他未授权的次要用户（CR SU，Cognitive Radio Secondary Users）应该能够利用这些频谱块来进行通信。这样，未使用的频谱资源不会浪费，而是能够被其他设备有效地利用，提高了频谱资源的利用效率。

Enhanced spectrum awareness using bayesian nonparametric pattern recognition techniques

这篇论文提出的模型主要目标是让未授权用户（Secondary Users，SU）能够自动发现主要用户（Primary Users，PU）的应用协议，并通过能量探测来了解PU的应用协议。这种方法使用一种叫做非参数贝叶斯分层狄利克雷过程隐马尔可夫模型（HDP-HMM）的训练方法，以及一些有效的HMM递归算法，用于识别日志分类、状态检测和异常检测。

Deep-reinforcement learning multiple access for heterogeneous wireless networks

提出了一种基于深度强化学习（DRL）的MAC。DLMA是一种处理时间分隔系统的协议，用于解决不同类型的无线网络之间如何共享时间时隙的问题。它可以在混合环境中运行，而不需要详细了解其他MAC协议的工作原理。它可以通过监视状态、采取行动和获得奖励的方式学习如何实现整体目标。尤其是，DLMA在不知道其他MAC协议的详细运行方式的情况下，能够实现与目标相关的近乎最佳性能。

网络安全

入侵检测系统(IDS)用于预测和检测威胁，IDS主要有两大类，即基于特征的检测和基于异常的检测。基于特征的检测是将维护各种已知攻击特征的数据库，而基于异常的检测通过回顾过去的活动并检查与正常流量行为的偏差来检查和检测入侵者行为。IDS使用各种ML方法，特别是分类技术来检测网络攻击。

Enhancing wireless intrusion detection using machine learning classification with reduced attribute sets

这篇论文主要是针对爱琴海Wi-Fi入侵数据集探讨如何有效地进行多类别分类。研究中使用了四组不同的特征集，这些特征是基于各种特征选择和降维算法进行选择的。同时也评估特征选择和降维对分类器性能的影响，测试了七种常见的分类算法，如J48、OneR、Naive Bayes、Random Forest、Simple Logistic、Bagging和Multi-Layer Perceptron，使用了不同的特征组合。

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。