论文学习交流古连华

An Adaptive Probability Access Mechanism for Wireless Sensor Network

一种无线传感器网络的自适应概率接入机制

Wei Liang, Haibin Yu, Chang CheShenyang Institute of Automation, Shenyang Jianzhu University

Chinese Academy of Sciences, Shenyang 110168, ChinaShenyang 110016, China

weiliang@sia.ac.cn, chess1972@hotmail.com

Abstract

对于大规模的无线传感器网络，通信模式主要示广播方式。本文分析了基于竞争的媒体接入方式的主要限制因素。从而提出一种自适应的概率接入机制，通过这种机制，基于竞争的MAC协议能根据广播通信模式中的确认概率传输确认数据包，并随着传输窗口的网络状况调整确认概率。大量的仿真结果表明基于这种提出的自适应概率确认机制的MAC协议具有更好的接入控制效果和节能效率。

The motivation for probability access mechanism概率接入机制的研究动机

大部分基于竞争的MAC协议都是基于 CSMA/CA（载波检测多径 /冲突避免）的

WSN的通信是事件驱动的。在事件发生的地点，一群节点检测到事件，从而产生突发的集体广播。因此，通信碰撞很严重，节点接入媒体（无线信道）很困难，一大批数据会丢失。

分析表明，针对WSN典型的通信模式，基于竞争的MAC协议存在以下问题：

The motivation for probability access mechanism概率接入机制的研究动机

1. RTS/CTS机制： RTS/CTS机制只是用在大部分基于竞争的MAC协议的单播通信中解决隐藏终端问题。因为 RTS/CTS增加了通信开销，协议通常只在传输长消息包时使用这个机制。然而WSN的测量和控制数据包都很短。因此使用 RTS/CTS的代价很高。另外， RTS/CTS机制不适用在广播模式的基于竞争的MAC协议中。而WSN的主要通信方式是广播。如果在同一时间同一范围内节点传输数据，冲突时间越大，节点接入媒介的几率越小，造成数据丢失。这种情况经常发生，因为WSN特征是大规模、高密度、突发通信。因此广播模式中的包冲突是主要问题。

The motivation for probability access mechanism概率接入机制的研究动机 2. 接收确认机制：大部分基于竞争的 MAC协议采用接收包的确认机制，保证数据包的成功接收。但是，它不适合于支持广播通信模式中的确认包 ACK的传输。

由于上述的问题，在WSN中实施基本的接入功能是困难的。我们尝试在广播模式中加入 RTS/CTS机制。仿真结果表明 RTS/CTS包导致了网络额外的负担，网络性能改善甚微，甚至恶化。另外，在广播模式中适用单播的确认机制，所有目的接收到数据的节点都回馈 ACK数据包给源节点。这种协调的 MAC协议称为 BA MAC，它困难导致大量的 ACK包，影响系统性能。需要提出新的保证可靠广播通信的机制。

Adaptive probability access mechanism自适应概率的接入机制根据上文的分析，本节提出一种自适应概率接入机制。在广播通信模式中，接收广播数据包的节点决定是否回传确认包，并适用可适应的调节机制动态优化确认的概率。基于这种概率接入机制的MAC协议叫做 p-BA MAC。这种概率接入机制可以分两步：初始化确认概率，和动态调整确认概率。下文将对这两步进行讨论。

Acknowledgement probability initialization确认概率的初始化（第一步） 在网络初始化阶段，每个节点计算一个概率，邻居节点接收到广播数据后根据这个概率来发送 ACK数据包。

具体的确认概率的计算如下： 设 WSN的覆盖范围是如图的

矩形，里面有 n+1个节点均匀分布。对于一个节点 i(x,y)来说，它的通信半径内节点的统计是一个典型的二项分布。它的邻居数见（ 1）式。

Acknowledgement probability initialization确认概率的初始化（第一步） 明显，理想的 ACK确认概率需要保证只有一个邻居节点传输 ACK包。因此，这种协议不仅保证可靠的广播数据包的传输，而且降低了网络负担。

初始的确认概率定义为（ 2）式。

Acknowledgement probability initialization确认概率的初始化（第一步）

在网络运行阶段，发送节点按照概率接入机制运行，有如下步骤：

1. 在网络初始化其间每个节点计算回复 ACK包给它的邻居的概率 Pi。

2. 在广播模式下，节点携带参数 Pi在数据包上，请求接收到该数据包的邻居节点回复ACK包。

Acknowledgement probability initialization确认概率的初始化（第一步）

在网络运行阶段，接收节点按照概率接入机制运行，有如下步骤：

接收到广播包的节点首先根据均匀分布在 [0,1]间产生一个随机数 rnd，然后计算 rnd和确认概率 Pi。如果 rnd<Pi 则传送 ACK包，否则不回传 ACK包。

Acknowledgement probability adjustmentbased on window确认概率根据窗口调整（第二步）

初始的确认概率是一个静态的数值，不一定适合实际的网络。而且，随着网络运行，拓扑变化，这些都会影响接入机制的效果。

可见，协议应该支持动态调整确认概率的功能。这里提出一种基于窗口的动态确认概率调整机制。

如果在一个窗口中出现太多数据包接收到多确认包，确认概率应该降低；如果在一个窗口中太多数据包没有接收到确认包，确认概率应该增大。

Acknowledgement probability adjustmentbased on window确认概率根据窗口调整（第二步）

调整因子 B如右式定义 在网络运行阶段，发送节点根据下面的步骤执行确认概率的动态调整机制：

1. 在传输窗口开始时，设置确认概率为 Pi=Pi×B

2. 在传输窗口中根据 Ac和 Ct 记录传输和确认情况

3. 在传输窗口结束时，根据上文所述的调整策略重新计算调整因子 B，然后重复上面步骤。

Simulation results

*代表 p-BA MAC协议；o代表 BA MAC协议，□代表 CSMA/CA协议。

图 a、 b、 c分别采用Flooding、 Spin和 DD路由算法。可见 CSMA/CA在 Flooding和 Spin中完全不能起作用。虽然 CSMA/CA有较好的收敛时间和能量效率。

Conclusions

本文中，总结了基于竞争的MAC协议在WSN中的不足，并提出了一种概率接入机制。仿真结果表明改进的MAC协议适用于WSN，并且表现更好。

目前，WSN信道接入技术的研究并不成熟，需要更多的研究工作。一些基于竞争的WSN MAC算法 /协议增加了睡眠机制，但并不能很好解决问题。所以我们的工作集中于新的MAC算法的研究，提出更适合于WSN的协议。

一种无线传感器网络的动态协调的 MAC协议

Abstract

本文中，我们设计了一种基于竞争的无线传感器网络的动态协调的MAC协议（ AC-MAC）。为了应付实际应用中的负载变化， AC-MAC在 S-MAC基础上引入动态的工作周期策略。本协议的新颖之处在于它在大范围的流量负载下提高了延时和吞吐率，但保持了像 S-MAC一样的能耗效率。我们通过在WSN上广泛的仿真来证明这个改善的 AC-MAC协议。我们的仿真结果表明在重负荷下 S-MAC（固定工作周期）性能恶化，而 AC-MAC可以在使延时和吞吐率保持于经典的 IEEE802.11 MAC的指标的情况下达到跟S-MAC 意义的能耗效率。

Introduction

WSN节能技术关注以下几个方面： 1. 动态地协调发送范围来减少单位包的能耗； 2. 减少需要传送的数据量； 3. 在不活跃期间关闭节点天线模块；

最新的研究表明节能的MAC协议关键的问题是“可适应”，包括以下两方面：

1. 拓扑可适应性； 2. 流量可适应性；

Introduction

本文关注 MAC 层，我们实现了第二点的“流量可适应性”。 S-MAC协议采用周期性的侦听 / 睡眠调度， AC-MAC 引入了自适应的工作周期来适应于流量负载。 S-MAC 牺牲了其他重要的指标如吞吐率、时延等来达到节能效果，而改善的协议 AC-MAC在节能、吞吐率和时延之间取得平衡。

AC-MAC Protocol Design 动机： S-MAC的不足 S-MAC 引入固定周期的侦听 / 睡眠机制来减少能耗，在活动侦

听时期用 RTS/CTS机制来启动数据传输 . 但 S-MAC的 duty cycle是固定的，侦听 / 睡眠周期固定，需要在具体应用之前仔细地设定这些参数，否则网络会出现无法忍受的大延时和很低的吞吐率。

S-MAC的设计者引入了自适应侦听机制，在每个数据传输完毕后不立即睡眠，而是再侦听一小段时间，以捕捉即时的突发传输，来减少时延。但 S-MAC 固有的结构限制了它的更大的灵活性。

因此，以 S-MAC 作为基础， AC-MAC提供流量自适应的机制。

AC-MAC Protocol Design

同步和虚簇： S-MAC的侦听期间，包括 SYNC和 RTS/CTS部分。

前者是用于同步的，后者才是协商连接通信。见下式。 这样的 SYNC同步形成了一个所谓的“虚拟簇”，即由 SYNC协调到的具有同一调度周期的节点形成一个簇，而不用全网达到同一调度。

AC-MAC Protocol Design

自适应的工作周期（ duty cycle） 动态协调工作周期是 AC-MAC 关键的策略，以适应流量负载。前提是它不干扰节点间已经建立的侦听 / 睡眠调度，因为达到这个同步需要在初始化的时候付出很大的代价。 AC-MAC使用在MAC 层队列的数据包来指示流量负载。根据这个流量信息，AC-MAC可以为一个基本的 S-MAC 周期通信提供一个可适应的机会。 AC-MAC的适应性工作周期策略见下图：

AC-MAC Protocol Design

多少工作周期需要填充到以前基本的工作周期当中，这个决定初始是由单独的节点按照下面的方法计算的：

对于一个节点 i，队列在MAC 层的数据包为 Ni，可以映射到一个数值 Ri=f(Ni)，其中 f(.)是一个跟具体应用有关的方程，它表示有多少节点需要传输数据。每个插入的工作周期包含一个固定的 RTS/CTS时间和一个根据 Ri 变化的睡眠时间。这样，我们知道 Ri，那插入的工作周期就可以如下计算：

AC-MAC Protocol Design

Ri的值的范围受一个工作周期时间的限制。可见，最小的 Ri应该为 1，使 AC-MAC保持跟 S-MAC一样的过程。对于大的 Ri，随着 Ri增大，睡眠周期相应减少，因为 RTS/CTS时间是固定的。

如果在一个工作周期数据传输的时间小于等于 Tdata，那最大的 Ri可以由下式导出：

AC-MAC Protocol Design

为了保持 S-MAC基本的调度， Ri只能在每个工作周期开始时改变。然后，节点会通过 RTS/CTS数据包告诉邻居节点。

当节点 i 获得机会发送 RTS数据包时，它会把 Ri 值附加到 RTS包中，因此单跳之内的所有节点都学习到 Ri。对于目标接收节点，当它接收到 RTS包后，会把 Ri 附加到 CTS包，来传播单跳之内的新的工作周期。

必须注意的是在一个基本的工作周期内，一个节点只能接收一个 R 值。这样，所有节点可以跟从一个同一的新的工作周期了。因此，可适应的工作周期算法是在每个基本的工作周期的基础上插入的。

Simulation Study

仿真中对比了 AC-MAC和S-MAC和 IEEE802.11 MAC。

在最新版的 NS-2 平台中已经实现了 S-MAC和 IEEE802.11 MAC协议。本文在这个基础上拓展了 AC-MAC协议进行实验。

实验模型是一个 11个节点组成的线性网络。

Fig 4表明平均的点对点时延，AC-MAC表现比 S-MAC好。

Simulation Study

Fig 5表明，对于点对点吞吐量 ,AC-MAC 比 S-MAC大。

Fig 6表明，对于能耗，AC-MAC 与 S-MAC基本一样。

Conlusion

为了在能耗、时延和吞吐量之间达到平衡，我们改善 S-MAC，提出 AC-MAC，引入了根据流量负载可适应的工作周期策略。仿真结果表明相比于 S-MAC， AC-MAC在大范围的流量负载下达到了比较好的时延和吞吐量性能，同时保持了跟 S-MAC一样的能耗效率。

RL-MAC: a reinforcement learning basedMAC protocol for wireless sensor networks

RL-MAC：一种无线传感器网络的基于增强学习的MAC协议

Abstract

本文介绍了 RL-MAC，一种新颖的自适应的无线传感器网络MAC协议，采用了一种增强学习机制。现有的机制集中于调度节点的活动 / 睡眠周期来减少能量消耗。最近的协议采用自适应的工作周期来进一步改善能量利用。然而，在大部分情况下每个节点根据自身的流量负载来决定工作周期。本文中，节点使用一种基于增强学习的控制机制来推断其他节点的状况，从而在大范围的流量情况下达到高吞吐量和低能耗。而且，这个策略的计算复杂性适中，也显示了它的实用性。

Introduction WSN中节能是关键。其中空闲侦听是主要的能源浪费。为了解决这个问题，许多适合于WSN的MAC协议，包括 S-MAC(Ye et al., 2002)和 T-MAC(Dam and Langendoen, 2003)。这些协议调度节点进入睡眠模式来最小化能耗。但是，大部分协议中每个节点作为本身的流量负载的功能来决定工作周期，从而限制了网络总体的性能。

本文的主要贡献是：提出一种改善的策略，捕捉几个适合于MAC层的动态性的参数，设计了一个基于增强学习（ RL）方式的实用算法，来学习一个接近最佳的MAC协议策略。关键在于节点除了要考虑其他节点的流量负载，还要积极推测其他节点的状态。这种策略的适应性WSN的动态拓扑应用。这个改善的策略简易，自组织。

Related work

最近，一些适应于WSN的MAC协议被提出，包括 T-MAC,P-MAC。这些协议都基于 S-MAC提出，来达到更好的能源利用率，并优化信道使用。但是，在大部分协议中，一个节点关注于考虑自身的信息。本文我们使节点间接得推测其他节点状态，作为它们的决策过程的一部分。这样，整个网络的介质接入效率得到了提高。

Related work

S-MAC T-MAC P-MAC：它采用根据自身和它的邻居节点的

流量的睡眠 / 侦听调度策略。两个主要不足：前提的假设是预测信道使用要求的信息要预先得到，当考虑 WSN高度的动态性时，这是一个有问题的假设。另外，算法的计算复杂度大，限制了它在能源吝惜的节点平台中实用。

Markov decision process and RL methods马尔可夫过程（MDP）和 RL（增强学习）方法 An MDP (Bertsekas and Tsitsiklis, 1996) is defined as a (S,A,P,R) tuple, where S stand

s for the state space, A contains all the possible actions at each state, P is a probability transition function S × A × S → [0, 1] and R is the reward function S × A → R. Also, we define π as the decision policy that maps the state set to the action set: π : S → A. Specifically, let us assume that the environment is a finite-state, discrete-time stochastic dynamic system. Let the state space S be S = (s1, s2,..., sn) and, accordingly, action space A be A = (a1, a2,..., am).. The goal for the RL agent is to maximise the expected discounted reward or state-value...

在 Q- 学习过程中， a learned action value function Q directly approximates Q through ∗value iteration. 相对地， Q 值的更新规则如下公式：

在下节中，我们列 MAC能耗优化方程，作为一个MDP（马尔可夫过程）。我们会表明通过仔细确定 the reward function和 the RL algorithm，一个接近最佳的媒介接入算法可以得到。

RL-MAC protocol design

RL-MAC采用了跟 S-MAC和 T-MAC 相似的基于帧的结构。最大的特点是我们的协议中，活动时间和工作周期都是随着节点的流量负载和它的输入流量特征动态变化的。

如下图：时间被分为帧，而每帧再分为时槽（ finer time slots）。时槽的长度由信道带宽和数据长度决定。在每帧的开始处， RL代理（ RL agent）作为这个MAC协议的主节点，动态地预约时槽作为活动时间。在活动时间，节点侦听信道，试图跟邻居节点交换数据包。当一个预约的活动时间超时，节点停止收发，进入睡眠状态。

我们接下来定义协议的关键部分，特别强调 RL

的上下文。

Active time reservation活动时间的预约 一个理想的MAC协议如果完全知道节点和所有邻居的流量可以设计理想的媒介接入策略。由于对一个节点来说这些信息并不可得到，我们就采用一些估算。我们的方法就基于这个前提，同时我们把活动时间的预约问题作为一个MDP（马尔可夫过程）（ formulate the active time reservation problem as an MDP） .

我们的 RL代理的目标是：首先，努力最大化一个能效因子，它是有效的传输 /接收时间跟总的预约活动之间的比率。第二，它要最大化吞吐量。

Reward function formulation

我们接下来讨论 the reward functions defined和用来使代理节点学习最优的媒介接入控制策略的算法。

能耗和吞吐量都是非常重要的，不希望以不可接受的吞吐量的代价来减少能耗。因此预约的活动时间应该是节点流量负载情况的函数。

Early sleeping avoidance“ 早睡问题”的避免 早睡问题是当节点进入睡眠模式而邻居节点仍然需要传输数据的时候发生的。节点进入睡眠后，就不再侦听信道，失去了这个时候发给它的数据，或导致数据发送延时。

为解决早睡问题，我们使 RL代理适应于入端的流量情况，在数据包头部加了一个 4bit的域，称为 FAIL_ATTEMPT，表示数据包由于接收点早睡而经历的延时。换句话，这个域提供了信息给接收节点，它根据此来进行调整。

The Q-learning algorithmQ- 学习 算法 在学习过程中，在每帧的结束， RL代理评定时间的差异，更新 Q 值，根据 the E-greedy method (Sutton and Barto, 1998)选择下个活动。使用这种方法，代理根据最大的 Q 值和概率 E选择活动。

Overhearing and collision avoidance串音和冲突避免 跟 S-MAC类似的串音避免机制也在 RL-MAC中使用了。不同的是， S-MAC中当一个节点侦听到发给该节点的邻居的 RTS or CTS信息后就进入睡眠，直到下个工作周期。而我们的协议中，节点只在 CTS包中说明的时间内睡眠，如果预约的活动时间没过期就醒来准备可能的收发。

Simulation results

Conclusions

本文关注无线传感器网络的MAC问题，优化吞吐量和最小化能耗。我们使用了一种 RL算法来解决提到的问题。 The RL framework assumes an underlaying MDP, which使节点推测网络中其它节点的状态，来动态地优化MAC 策略。我们的协议提供了很高的吞吐量和很高的能量利用率，即使在高流量负载的情况下。

谢谢！