hotnets 2018 Gearing up for the 21st century space race 阅读报告

准备迎接21世纪的太空竞赛
引用：
Bhattacherjee D, Aqeel W, Bozkurt I N, et al. Gearing up for the 21st century space race[C]//Proceedings of the 17th ACM Workshop on Hot Topics in Networks. 2018: 113-119.
基础知识：
1. 高轨卫星位于35786km高度，有超过600ms的RTT
2. 利基（niche）：是指针对企业的优势细分出来的市场，这个市场不大，而且没有得到令人满意的服务。产品推进这个市场，有盈利的基础。在这里特指，针对性、专业性很强的产品。
3. 升交点：卫星从南向北运行时与赤道的交点
春分点为黄道面与赤道面在天球上的交点
升交点赤经RAAN：卫星轨道的升交点与春分点之间的角距

本文贡献/在本文中你能得到什么：

1. SpaceX知识点：
   - 关于覆盖，SpaceX整个系统可完成全球的100%地理覆盖，地面端有地站和用户，用户使用披萨大小的接收器，因此智能手机可能无法通过升级直接连接卫星
   - 关于带宽，SpaceX每颗卫星宣称的下行带宽20Gbps，综合12k卫星下行带宽将会达到240Tbps，与当今估计的光纤容量295Tbps相当。但其内部ISL连接方式没有给出，这影响了进一步细化计算其网络容量
   - 关于资费，保守估计认为价格可达$0.06/GB，可与地面ISP相竞争
2. 机会：低时延
   详细分析了LEO的核心优势是长距离的低时延，有以下数据：对Washington, D.C.和Frankfurt之间的时延，现今互联网速度使用不同的方式分别为46.4ms和35.8ms。使用光纤最短用时32.6ms；使用光速最短用时21.7ms，而对于卫星网络，即使相对较小的$30^2$的星座也能实现比最优光纤更好的结果，这与光纤内传播无法达到光速而LEO几乎可能光速传播有关
3. 与商业航班形成的机会网络进行对比
   尽管能实现较小的时延，但商业飞机形成的网络无法实现所有城市的100%%可连接。因此这个网络可能更适合特定网络的使用。
4. 应用价值：基于其低时延，LEO和VLEO将会对浏览器浏览、游戏体验、AR/VR、飞行器上联网、车联网等产生重要的影响
5. 挑战：科研热点
   - 物理拓扑设计
   受限于预算、覆盖、延时以及地面设施等，拓扑可以在高度、轨道形状、轨道平近点角、ISL等上进行设计
   - 路由：核心热点
   单纯的卫星路由设计会考虑卫星动态、连接和拥塞状态等。但相较于单纯的卫星路由设计，卫星网络与地面网络的结合设计更加复杂。比如BGP选路问题。同样，卫星地站部署方式、服务提供方式等
   - 拥塞控制
   相较于传统卫星传输方案中高误码高时延，LEO中没有高时延。除此之外它更突出的问题是时延的波动性以及可预测性

下面是全文的翻译+个人理解

摘要

一个新的太空竞赛即将来临，一些公司开始面向基于卫星的网络连接的工作。尽管卫星网络并不是个新问题，但近来提出的建议都是面向更高量级的带宽和更低延迟的，在计划中的星座都包含数千的卫星。而且这些都不是面向遥远的未来的计划——第一颗卫星已经发射，且大量计划的容量已经被售卖。因此网络研究者需要积极参与这个研究空间，不可错过这可能最关键的现代网络发展之一的技术。
第一步，我们发现这个新生的卫星网络可能有与当前ISP网络竞争的潜力，并在长距离传输中提供比当前光纤更低的延迟。我们会阐述这个网络在几乎所有层中当前遇到的一些独特的问题，从拓扑设计和ISP经济，到路由和拥塞控制

1. 概述

Tintin A和B已经在低轨的几百千米的高度里运行中了。这两个测试卫星是SpaceX在2018年发射，它们作为SpaceX的卫星星座建设计划的一部分，目标是进行全球网络宽带的覆盖。它们的发射使得他们原本的提交给FCC并以5-0通过的计划的可行性提高。SpaceX并不孤单，它还有其他竞争者：OneWeb和LeoSat等

这些工作充满雄心并且发展迅速，有很大的几率颠覆网络。SpaceX的Starlink星座包括12000颗卫星，并计划在2027年三月前完成第一阶段4425颗卫星的发射。FCC的批准规定SpaceX必须在2024年3月前完成至少50%的部署。接下来的阶段是计划部署超过7000颗超低轨道（VLEO）的卫星。OneWeb有至少12亿的资金支持，已经获FCC批准发射超700颗LEO卫星，并正在申请除初始提出外的1200颗卫星的批准。在此之前，他们声称已经售卖了初始计划中的很大一部分容量。

• 卫星网络不是老古董了吗？
  HugesNet和ViaSat已经运转多年。这些都是同步轨道（GSO）卫星星座，并且有一个基础的限制——35789km的高度导致超过600ms的高RTT。而且它们能提供的带宽也有限

非同步轨道卫星也有运转中的，但目前都只是为了迎合利基通讯。比如中轨MEO，高度从2000km到同步轨道高度，被导航系统占中，包括GPS、GLONASS和Galileo。在这个范围内的还有O3b，由16颗卫星组成的星座，提供船只、海洋平面和贫穷的陆地地区的连接。O3b宣称只有140ms的RTT且每个连接的最大吞吐是2.1Mbps。已经及铱星NEXT卫星有更低的海拔，在LEO运行，但面向卫星电话。

因此，没有在轨的低轨卫星星座是面向全球的宽带互联网连接的。这是一个新的领域。SpaceX提出了一些目标，如：让主要的长距离互联网通讯都在这个网络上运行。为此，它们计划部署数千低轨卫星和超低轨卫星，它们的RTT与地面ISP是可比的。另外，计划的12000颗卫星可以提供相当于整个互联网长途光纤的容量。

因此，新提出的卫星网络将会成为互联网基础设施中的一个飞跃，可与铺设第一条海底电缆相媲美，并且考虑其中的机会与挑战将会是非常值得的。在我们面向这个研究方向的第一步，我们分析了这个网络潜在的可以提供的东西；讨论它们如何适应现有的环境，并将它们与其他可行性进行对比（比如重装飞机）

我们也检查了在这样一个动态多跳网络中的时延的变化性（相较于同步轨道相对于地面是静态的）。我们的结果显示了几个研究中的各层面临的挑战，包括：物理拓扑设计；网络路由设计；新的面向低时延的拥塞控制方案。

我们的工作是通过考虑将先进的地面网络补充到已存在的工作，现有的工作大多是面向卫星内部的一个单独的问题。同样令人鼓舞的是，两个平行独立的工作正在用来解决相关问题，一者是专注于重构SpaceX的星座来获取更低的时延及多径路由；另一个是提出互联网路由算法在当前网络中的局限性，尤其是增量部署的时候。

2 期望

尽管第一颗卫星已经在轨，但除了通过它的物理轨道信息可推测的信息外我们没有其他方式获取测量信息。因此我们讨论的是一件正在发展中的人工制品，且没有很多仿真软件来获取它的潜能和缺陷。但由于一些大型公司目前很有可能取得成功，所以在这样早期的时刻进行相关讨论并建立其网络社区，让大家了解现在已经知道和推测出的内容，就能最大化增强我们在这个领域的影响

我们讨论期望spacex的starlink能提供的的覆盖、带宽和传输信息的耗费。Starlink目前计划中的应该是最大也最成熟星座

• 覆盖
  SpaceX宣称完全部署好的Starlink将会为地面提供100%的地理覆盖。此星座包括分布在5个不同倾角的83个轨道中的4425颗卫星，平均海拔1160km。紧接着是7518颗分布在335-346km的VLEO星座。接收服务需要相控阵天线，大小约一个披萨。因此这排除了像智能手机这样直接的端到端的通信的可能
• 带宽
  宣称每颗卫星将会有20Gps的下行速度。对于最终12k颗卫星的部署，综合的下行带宽将会达到240Tbps，与当今估计的光纤容量295Tbps相当。一个问题是当前星间链路ISL如何设计并没有给出。但即使一个稀疏的ISL（如每颗卫星4个）也会得到一个很大的骨干容量（甚至在考虑了每个端到端连接的几个卫星间跳转之后也是如此）
• 数据传输耗费
  SpaceX估计的部署整个星座的耗费是100亿美金，卫星预计寿命5年，而整个星座的更换花费约40亿（预计随着技术发展更换时耗费下降）。保守计算认为发射花费100亿，综合下行容量240Tbps。如果只有10%被使用，而想要获得部署代价的3倍的收益，那么价格为$0.06/GB。这个保守估计已经与当前的宽带价格可匹配了。因此，这样的网络将能与地面的ISP相争，因为它们在长途通信中提供较低时延

3 机会：低时延

非同步轨道一个核心优势是低时延。地面ISP能为网络连接设计较好的地区及地理上较近的区域提供较低的时延，而LEO能为长距离传输节省时间，因为它能提供更短的物理传输距离以及更接近于光速的速度

3.1 指定的卫星星座

建立一个简单的框架来评估卫星星座，这能让我们通过改变轨道及轨道内卫星数来改变星座大小。下面是我们的模型介绍。

• 卫星轨道
  卫星轨道之间等距。为了确定一个轨道，需要8个参数。通过改变升交点赤经（RAAN）来产生不同的轨道平面，改变平近点角（MA）指示在同一个轨道的卫星位置。轨道倾角设定为90°，因此都是极地轨道。离心率设定为0，因此轨道是圆的。对0离心率的轨道，近地点一般在升交点（卫星从南向北运行时与赤道的交点）出现，近地点的参数因此设定为0。平均运行速度（2Π/P）根据卫星的高度而变化。设定卫星高度为1160km，这是Starlink的FCC规范的平均高度。使用pyephem生成和检索卫星在不同时间点的轨道及位置（经纬度、海拔）。使用NaSa的GMAT工具来可视化轨道。如图为示例
  
  Starlink计划中有大部分卫星在低倾角（53°-81°）中，以使它们能在人口密集区能有更长时间。我们决定推迟分析未来工作中这个严格的配置，因为上面简单的配置将会允许我们更简单的评估星座密度的影响，也能反应小星座，如LeoSat的设计。为了可视化非极地轨道对赤道的更大覆盖，下图进行了展示。图中展示了包含9颗卫星的3个轨道，轨道倾角53°但RAAN不同
  
• 星间链路
  每颗卫星有4个ISL：2个与同轨的前后两颗卫星，2个与邻居轨道的卫星。前两者在极地时关闭，因为那时卫星间相对速度过大。这些假设都是与LeoSat的FCC文件时一致的，同样与铱星一致。这些ISL使用自由空间光学，在真空中以光速运行

3.2 估算端到端延迟

在所有轨道、星链都确定以后，我们可以估算任何时刻两个不同的地站之间的时延。我们在2h中以1min为粒度进行计算。认为1min内拓扑是静态的。这种假设是合理的因为在这个粒度内相对位置不会发生太大的变化（任意两个卫星之间的相对位置变化最大不会超过2%）。我们使用Dijkstra算法，根据可见性计算两个目标地站之间的最短路径，然后将计算得到的距离转换为时延。转换时认为传播速度为光速，并忽略错误纠正及其他开销

上图表现了在不同的星座大小时Washington, D.C.和Frankfurt之间的时延。设定卫星的大小为$N^2$，$N^2$表示N个轨道，每个轨道有N颗卫星。N={10, 15, 20, …, 50}。图中显示现今互联网速度使用不同的方式分别为46.4ms和35.8ms。使用光纤最短用时32.6ms；使用光速最短用时21.7ms
从图中可以看到，即使相对较小的$30^2$的星座也能实现比最优光纤更好的结果。中位路径使用12个卫星跃点，但这可以通过与我们测试的简单ISL配置不同的ISL配置来减少。更稠密的星座做只会实现更低的时延。稀疏星座可能会出现两个地方无法连接的状况
我们也发现在Frankfurt和São Paulo之间的中间值延迟是98ms（$50^2$）到121ms（$10^2$）之间。LeoSat宣称的示例延迟是102ms，它们的LEO星座是108颗卫星的。因此可能他们列出的是最低延迟而不是中位数延迟。

3.3 打破当今时延前沿

（这部分我细节方面没看懂，直接谷歌翻译的）

在Frankfurt-DC段中，我们评估稠密的LEO卫星可以实现比现在网络低35%的时延，比地面可达到的最优（使用爱尔兰电缆）的低16%。但即使使用最快的爱尔兰电缆也并不是最小的时延。尽管众所周知，高频交易商已经在某些内陆航线上实现了次光纤延迟，但在这个痴迷于延迟的行业中，跨大西洋延迟有多低?卫星网络相较于他们的时延是怎样的呢？
我们使用的是美国劳工统计局(BLS)的非农就业数据，该数据于每个月的第一个星期五上午8:30在华盛顿特区发布。我们使用的交易时间是(a)在CME(位于伊利诺伊州奥罗拉的芝加哥商品交易所数据中心)交易的E-mini标准普尔500期货;(b)在欧洲期货交易所(位于德国法兰克福)交易的欧元-德国国债期货(FGBL)。我们假设劳工统计局新闻既不知道也不提前交易,而交易时间戳是准确的在100∼10 -µs水平(合规)。
Aurora 和 Frankfurt交易活动之间的时间差异，∆AF，可以从BLS消息后唯一可识别的交易爆发中得到高度可信的推断。考虑到DC-Aurora和DC-Frankfurt新闻传输是同时开始的，如果我们可以估算出DC-Aurora的延迟，LA，我们可以估算出DC-Frankurt的延迟为LA +∆AF。
DC-Aurora的位置相距1004.52公里(即，最低为3.35毫秒)。我们估计LA = 4 ms，这是基于一个合理的假设，即HFTs使用的网络与之前分析的其他陆内段类似
我们评估DC-Frankfurt15个延迟事件，每个事件对应于Q1-2 2016期间的BLS新闻公告。上图包含这15个事件的结果。一些观察到的延迟已经优于可达到的最好的光纤，推测是使用机会短波无线电通信。但忽略方法，这些测量结果表明，延迟甚至比假想理想光纤还低的网络已经在大西洋两岸的小众部署中得到应用。但更有意思的是，小于当前计划中的卫星星座甚至能符合甚至提升这个更严格的基线，也就是说在时延方面战胜当今的前沿。
LEO卫星因此可能能提供降低横穿海洋的网络延迟的方案，这是甚至最近提出的大陆内部网络接近c延迟的研究也没有解决的问题。

3.4 最后一英里的潜力

前面讨论了LEO在长距离传输可以在时延上战胜地面光纤，但如果个人家庭或企业消费者直接连接到卫星星座，将这些作为他们的主要连接呢?

根据Starlink FCC的文件，他们的LEO卫星可以覆盖地球表面半径为1230公里的区域。对于不同大小的均匀LEO星座，我们计算从随机地面位置到其最近卫星的单向延迟。我们同样也是持续2小时实验，时间间隔1min，假定光速传播，下图表现了最后一英里的变化

除了在极地地区，在其他地区也可以得到类似的结果。对稀疏星座，如果限制每个卫星的覆盖区域，就会有长时间处于不可连接状态卫星越密集，延迟和变化越小

尽管考虑到误差校正的影响和卫星应答器的能力可能会削弱这种优势，但这些延迟比主要的地面网络服务提供商观测到的延迟要小。有时由于高降水而可能造成的破坏使这种网络比陆地网络更不可靠，但对于地面网络贫瘠地区，LEO网络能提供面向高带宽和低时延的好的解决方案

3.5 更低的海拔？

最近的工作提出了一个机会主义的、容忍延迟的网络，利用现有的商业航班将互联网覆盖扩展到偏远地区。我们在不同的方面（如降低延迟）上评估了这个方法，并将它的容量与LEO卫星进行对比
我们使用FlightAware API来获取所有机载飞机在任何时候的位置，并移走了低于50米高度的飞行器。然后我们假定微波为媒介，通过空中的一系列飞机来评估期望的地面位置对之间的瞬时连接性。我们每隔15分钟重复这个练习，持续两天，观察这种连接是如何随时间变化的。
为了评估瞬时的连通性，我们使用A启发式搜索来寻找由飞行中的飞机作为目标地面位置之间的跳跃组成的路径。我们使用的A搜索启发式是从每架飞机到目的地的直线距离。飞机之间可见就会被认为是邻居。这是通过计算每个平面根据其海拔高度在地球表面上可以看到的距离来确定的，并且如果任意两个平面的这些距离之和小于彼此之间的距离，则它们彼此可见。这个计算方法未考虑大气折射的影响，折射能提升可见性，所以这是一种保守的计算方法。我们也假设通讯频率足够低因此云雾不会中断通信。分析中忽略障碍和地形的影响（这对10km左右的飞行器影响很小）


上表是一些大城市作为端点的一些城市对的性能，上图可视化了一个快照。对一些城市，没有办法实现100%可连接，但当连接存在时，时延很低，在大多数城市对的测试中，超过测地线距离的平均通胀率都很小，这是因为这个方案防止了大多数LEO面临的海拔消耗

这个方案对全球互联网连接来说是不合适的，而LEO更为符合条件。但对一些利基设施，如HFT，这个方案是可行的。特别是，使用飞机连接几个“1万亿美元俱乐部”的股票交易所(表中的城市属于其中)是可行的。

3.6 应用

LEO承诺的数十ms延迟的降低将会很大的提升当今的应用，包括浏览器和游戏。以Frankfurt-DC为例，一个互动游戏中参与者之间的交互延迟将会降低接近40ms。这在一些研究中表示这样的延迟降低将会很大提升游戏体验

VLEO卫星由实现10msRTT的潜力，这将有益于AR/VR的应用。这些优势对移动应用，如飞机上的连接以及车联网都是瞩目的。以前的研究中已经细节讨论了降低时延的优势

4 挑战

分析表明LEO网络在资费上可与ISP相争，对长距离通讯还能有明显的时延降低。SpaceX的目标，比如作为主要的长距离通信网络，似乎是合理的。但这个网络在设计和操作上还存在一些挑战

4.1 物理拓扑设计

我们第一部分的分析使用的是一个简单的拓扑模型。但实际的卫星需要考虑地面用户分布以及已有的网络基础设施。而且整个系统有多个高度的卫星。即使是我们是否只用圆形轨道都是不可知的：椭圆轨道能在特定区域停留更长时间，但会有更高时延。另外，如果不同轨道采用相同的平近点角的话（也就是不同轨道同时处于相同纬度），相对速度很低但沿地面的线会变长，这似乎不是最优选择。因此，寻找最优拓扑是一个开放的问题，受限于预算、覆盖、延时以及地面设施

4.2 路由

表面上，卫星路由似乎很简单：尽管系统是动态地，但卫星轨道一直连接在一大段时间是稳定的因此可用于计算可用路由。当然，也有一些复杂场景考虑连接和拥塞状态。

高密度LEO网络对路由最有趣的影响在于它们与当今网络生态系统的影响。如图，地面4个AS与卫星AS建立peer关系。$A{S}_1$与$A{S}_3$之间有两个通道——通过$A{S}_2$或通过$A{S}_{Sat}$。根据地理距离可以决定时延，所以根据时延选择$A{S}_2$更近。

目前地面的路由选择已经经历了一个很长的研究历史，已经非常复杂，代理性能很低。将LEO加入这之中，只会让这样的系统更加复杂，增加部署的压力

另一个问题是，地面碎片化的AS会可能因为卫星网络长距离传输的优异性，全都和卫星这个巨大的AS连接成peer关系，这将是互联网“扁平化”的一个极端，这可能对互联网的可靠性和安全性有几个影响。如果多个卫星网都建立并竞争与地面网建立peer关系，就会出现另一个问题：和地面ISP的复杂不同，卫星ISP的拓扑和网络是已知的，对peer而言它的透明度很高

而且我们仍不明晰卫星ISP是如何提供服务的。它应该将地面站部署在适合进行对等传输的位置(如IXPs)，还是计算地面站的分布以实现更均匀的覆盖？它应该为客户和同行提供更大的灵活性来选择通过它的路由(考虑到前面提到的这种设置的自然透明性)，甚至支持按需的远程连接，还是通过内部处理这些复杂性来提供更传统的接口？服务水平协议应该是什么样的，特别是在延迟可变性更高的情况下，以及在链接可用性较低的情况下？路由问题有很多值得探究的

4.3 拥塞控制

传统卫星网络中研究TCP变体在卫星网的应用，很突出的特色是高时延高误码。但对于LEO，它的时延出现量级的降低，这些设计就需要进行改变。另一个卫星网络的特色是时延多变性，这是区别于静止轨道的地方，下图展示了25^2的LEO星座为Frankfurt-DC提供服务时二者之间的时延变化。时延在32ms附近有大约5ms的波动。时延的波动与卫星的密度有关，小密度的时延变化大。而即使高密的星座也是增量部署的，所以时延的多变性仍需要考虑。

目前还不清楚，即使是最近的拥堵控制建议，如PCC、BBR和Copa，在这种情况下如何收费。PCC Vivace过滤掉了小的随机RTT变化和抖动，但是我们设置的变化幅度超过了其阈值。BBR和Copa试图估计无排队RTTs作为端到端RTT测量的最小值，但在这里，最小RTT本身是随时间变化的。总的来说，总的来说，端到端协议很容易将网络传播延迟的变化与排队动力学混淆。因此，即使最好的拥塞控制协议需要重新评估

一个可能的方案时将预测的或已知的物理层的时延告知拥塞控制算法。这种跨层机制可以通过将端到端传输连接分成三个部分来实现，其中中间部分是由卫星提供商操作的自定义系统;或者它可以端到端的实现，但是会遇到更大的部署障碍

5 结论

我们对低轨卫星星座进行了粗略的分析，发现它们能提供相较于地面网络而言巨大的时延降低。在知道这个优势以后，一些新的需要解决的问题，如拥塞控制、拓扑设计，并重看了一些旧的方案，如性能感知路由。我们希望我们关于机会和挑战的讨论能帮助为这个新的研究可能建立一个研究框架

可用引用：

1. 中轨卫星：
   导航系统
   GPS:The Global Positioning System. https://www.gps.gov/, 2018.
   GLONASS : IAC. GLONASS. https://www.glonass-iac.ru/en/, 2018.
   Galileo: European Commission. Galileo. https://tinyurl.com/ydbcrgjh, 2018.
   船只及通讯能力差的地区通讯：O3b，16颗卫星
   SES. https://www.ses.com/networks/, 2018.
   O3b Networks and Sofrecom. Why Latency Matters to Mobile Backhaul. https://tinyurl.com/yc4vor3e, 2017.
2. A. Rebatta. 295 Tbps: Internet Traffic and Capacity in 2017. https:
   //tinyurl.com/y73pq8u4, 2017.
   SpaceX的12000颗VLEO可以提供相当于整个互联网长途光纤的容量！！！
3. B. C. Rhodes. PyEphem. http://rhodesmill.org/pyephem/, 2008. 检索卫星位置（经纬度和高度）
4. NASA. GMAT tool. https://software.nasa.gov/software/GSC-17177-1. 可视化轨道
5. WonderNetwork. Global Ping Statistics. https://wondernetwork.com/
   pings. 城市之间的时延
6. A. Singla, B. Chandrasekaran, P. B. Godfrey, and B. Maggs. The
   Internet at the Speed of Light. In ACM HotNets, 2014. 降低时延可以带来的细节上的优势