（信号与信息处理专业论文）基于机器学习的femtocell系统功率控制算法研究及优化.pdf

power control algorithm for femtocell based on machine learning thesis submitted to nanjing university of posts and telecommunications for the degree of master of engineering by hai-qin ning supervisor: prof. pei-sheng pan march 2013 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档； 允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以 采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文 的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ i 摘要摘要 随着下一代无线通信技术的发展，femtocell 的概念应运而生。femtocell 是一种可以 改善室内覆盖的家庭基站，其主要致力于增加室内覆盖，改善系统性能，减少 macrocell 网络通信负担。然而，在 femtocell 与 macrocell 共存的两层网络中存在同信道干扰问题， 这会降低系统性能。在 macrocell 与 femtocell 组成的两层网络中，层间干扰限制了网络 容量。 本文分析了下行链路中对 femtocell 基站发射功率的控制，给出了基于机器学习中的 q 学习的分布式功率控制算法，并且对比了独立学习与合作学习对系统容量效率以及系 统公平性的影响，在此基础上对回报函数以及动作选择方法做出了改进，使得在保证 macrocell 与 femtocell 用户都正常通信的情况下，macrocell 系统与总的 femtocell 容量效 率得到了提高，同时提高了 femtocell 系统的公平性。 本文通过 matlab 仿真了一个 macrocell 系统与多个 femtocell 系统共存的情景，分析 了各基站以及用户之间的干扰，以及对 femtocell 基站发射功率控制的原则，并验证了本 文所给出的改进回报函数的方法以及改进动作选择原则的方法对系统容量效率以及系统 公平性的有效改善。 关键词关键词: 机器学习，机器学习，q 学习学习，独立学习独立学习，合作学习合作学习，功率控制，功率控制，家庭基站家庭基站 ii abstract with the development of the next generation wireless communications technology, the concept of femtocell appears. femtocell is a kind of home base station which can expand coverage indoor, improve system performance and decrease macrocell communication overhead. however, the existing co-channel interference of the network between macrocells and femtocells can dramatically degrade the overall performance of the network. in a two-tier cellular network comprised of a central macrocell underlaid with femtocell access devices, the interference between layers limits the capacity of the network. this paper analyzes the femtocell base station transmit power control in the downlink and gives the distributed power control algorithm based on q-learning, and compares independent q-learning and cooperative q-learning of system capacity and system fairness. after that it improves the reward function and operation selection method. this algorithm increases the capacity of macrocell system, and improves the system fairness and capacity of the total femtocell system. in this paper, matlab simulations a scenario which macrocell system is coexisted with many femtocells systems, and analysis the interference between each base station and the users, and studies the principle of transmission power control on the femtocell base station. then validate the method of improving the reward function and operation selection principles, with which the system fairness and the capacity of the system are improved efficiently. key words: machine q-learning, q-learing, independent q-learning, cooperative q- learning, power control, femtocell iii 目录目录 第一章 绪论 . 1 1.1 研究背景 . 1 1.2 研究现状 . 1 1.3 论文研究的内容 . 2 1.4 论文总体结构 . 2 第二章 femtocell 概述 . 4 2.1 femtocell的产生 . 4 2.2 femtocell的优势 . 5 2.3 femtocell的组网方式 . 6 2.3.1 iub over ip 的方式 . 6 2.3.2 基于 ims/sip 的方式 . 7 2.3.3 基于 uma的方式 . 8 2.3.4 基于集中控制的方式 . 8 2.4 femtocell面临的技术挑战 . 9 2.4.1干扰控制 . 9 2.4.2时间同步以及回程问题 . 10 2.4.3小区切换问题 . 10 2.4.4接入方式 .11 2.4.5 安全性和保密性 . 12 2.5 femtocell的发展前景 . 12 2.6 本章小结 . 13 第三章 femtocell 的功率控制 . 14 3.1 femtocell功率控制简述 . 14 3.1.1功率控制的意义 . 14 3.1.2功率控制技术的研究现状 . 14 3.1.3 femtocell功率控制要求 . 15 3.2功率控制的准则 . 16 3.2.1基于功率平衡准则 . 16 3.2.2基于信号干扰比平衡准则 . 16 3.2.3误码率平衡准则 . 16 3.2.4三种准则的对比 . 16 3.3功率控制的方法 . 17 3.3.1下行和上行功率控制 . 17 3.3.2集中式和分布式功率控制 . 18 3.3.3开环和闭环功率控制 . 18 3.4 本章小结 . 19 第四章 基于机器学习中的 q学习的分布式功率控制算法. 20 4.1机器学习简介 . 20 4.1.1机器学习的产生以及发展 . 20 4.1.2机器学习的主要研究方向 . 21 4.1.3机器学习的主要方法 . 21 4.1.4加强学习的几种主要算法 . 22 4.2 q学习 . 24 4.2.1 q学习简介 . 24 iv 4.2.2 q学习的任务 . 27 4.2.3 收敛性的证明 . 28 4.3基于 q学习的分布式功率控制算法 . 30 4.3.1 系统模型 . 31 4.3.2 q学习算法中的参量及对回报函数的改进 . 32 4.3.3多个 femtocell 的独立学习 . 34 4.3.4多个 femtocell 的合作学习 . 35 4.3.5改进的 cql算法 . 37 4.4仿真结果比较分析 . 40 4.4.1仿真环境以及参数设定 . 40 4.4.2 q学习算法功率控制性能衡量指标 . 41 4.4.3 cql与 iql仿真结果比较分析 . 42 4.4.4 改进的 cql与 cql仿真结果比较分析 . 49 4.4.5 仿真算法比较分析 . 51 4.5 本章小结 . 51 第五章 总结与展望 . 53 5.1 全文总结 . 53 5.2 未来展望 . 53 参考文献 . 54 附录 1 程序清单 . 56 附录 2 攻读硕士学位期间撰写的论文 . 57 附录 3 攻读硕士学位期间参加的科研项目 . 58 致谢 . 59 南京邮电大学硕士研究生学位论文 第一章 绪论 1 第一章第一章 绪论绪论 1.1 研究背景研究背景 随着无线移动通信技术的不断发展，移动用户数量不断增加，研究表明1在传统的 macrocell 网络中，有 2/3 的语音业务以及 90%的数据业务是在室内发生。因此室内的无 线覆盖就显得尤为重要，良好的室内无线覆盖能提供高质量的视频、语音以及数据业务 服务。运营商的利益以及移动用户对运营商的满意度与室内无线覆盖质量有直接关系。 但据调查表明，对于现有的室内信号覆盖质量，30%的企业移动用户和 45%的家庭移动用 户都对此不满意。在 3g 的 cdma 技术中，随着业务量的增加，小区覆盖范围就会变小， 这就产生了呼吸效应，由于 macrocell 基站价格昂贵，单靠传统的增加 macrocell 基站的 办法来解决上述问题是十分不经济的，并且在基站的选址，对设备的安装调试以及维护 等方面都需要大量的人力、物力以及时间。 femtocell 是一种体积小，发射功率低的毫微微基站，可以用于家庭以及中小企业等 场所。femtocell 与传统的小型基站不同，其部署方式灵活、即插即用、功耗低、绿色健 康，对人体辐射小。femtocell 的引入可以有效降低 macrocell 基站的发射功率，并且提高 其系统性能。如果信号从室内向室外的渗透很少，那么新引入的 femtocell 层可以在室内 复用频谱，使得网络性能得到很大程度的改善。 随着高速数据传输业务的需求越来越大，加之其传输需要无线链路的性能非常好， 而由于穿透墙壁会有损耗，还有室内位置的关系，有些地方的数据传输速度是达不到要 求的。femtocell 核心的动力就是可以通过采用高速下行分组接入（high speed downlink packet access，hsdpa）来使其传输服务变得简单化。因为 femtocell 是即插即用设备， 在需要时开启在不需要时可以关闭，和 macrocell 相比辐射更小更加绿色环保对人体健康 无害。femtocell 的引入可以延长用户终端电池的使用时间以及寿命，而电池使用时间也 是提高移动终端数据传输服务满意度的一大挑战。其基站功率的降低大大降低了运营商 的运营成本，颇受运营商的关注。 1.2 研究现状研究现状 femtocell 作为一种有效解决室内覆盖问题的方案在 2006 年一经提出便迅速得到了通 信业专家的关注。femtocell 采用无线接入可以实现良好的家庭覆盖，一般可容纳 4 到 10 南京邮电大学硕士研究生学位论文 第一章 绪论 2 个用户，其回程方式也可以提供分组数据的快速传输。在 macrocell 网络中引入 femtocell 就会构成两层网络，其中主层网络为 macrocell 网络，macrocell 网络用户为主用户 （primary user，pue）；次层网络为 femtocell 网络，femtocell 网络用户为次用户 （secondary user，fue）。 目前，大部分与 femtocell 相关的文献着重研究的领域主要包括： （1）femtocell 与 macrocell 共存的两层网络中的层间干扰抑制问题； （2）femtocell 在现有网络环境中频谱是如何分配的； （3）femtocell 与 macrocell 之间的切换问题； （4）femtocell 的邻区关系管理问题。 1.3 论文论文研究的内容研究的内容 无线通信系统中，在 macrocell 网络中引入 femtocell 会引起小区间干扰，额外增加了 macrocell 网络干扰，在上行链路中 femtocell 用户会对 macrocell 基站产生干扰， macrocell 小区用户也会对 femtocell 基站产生干扰；而在下行链路中，femtocell 会对 macrocell 小区用户产生干扰，而 macrocell 基站也会对 femtocell 小区用户产生干扰。为 对干扰进行有效控制，本文分析了 femtocell 的网络结构以及其功率控制相关的问题，由 机器学习理论出发，建立 macrocell 与 femtocell 共存的两层网络模型，分析其下行链路干 扰情况以及对 femtocell 基站发射功率进行功率控制的原理，分析并仿真了基于 q 学习的 分布式功率控制算法 2 ：独立学习（ independent q-learning，iql）和合作学习 （cooperative q-learning，cql），分析比较了在相同回报函数下两种算法对系统性能的 改善，其中合作学习 cql 对系统容量效率以及公平性方面的改善优于独立学习 iql。并 对其回报函数以及动作选择方法进行了改进，分析了其可行性并通过 matlab 仿真并验证 了在不同回报函数下合作学习 cql 以及独立学习 iql 以及在采用新的动作选择准则后的 合作学习 cql对系统容量效率以及系统公平性的改善。 1.4 论文总体结构论文总体结构 本论文一共包括五章内容，分别组织如下： 第一章主要介绍的是本论文的研究背景，简单介绍了本论文所要研究的主要内容以 及论文结构的安排； 第二章主要介绍了 femtocell，包括 femtocell 的产生、优势以及 femtocell 的网络结 南京邮电大学硕士研究生学位论文 第一章 绪论 3 构和面临的问题； 第三章主要介绍了 femtocell 的功率控制，首先介绍了功率控制技术的现状并给出了 femtocell 功率控制要求，之后介绍了功率控制的准则和方法； 在第四章中，首先介绍了机器学习的基本知识，包括机器学习的发展、主要方法， 重点介绍了加强学习中 q 学习算法，给出了基于 q 学习的 femtocell 分布式功率控制算法： 独立学习 iql 和合作学习 cql，分析比较了在相同回报函数下两种算法对系统性能的改 善，并对其回报函数以及动作选择方法进行了改进，分析了其可行性并通过 matlab 仿真 并验证了在不同回报函数下合作学习 cql 以及独立学习 iql 以及在采用新的动作选择准 则后的合作学习 cql对系统容量效率以及系统公平性的改善。 第五章对全文的主要工作进行了总结，并指明了可以进一步深入研究的方向； 然后是参考文献，附录的程序清单、硕士学习期间发表的论文以及在硕士学习期间 参加的科研项目，最后是致谢部分。 南京邮电大学硕士研究生学位论文 第二章 femtocell概述 4 第二章第二章 femtocell 概述概述 2.1 femtocell 的产生的产生 随着 3g 的商用，对于语音，多媒体以及高速的数据业务要求越来越高。然而城市 的发展使得城市楼房越来越密集人口越来越多，家庭用户和企业用户面临的室内覆盖问 题日益突出。据估计，在数据业务当中 90%以上是发生在室内的，在语音业务中大约有 67%也是发生在室内环境中，对于运营商来说，良好的室内覆盖可以保证客户群体的稳 定，高水平的服务质量和高速的数据业务可以提高用户的满意度和信赖程度，所以怎样 提高室内覆盖成为今后运营商面临的一项艰巨的任务。 femtocell3又名家庭基站（home base station）或者毫微微基站、飞蜂窝等等。 femtocell 的概念最早是在 1999 年由阿尔卡特朗讯提出的，在 2002 年，摩托罗拉公司首 先开发了第一代基于 3g 的家庭基站产品。femtocell 主要是为了弥补因为 macrocell 小 区中无线电波穿透墙壁建筑物等的衰落太大造成的功率损耗以及覆盖不完全，femtocell 是一种蜂窝网络，主要用于室内。其覆盖半径比较小，通常在 10 到 50 米，一般用于家 庭的 femtocell 可覆盖 3 到 5 个用户，用于商业区的可覆盖 8 到 10 个用户，其发射功率 低，一般为 10 到 100 毫瓦，用户最大的移动速度允许为 10km/h，其成本低，即插即用， 通过标准的移动设备，例如 dsl，有线电缆，光纤等连接到移动网络。 但是，直到 2005年 femtocell 的概念才开始获得广泛关注。2006年，femtocell的概 念作为学术名词正式提出，在 2007 年的 2 月，运营商开始关注 femtocell 并开始对其进 行测试。femto4论坛在 2007 年的 7 月成立，短短两年多时间内，有 100 多个商家加入， 包括了电信类的软硬件提供商，移动以及内容供应商等，论坛的成立不仅加快了 femtocell 的标准化进程而且加速了其在世界范围内的部署。femtocell 的大规模部署以及 应用是很值得期待的。 典型的提高室内覆盖的方法是利用室外的 macrocell 基站，但是用这种“在外面” 的方法有很多缺点，例如 3g 以及 2g 到 3g 之间的网络一般在 2ghz 及以上频率通信， 建筑物的穿透损耗是一个很棘手的问题，由于室内到室外的穿透损耗非常高，为保证通 信质量室内用户会要求室外基站提高发射功率，而这样会使其他用户得到的功率降低， 进一步使得整个系统的系统吞吐量下降，特别是人口密集地区，需要大的网络容量，也 就意味着需要更多的室外基站，而大量的架设室外基站和对于大型网络的规划设计以及 南京邮电大学硕士研究生学位论文 第二章 femtocell概述 5 优化问题对于运营商来说是一个巨大的挑战。所以在一些热点地区，像办公大厦，商业 购物中心等地方，分布式天线系统（distributed antenna system，das）以及微微小区就 变成解决方案中比较可行和有潜力的了。而在这种情况下，femtocell 呼之欲出。 2.2 femtocell 的的优势优势 femtocell 的引入可以增加室内覆盖、增强 macrocell 网络可靠性，其接入方式简单、 成本低、功耗小、绿色健康，可极大地提高运营商的竞争力。 femtocell 可以增加室内覆盖 femtocell 可以覆盖 macrocell 没办法覆盖到的地方，补充 macrocell 基站的覆盖缺 陷，为 macrocell 基站没有覆盖到的室内环境提供良好的覆盖5，可以有效的提高 两层网络的网络性能。就当前而言，家庭以及中小企业主要还是依靠室外基站来 提供网络覆盖，当前还是可以较好地满足基本的语音通信服务的，但是随着人们 对无线数据业务的需求的增加，对于数据业务的传输速率要求越来越高，这样仅 仅依靠室外基站的覆盖不能满足室内高速无线数据业务的传输要求。femtocell 的 引入能够有效解决上述问题，提供高质量无线数据传输服务，提高用户对网络传 输的满意度。在无线通信中，特别是在人口以及建筑物比较密集的城市，室内覆 盖一直是一个很难解决的问题。对于 macrocell 小区来说，只是提高其基站发送功 率不能改善覆盖问题，因为高频信号在穿过障碍物时的衰减是非常明显的，而 femtocell 在提高室内覆盖问题上很有优势。 femtocell 可以增强 macrocell 网络的可靠性 随着移动用户数量的不断增加以及移动用户对高速数据传输业务越来越高的要求， 室外 macrocell 基站的通信负担越来越重，femtocell 的部署可以分担室内通信业 务，降低 macrocell 基站的通信负担，提高 macrocell 网络的通信质量，增加其可 靠性。 femtocell 的接入方式简单 femtocell 在家庭以及中小企业的接入方式非常简单，只要有普通的网线便可以连 接到宽带资源，其与和核心网的连接只需要由网关设备通过标准接口连接即可。 femtocell 可以作为固网和移动网络融合（fixed mobile convergence，fmc）的理 想解决办法，femtocell 开辟了一种新的部署模式，用户自行安装自行承担安装费 用，这样网络的部署就可以从最需要高速数据业务的环境开始，femtocell 将会成 南京邮电大学硕士研究生学位论文 第二章 femtocell概述 6 为未来通信服务业务网络部署的重大转变模式。 femtocell 成本低、功耗小，绿色健康 femtocell 即插即用，安装简单，功率小，辐射低，绿色环保安全，对于家庭用户 来说是一种很好的选择。因为 femtocell 是即插即用设备，在需要时开启在不需要 时可以关闭，和 macrocell 相比辐射更小更加绿色环保对人体健康无害。femtocell 的引入可以延长用户终端电池的使用时间以及寿命，而电池使用时间也是提高移 动终端数据传输服务满意度的一大挑战。 femtocell 的引入可以提高运营商竞争力 femtocell 的引入可以增加运营商的竞争力，与其他蜂窝系统相比，femtocell 可以 提供良好的室内覆盖以及数据、视频、语音等的综合业务，为不同用户提供不同 的用户体验，丰富服务内容，而客户数量的多少以及忠诚度与网络服务质量有着 很大的关系，femtocell 的引入会对通信网络服务质量产生很大的影响，直接节约 了运营商资金保证了用户群体的稳定性。femtocell 的引入可以很大程度的降低运 营商的成本，由于其可以分流 macrocell 基站高达 70%到 80%的业务量，这样运 营商可以减少户外 macrocell 基站数量，而其基站数量的减少使得无线接入网络的 费用降低，回程传输成本也会随着 macrocell 系统业务量的减少而降低。同时减少 macrocell 基站数量也会降低基站位置选址和计划规划过程的复杂度，将会有效减 少支付基站使用的租金。运营商可以通过引入 femtocell 组建风险更低，更加经济 并且满足系统容量要求的网络发展计划。 2.3 femtocell 的组网方式的组网方式 目前，扁平化结构思想被引入到 femtocell 的网络架构研究中，在这种思想中，通 过将两部分功能集成到同一个接入设备，各个厂家对家庭基站接入点接口设备以及功能 集成的实现方式都不同，而随着设备功能集成的增多，其网络结构的扁平化也就越明显。 不同的接入方式接入到核心网就需要不同的设备功能集成度，其接入核心网的方式主要 可以分为四种。 2.3.1 iub over ip的方式 如图 2.1 所示： 南京邮电大学硕士研究生学位论文 第二章 femtocell概述 7 adsl adsl femtocell femtocell iub iub 图 2.1 iub