一、并行数据采集器任务分配策略的设计与实现（论文文献综述）
李传莹[1]（2020）在《面向高性能应用的通信特征分析技术研究》文中研究说明高性能计算伴随着大规模数据处理日益增长的情况下,其科学技术的研究和国民生活经济的各个方面均拥有着海量的应用需求和广泛的应用前景。随之而来的是高性能计算机系统的计算速度不断刷新新高,高性能应用也在不断发展与完善。面对海量计算的高性能应用,用户如何更直观的分析程序性能状态、更快的找出程序性能瓶颈迫在眉睫,目前国内外的研究机构和科研院校在这方面已经进行了大量的工作并积累了许多经验,对程序性能监测工具的研究也具有代表性,虽然他们是针对于不同的应用开发而来,并且采用的分析手段也不相同,但均是对程序的性能起到监测分析的作用。针对高性能应用的性能分析,本文研究高性能应用的通信特征,并对其进行分析,设计实现了一个通信特征分析工具,该工具通过数据采集接口实现实时获取应用程序性能数据,提供了更高的实用性、可移植性和易用性。本文主要工作如下:（1）设计并实现面向高性能计算的通信数据采集方法。本文主要根据不同网络层次确定需要采集的通信数据类型以及采集的手段,在此基础上设计合理的数据采集方案,通过代码插桩技术,在不影响高性能应用的前提下自动有效地采集正确的性能参数和通信行为特征数据。（2）设计并实现面向高性能应用的通信特征分析。将数据采集接口嵌入到应用的多个层级上,通过设置不同的参数组合运行程序,记录应用的通信数据,然后从采集数据中抽取提炼程序的通信特征,进而提取应用通信特征的关键参数,比如说通信函数开始时间、结束时间、传输数据量等等,最后利用通信特征分析技术报告进行后续的性能分析。在本文中,针对不同层次、不同结点采集的数据具有不同的格式,提取并根据时间顺序重新整理数据,对全局通信计算其通信量,整合这些通信数据并生成报告,对得到的通信特征进行分析,便于用户对应用进行后续的优化。（3）特征分析技术在Linux系统中的实现与实例分析。本文在Linux系统中对面向高性能应用的通信特征分析技术的关键点进行了测试,并且通过实例对并行程序性能数据进行通信特征分析,证明通信特征分析技术在真实环境中的可实现性。同时用直观、富于语义的方式来展示性能数据,如程序结构可视化、数据分布的可视化以及计算可视化。在本文中通过应用实例对应用的通信特征进行分析,采取不同的数据进行对比,结果表明,该技术极大的方便用户找出应用程序的性能瓶颈。因此面向高性能应用的通信特征分析技术能够高效优化程序,在接下来即将到来的E级计算时代,能较为轻易的收集并行信息、数据分配信息和通信信息,较为准确的判断应用的性能情况,让用户据此更为合理的分配计算负载给处理器,以达到大规模计算下的处理器负载均衡,提高计算的效率的同时也更加合理的利用资源。
王晓乐[2]（2020）在《建筑设备运维系统的分布式实时数据库》文中提出建筑设备运维系统的使用阶段是建筑全生命周期中占比最大的,实现建筑设备运维系统的智能化和信息化,需要解决系统中数据的多源异构、分布式部署、瞬时数据的海量性等问题。分布式实时数据库利用分布式技术将海量多源异构数据的采集和存储分布在各个本地实时数据库节点上,并统一管理,实现集中管理分散控制,为建筑设备运维系统提供数据支持。论文从建筑设备运维系统的服务需求、分布式实时数据库技术、分布式历史文件系统以及在建筑设备运维系统中的应用的流程上,主要进行了以下工作:（1）论文介绍了建筑设备运维系统、实时数据库以及分布式实时数据库的发展现状,并深入研究建筑设备运维系统对分布式实时数据库的需求,以需求为基础,结合实时数据库和分布式实时数据库技术特点,提出建筑设备运维系统的分布式实时数据库总体架构,以及数据库服务的详细设计。（2）为满足海量多源异构数据的采集,本文提出采用动态链接库技术,设计组态化数据采集器,以实时数据库为基础,研究数据库点名管理和内存数据组织结构,利用多线程技术、实时事务优先级分配策略解决分布式实时事务的调度处理。（3）本文介绍了建筑设备运维系统分布式实时数据库中的历史数据库架构,本文根据开关量和模拟量的不同特点,优化数据存储策略,通过研究Hadoop分布式文件系统,将HDFS同历史数据库文件系统相结合,开发基于HDFS的历史文件管理系统,并通过API提供数据访问接口,实现数据的快速存储与数据索引。（4）文章最后分析了分布式实时数据库中实时数据的写入与提取速度,将实时数据索引同SQL Server进行对比验证系统的快速性;通过将分布式实时数据库系统应用到实际建筑设备运维系统中,验证了系统应用的有效性,并最终证明分布式实时数据库系统可实现数据的多源异构数据采集、数据处理、实时事务并发控制、分布式管理等需求。
李稷[3]（2020）在《炼钢-连铸区段天车调度系统研究》文中研究说明为优化炼钢车间天车调度,建立天车智能调度系统,本论文以首钢京唐钢铁联合有限责任公司炼钢车间为目标,对其钢水接收跨和钢水精炼跨的天车调度问题进行了系统研究。炼钢车间调度层次复杂,环境动态因素多,造成了其天车调度问题具有任务动态到达,重调度次数多,重调度时的初始条件多等特点,而工位的单钢包容量属性和各跨内多天车属性,使得该天车问题必须考虑工位容量约束和天车避碰约束。针对此,论文从冶金流程工程学角度阐述了天车调度的地位及目的;分析了复杂炼钢环境下不同的天车调度策略及其适用性。在此基础上,建立了天车调度数学模型。模型目标函数在时间节奏方面考虑了天车调度对工序调度稳定性的维护,在工作量方面考虑了对工作量总量增长和各天车间工作量差异的控制。模型约束考虑了工位容量约束,初始状态约束以及天车行为约束。分别在预反应调度策略和完全反应调度策略下,采用基于仿真的启发式算法和规则调度方法对模型进行求解。以目标炼钢车间为背景建立了天车调度仿真平台,其包括:基于不同调度策略的任务产生方案,钢包回转台旋转控制方案;基于主动避让和被动避让天车冲突、不同天车优先级确定方案的天车运行控制方案;天车调度评价指标系统。建立了天车运行演示平台,其根据天车调度仿真平台给出的调度结果,重现天车实时运行过程与轨迹,显示调度评价指标和任务状态。最后,开发了基于完全反应调度策略的钢包-天车调度管理系统,介绍了其系统组成、钢包/天车定位方案和系统通讯方案,并展示了其应用实绩。论文利用天车调度仿真平台对比分析了不同动态调度策略、不同重调度方式、不同算法以及不同天车运行方案下的天车调度结果,分析了钢包-天车调度管理系统的应用实绩,得到以下结果和结论:1)在预反应调度策略下将提出的实时性启发式方法与枚举法进行了对比。精炼跨中启发式方法的调度优化性能达到枚举法的94.2%,接收跨中达到97.1%。说明提出的实时性启发式方法能够取得良好的近优解。2)分别在预反应调度策略和完全反应调度策略下,采用本文提出的启发式方法进行了对比。在精炼跨中,预反应调度策略在总惩罚指标上比完全反应调度策略降低17.8%,在任务分配变更率指标上两者都为0;在接收跨中,预反应调度策略相比于完全反应调度策略,在总惩罚指标上降低15.3%,而前者在任务分配变更率指标上是后者的6.7倍。在接收跨中,对比了完全反应调度策略下的规则调度与预反应调度策略下基于部分重调度的启发式方法,前者的总惩罚指标值是后者的2.6倍,而在任务分配变更率指标上,前者为0,后者为6.4%。表明本文所采用的预反应调度策略在总惩罚指标方面优于完全反应调度策略,而后者在任务分配变更率方面优于前者。3)在假设的异常钢包路径下,天车调度总惩罚指标是正常钢包路径下的2.9倍,任务分配变更率是后者的3.5倍,任务执行效率是后者的64.1%。说明钢包路径对天车调度结果直接且明显的影响,天车优化调度的前提是钢包路径优化。4)对不同任务强度下最佳天车数量的研究表明:当有2台非同一区域的连铸机同时工作时,则需要2台天车匹配该任务强度;当有两台同一区域的连铸机同时工作时,则需要配置3台天车;当有3台连铸机同时工作时,3台天车可以胜任该任务强度。5)当在天车运行方案中允许天车提前向任务起点移动,通过仿真实验可以看出,总惩罚指标在精炼跨中降低10.4%,在接收跨中降低4.2%。在完全反应调度策略的规则调度下,对比了以任务类型、任务释放时刻和天车状态确定天车优先级的三种方式,后两种方式在总惩罚值指标上分别是第一种方式的2.2倍和4.6倍。表明本文设计的天车运行方案能够直接优化天车调度结果。6)钢包-天车调度管理系统应用后,转炉到精炼的钢包传搁平均时间从12.23分钟降到10.01分钟,降幅18.2%。精炼至连铸的钢包传搁平均时间从9.37分钟降低至8.36分钟,降幅10.7%。钢包交叉路径百分比从22.5%下降到19.2%,下降3.3个百分点。钢包周转周期平均值从227.85分钟降低到224.92分钟,使得钢包周转率从6.75炉/（个·天）上升到6.85（个·天）。该系统以及其他节能技术和措施的应用,使得目标车间转炉出钢温度平均值从2019年1-6月份的1655.0℃降低到7-12月份的1653.3℃,降低1.7℃。以上结果表明该系统取得了良好的应用实绩。
漆星[4]（2019）在《数据驱动的电动汽车异步电机参数辨识方法研究》文中研究表明异步电机的矢量控制因其稳定可靠,响应速度快等优点,在工业场合中大量应用。特别在近年来,异步电机的间接矢量控制（IFOC）在电动汽车领域的使用上越来越广泛。由于IFOC是采用基于转差角频率的转矩控制,本质上为一种前馈控制方法,电机的参数会导致异步电机转子磁链定向不准,从而严重的影响电机的输出转矩和输出效率。因此,有必要对电机参数进行辨识。现有的异步电机参数辨识方法多为基于模型的辨识方法。其主要特征为先建立电机的系统模型,在对系统模型使用现代控制方法进行系统参数的辨识,称为基于模型的电动汽车异步电机参数辨识方法,如空载-堵转法、模型参考自适应法、扩展卡尔曼滤波器法、滑模变观测器法等。基于模型的参数辨识方法运算量小,易于工程实现,因此适合于对实时性要求较高的电机控制领域。然而,基于模型的参数辨识方法也存在着一些问题,例如这类方法只能辨识系统模型的参数、在模型不精确时辨识精度较差、在某些极端场合下抗扰性较低等问题。这些问题导致基于模型的参数辨识方法在某些场合下不能很好的辨识出正确的参数值。基于上述问题,本文构建了一种新思路,即在不建立系统模型的前提下,完全依赖于实际数据对电动汽车异步电机的参数进行辨识,称为数据驱动的电动汽车异步电机参数辨识方法。由于数据驱动的参数辨识方法不依赖于系统模型,因此可以克服基于模型的参数辨识方法所具有的缺陷。同时,数据驱动的参数辨识方法是以“奖励”为导向的方法,因此辨识出的参数并非电机系统模型的参数,而是能使电机在任意给定工况下都能运行于最优状态的参数,这是数据驱动方法区别于基于模型方法的明显特征,也是数据驱动的方法可以适用于电动汽车电机控制的重要原因。基于上述思路,本文研究的内容如下:1.以模型参考自适应方法为代表,分析了基于模型的参数辨识方法的优缺点。2.研究了一种基于深度Q学习的数据驱动电动汽车异步电机的离线参数辨识方法,这种方法的优势在于辨识出的参数能使电机在任意状态下均能输出最优转矩和最高效率,同时该方法具有较高的抗扰性。3.研究了一种基于深度确信策略梯度的电动汽车异步电机离线参数辨识方法,这种方法辨识出的参数同样具有能使电机在任意状态下均能输出最优转矩和最高效率的特性,同时,相对于深度Q学习方法,参数的辨识精度更高。4.针对深度Q学习方法和深度确信策略梯度方法方法只能运用于离线参数辨识的缺陷,研究了一种基于深度Q学习和随机森林结合的数据驱动电动汽车异步电机在线参数辨识方法,这种方法的优势在于在算法分为离线和在线阶段,而在线阶段的运算量非常小,适合于电机的实时在线运行,同时,这种方法辨识出的参数可以使电机在线运行的任意状态均能输出最优转矩和最优效率。5.数据驱动的电动汽车异步电机参数辨识方法中,采集到的数据的质量好坏直接影响着辨识结果的精确性和算法的收敛速度。由于电动汽车电机运行工况复杂,实际运行中往往会产生各种异常数据。因此,对数据的清洗,特别是对异常数据的检测和剔除工作尤为重要。本文最后研究了一种虚拟结点孤立森林异常点检测方法,可以有效的对电机运行中的异常数据进行检测和剔除,从而保证了数据源头的纯净性。
黄璜[5]（2019）在《基于故障数据预处理的超算系统容错关键技术研究》文中进行了进一步梳理随着超级计算机的规模不断扩大,体系结构日益复杂,系统可靠性的要求也急剧增高,使得与可靠性紧密相关的系统故障预测和研究面临着极大的挑战。超级计算机系统中的故障一般具有瞬时性、多样性以及不确定性,这些因素对故障信息采集、故障预测以及容错提出了更高更复杂的要求。由高效的数据采集能力和快速准确地数据分析能力所构成的数据预处理技术,为面向超算系统的容错技术提供了强大的数据保障。于此同时,E级系统中单个科学计算应用所产生的最大数据规模将从TB级别增长到PB级。而大规模数据采集时要求更高的聚合带宽来降低延迟以增强实时性,因此实时数据采集很容易产生大量的突发性I/O请求。这样的数据密集型应用和突发性I/O可能成为影响系统I/O性能的最大瓶颈,从而影响故障数据采集的效率。与此同时,I/O性能降低也将影响超算系统容错的执行效率。本文针对超级计算机系统可靠性问题以及与之紧密相关的I/O问题,以保障大规模应用在超算系统高效运行和提高I/O密集型应用的存储利用效率为目标,对故障数据预处理技术、容错技术以及与之相关的I/O问题展开了多方位较深入的研究和实验分析,取得的主要成果如下:设计和优化了面向超算系统的故障数据预处理技术。首先,针对当前系统规模不断增大,数据采集效率较低的情况提出了面向超级计算机系统的实时数据采集框架。实时数据采集框架由数据采集器、H2FS和分布式数据采集管理器组成。针对超算系统中可能产生突发性I/O的复杂应用环境,通过加入高效的H2FS为整个采集框架提供了高性能和高可用性的支持。其次,针对运行时应用相关性能信息收集不完整的问题,优化了用来收集和分析典型应用性能特性的性能分析工具的功能,丰富了实时数据采集框架中的采集数据类型。再次,为了提高系统故障分析和诊断的准确性和时效性,提出了基于离线预处理的在线日志模板提取方法。该方法由两部分组成:第一部分,通过对现有离线日志模板技术的研究和分析,设计了一种针对天河超级计算机的离线日志模板提取流程;第二部分,采用我们设计的实时故障数据采集框架,在存储中间层当中快速增量式的在线分析日志。然后将整个设计融入到数据预处理模块当中与实时数据采集模块联合运行。最后,实验结果表明该框架具有较高的性能和较好的可扩展性,同时验证了基于离线预处理的在线日志模板提取方法的准确性,以此证明面向超算系统的故障数据预处理技术的可用性。针对大规模应用在运行时遇到系统故障可能性增大以及涉及的失效节点数量更多的问题,在XOR的检查点/恢复容错方法的基础上,提出了基于多维度XOR的检查点/恢复容错技术。系统的频繁失效会使得那些在超级计算机平台上长时间运行的任务的完成时间大大髙于任务原本所需的执行时间。而传统检查点/恢复技术在恢复所需的时间成本和恢复所需的存储容量之间往往很难取得平衡。为了解决这些问题,我们提出了基于多维度XOR的检查点/恢复容错方法,并对基于数学函数库的容错框架进行了分析和讨论。通过多维度XOR的检查点/恢复容错方法对大规模并行应用进行容错操作,在不过度增加存储容量的情况下又能够较大程度的提高系统的可靠性。最后,通过实验验证了多维度XOR的检查点/恢复容错方法的有效性。为了解决超算系统中大量突发性I/O对系统性能以及容错效率的影响,提出了面向超算系统的存储负载管理模型SWMM。它可以在多个数据密集型应用并行访问文件系统时优化I/O路径,从而提高带宽效率。同时,优化了面向超级计算机存储系统的容量均衡策略,用于解决存储扩展中的容量不平衡问题。这些技术可以进一步提高应用运行的效率,同时一定程度上缓解了容错技术中I/O性能带来的影响。我们在天河-1A超级计算机上对SWMM进行了测试,实验结果表明,I/O路径优化和容量平衡策略达到了预期的效果,数据采集模块在小数据块传输中具有低开销和高传输效率。
文婷婷[6]（2019）在《云服务平台中计算资源管理的研究与应用》文中研究指明随着云计算、虚拟化等互联网新兴技术的快速发展,基础设施即服务（IaaS,Infrastructure as a service）模式的云计算平台被各行业广泛应用。而目前较为主流的IaaS云平台（OpenStack、Eucalyptus等）主要是通过物理主机资源分配量统计以及其分布情况而非资源占用量对资源进行调度管理,无法满足云计算服务平台所需的高效性、动态性、可伸缩性,也无法准确预测云平台业务需求规模的变化而导致的基础设施负载的波动。本文针对传统云计算中资源负载不均衡、资源调整不及时的问题,设计实现了面向云服务平台的计算资源管理系统,主要工作如下:1.设计了系统的资源调度流程和算法,并在双阈值检测算法的基础上,对物理主机异常状态检测进行了优化,使检测结果更具准确性和鲁棒性;在虚拟机选择算法上,采用了排序和分组处理,使调度决策更具时效性并降低整体算法的时间复杂度;在目的主机的选择上,基于传统的降序最佳拟合算法,并从节省资源管理系统能源效率的角度出发,设计了节能最佳拟合算法,然后在模拟仿真平台将此算法与调整降序最佳算法（MBFD,Modified best-fit decreasing）进行了对比测试和结果分析。2.基于先发现资源再对资源做出行为决策的思想和主流IaaS平台OpenStack,设计了面向云服务平台的资源管理系统。此系统主要以OpenStack为基础,资源管理子系统为系统核心,Web服务子系统为可视化界面,为云服务平台提供了方便、高效的资源管理;3.完成了资源管理子系统和Web服务子系统各组成模块的设计与具体实现,搭建基于OpenStack的资源管理实验测试平台,并对此计算资源管理系统的各模块进行了功能性测试和结果分析。
杜凤媛[7]（2019）在《自定义分布式网络爬虫的设计与实现》文中认为随着互联网的飞速发展,大数据已经渗透到每个行业和业务功能领域,其价值也越来越显着。提取出有意义有价值的数据尤为重要。因此用于互联网信息采集的网络爬虫面临着巨大的机遇和挑战。目前国内外一些大型搜索引擎只给用户提供不可定制的搜索服务,单机网络爬虫又难当重任,已有的分布式网络爬虫虽然功能强、效率高,但普通用户难以理解和使用。本文设计并实现了一套基于分布式的自定义采集网络爬虫系统。能够精准批量识别各种网页元素并自动生成提取规则,支持不同网页结构的复杂网站采集,满足多种采集应用场景,高效爬取数据。用户利用系统,按照自身需求,可视化编辑爬虫任务脚本,自动完成对爬虫数据的采集。本文的主要工作如下:（1）通过对嵌入式Qt框架的研究,开发嵌入式浏览器并使其具有记录用户网页操作、获取元素定位信息、智能识别网页相似元素等功能,实现自定义爬虫系统的终端图形界面。方便用户可视化编辑爬虫任务,最终生成用户自定义的爬虫任务脚本。（2）借鉴当前scrapy-redis的分布式架构的思想,以redis作为存储任务的队列,实现基于主从式分布式架构的爬虫系统。针对各物理从节点的异构性导致所承载虚拟节点数不同的问题,提出一种自适应调整虚拟节点的算法。物理从节点可实时根据自身负载调整虚拟节点数,保证从节点自身最佳负载;针对中心节点中任务调度问题,提出一种受限负载均衡算法。主节点为并行任务选取负载较小的虚拟节点（集）的同时尽量保证节点集被分配在同一个物理节点上。方便对任务的管理,确保系统中各爬虫节点负载均衡。（3）采用python+selenium技术,设计并实现自定义爬虫。该爬虫通过对爬虫任务脚本进行解析,驱动浏览器按照脚本中的指令,完成对网页的操作,实现自定义采集。同时,为防止爬虫受到站点反爬虫策略的影响,设计并实现动态ip代理池。通过多站抓取、定时异步验证ip有效性、实时监控代理池中ip的数量与质量,为系统提供高质量的ip。
支烽耀[8]（2019）在《汽车零部件生产质量数据的分析与挖掘》文中进行了进一步梳理汽车零部件质量数据反映了零部件厂商的生产、制造水平,是进行质量管理的数据基础。为了更加方便、有效地利用汽车零部件质量数据,分析与挖掘质量数据中的信息,使用质量数据评定生产过程,对生产进行预警和指导,本文研究设计了一套包括汽车零部件质量数据集中收集系统和质量数据分析与挖掘方法的解决方案。解决方案设计了基于C/S架构的质量数据前端采集器和质量数据集中管理软件,它们共同构成了质量数据集中收集系统,用来获取质量数据。质量数据前端采集器为网络化的气动/电感量仪,它以STM32单片机为核心,作为客户端将质量数据发送至服务器,是质量数据的来源;质量数据集中管理软件基于WinForm框架,作为服务器收集各客户端质量数据,并将质量数据与K域关联,存储为Q-DAS、Excel等文件格式。在质量数据进行分析与挖掘环节,利用统计过程控制理论分析质量数据,评定生产过程。挖掘质量数据中的隐含信息,发掘生产过程可能出现的问题,并进行预警和指导,形成闭环管理。经现场实际应用,生产设备的过程能力指数得到提高,各级管理者直观了解生产过程情况,在降低零部件不良率的同时提高了产能。
李燕霞[9]（2018）在《电力应急通信专网分布式数据采集系统的设计与实现》文中进行了进一步梳理随着电力在现代社会生产、生活中发挥的作用日益增大,人们对电力的依赖程度随之增加。电力应急通信专网是对电力供应系统实施应急管理的专用通信网络。维护电力应急通信专网的可靠性和稳定性能够提升电力系统应急管理能力,减轻电力系统故障对供电造成的影响。及时稳定的运行状态采集能够为电力应急通信专网的可靠稳定运行提供数据支撑。本文以山东省电力应急通信专网为背景,研究分布式数据采集技术,实时获取网络基础设施的运行状态和安全状况,设计并实现了电力应急通信专网分布式数据采集系统。首先,设计并实现了分布式数据采集方法,按照“就近采集”的原则和采用“水平扩展”的方式,在各地市公司部署多个采集节点,并行采集电力应急通信专网运行数据。面向不同的数据采集对象设计并实现了不同的数据采集方法,描述如下:（1）针对移动终端和服务器开发数据采集客户端,采集设备运行状态数据。（2）通过发送、回收探测包,解析应答报文的方式采集链路运行状态数据。（3）采用模拟登录和基于SNMP访问MIB的方式采集路由器、交换机等网络设备运行状态数据。（4）采用网络爬虫的方式采集防火墙、IPS等网络安全设备运行状态数据。其次,设计并实现了数据存储与备份方法,其中数据存储采用三级存储体系,包括本地采集节点离线存储、省服务器存储以及远程备份服务器存储。数据备份是将采集数据进行备份,避免数据丢失,同时增量备份设备配置和日志文件,用于恢复设备配置以及通过日志信息查找设备故障原因等。再次,设计并实现了数据分析方法,其中网络拓扑异常检测将网络中节点连接关系发生非预期变化的情况视为异常,提出一种基于链路冗余预处理的网络拓扑异常检测技术,及时定位网络拓扑中的异常情况。最后,对系统进行了功能测试和非功能测试,测试结果表明系统能够实时采集、安全存储、备份及呈现网络数据,能够及时发现网络拓扑异常,及时对违规进程和端口的操作、设备运行异常或故障情况进行告警,满足用户需求。
李坦[10]（2018）在《基于数据索引的用户用电模式发现及其应用研究》文中进行了进一步梳理基于用户用电数据获取的用户用电行为与用电事件之间的对应关系可以用于用户节电策略的制定。特别地,实时获取的用户用电模式不仅可以做为安全防范系统实现的新手段,而且还可以用于建筑智能化管理水平的提升。本文面向用户用电行为与用电事件之间对应关系的获取,基于用户用电数据的k维索引,对用户用电模式发现方法以及用户用电模式在异常用电事件辨识中的应用进行了研究,并基于研究所获得的结论设计并实现了一个基于用电电流数据索引的用户用电事件模式发现系统。本文内容包括以下方面:1)用户用电数据序列的距离、k维索引以及k维索引的增量式构造方法研究;2)Hadoop环境中基于用电数据k维索引的用户用电模式发现方法设计;3)基于用电数据k维索引的用户用电模式发现系统的设计与实现。首先,本文在指定用户用电数据序列长度的前提下,定义了用户用电数据序列的距离;并依据用户用电数据序列的距离,对用户用电数据序列的k维索引以及使用多维尺度分析方法构造用户用电数据序列k维索的方法进行了讨论。为快速构造用户用电数据序列的k维索引,研究实现了基于多维尺度分析方法和BP神经网络的用户用电数据序列k维索引增量式构造方法。基于多维尺度分析方法和BP神经网络的用户用电数据序列k维的增量式构造方法构造的用户用电数据序列k维索引的欧氏距离能够保持原始用户用电数据序列的距离信息。其次,为了获取高频次采集的用户用电数据中蕴含的用户用电模式,本文使用Hadoop的Map Reduce计算框架,通过在Hadoop环境中对用户用电数据的k维索引进行聚类分析获取了用户用电事件类簇,并将用户用电事件聚类结果用于用户用电模式的表达,实现了用户用电数据到用户用电事件的映射。研究中,聚类分析采用了Hadoop的Map Reduce计算框架下k Means方法并行化实现。最后,本文设计并实现了一个基于用电电流数据序列k维索引的用电事件模式发现系统:该系统被划分为数据接收层、数据处理层以及数据交互层。系统的数据接收层实现了用户用电数据（电流、电压、功率因子）的接收;系统的数据处理层实现了用户用电数据序列的生成、对用户用电数据序列进行增量式索引的构造以及在Hadoop环境中基于用户用电电流数据2维索引的用户用电事件模式的获取;系统的数据交互展示层在实现了用户用电电流数据的2维索引以及用户用电模式的展示的同时还实现了基于用户用电电流数据的2维索引和已知用户用电模式的用户异常用电事件的报警;数据交互展示层可以使用Web浏览器访问。基于用电电流数据序列k维索引以及用户用电事件模式,可以设计并实现基于对建筑物用电过程实时监测的安全防范过程,实现对现有安防系统中技术防范手段的扩充。同时,用户用电事件模式的及时感知,可以促进建筑物运行过程中智能化管理需求的实现,并可以为数据驱动的建筑节能策略的制定提供决策支持。图[29]表[12]参[66]
二、并行数据采集器任务分配策略的设计与实现（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、并行数据采集器任务分配策略的设计与实现（论文提纲范文）
（1）面向高性能应用的通信特征分析技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 课题研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 国内研究现状 |
| 1.2.2 国外研究现状 |
| 1.3 本文组织结构 |
| 第2章 相关理论与技术 |
| 2.1 高性能计算与并行计算 |
| 2.1.1 高性能计算 |
| 2.1.2 并行计算 |
| 2.1.3 五种主要并行编程模型 |
| 2.2 代码插桩技术 |
| 2.3 应用通信特征分析 |
| 2.4 本章小结 |
| 第3章 应用通信数据采集方法 |
| 3.1 通信数据采集基本方案 |
| 3.1.1 基本方案 |
| 3.1.2 主要功能和工作流程 |
| 3.2 代码插桩技术 |
| 3.2.1 代码插桩流程 |
| 3.2.2 代码插桩的实现 |
| 3.3 通信特征数据的传输 |
| 3.3.1 数据传输原理 |
| 3.3.2 通信特征数据传输的实现 |
| 3.4 数据采集模块的实现 |
| 3.5 本章小结 |
| 第4章 面向高性能应用的通信特征分析 |
| 4.1 通信特征分析方法 |
| 4.1.1 模板抽取与处理 |
| 4.1.2 基于时序的程序行为分析 |
| 4.1.3 标准格式下的程序行为分析 |
| 4.2 通信特征整理与分析 |
| 4.2.1 通信函数整理与分析 |
| 4.2.2 程序内存占用整理与分析 |
| 4.2.3 程序进程通信函数时间整理与分析 |
| 4.3 通信特征模型的建立与特征分析 |
| 4.4 本章小结 |
| 第5章 实验与结果分析 |
| 5.1 通信特征数据采集测试 |
| 5.1.1 代码插桩测试 |
| 5.1.2 数据传输测试 |
| 5.1.3 通信特征数据采集 |
| 5.2 通信特征分析测试及可视化 |
| 5.2.1 模板抽取与处理测试 |
| 5.2.2 程序结构可视化 |
| 5.2.3 数据分布可视化 |
| 5.2.4 计算可视化 |
| 5.3 实例测试与特征分析 |
| 5.3.1 实例模型 |
| 5.3.2 加速比和效率 |
| 5.3.3 通信特征分析 |
| 5.4 本章小结 |
| 结论 |
| 参考文献 |
| 附录A 攻读硕士学位期间主要研究成果 |
| 致谢 |
（2）建筑设备运维系统的分布式实时数据库（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 课题研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 实时数据库发展现状 |
| 1.2.2 分布式数据库发展现状 |
| 1.2.3 建筑设备管理系统发展现状 |
| 1.3 课题研究内容和论文安排 |
| 第2章 建筑设备运维系统的分布式实时数据库总体设计 |
| 2.1 建筑设备运维系统概述 |
| 2.2 建筑设备运维系统的分布式实时数据库需求分析 |
| 2.3 建筑设备运维系统的分布式实时数据库总体设计 |
| 2.3.1 建筑设备运维系统的分布式实时数据库总体架构 |
| 2.3.2 本地实时数据库系统架构 |
| 2.3.3 分布式管理系统结构设计 |
| 第3章 建筑设备运维系统分布式实时数据库的数据管理服务 |
| 3.1 数据库点名管理 |
| 3.2 数据采集与数据管理 |
| 3.2.1 多源数据采集与存储流程 |
| 3.2.2 组态化多源异构数据采集服务器设计 |
| 3.2.3 并发通信流程 |
| 3.2.4 内存数据管理 |
| 3.3 分布式实时事务调度 |
| 3.3.1 分布式实时事务调度模块 |
| 3.3.3 分布式实时事务优先级分配 |
| 第4章 建筑设备运维系统分布式实时数据库的数据存储与数据索引 |
| 4.1 历史数据库架构 |
| 4.2 数据分类优化存储策略 |
| 4.2.1 模拟量数据优化存储 |
| 4.2.2 开关量数据优化存储 |
| 4.3 数据归档 |
| 4.3.1 历史数据库文件组织形式 |
| 4.3.2 历史数据文件结构 |
| 4.4 分布式历史文件管理 |
| 4.4.1 Hadoop分布式文件系统 |
| 4.4.2 基于HDFS的历史文件管理系统的应用 |
| 4.5 数据压缩策略 |
| 4.5.1 基于旋转门的数据压缩策略 |
| 4.5.2 旋转门数据压缩算法的步骤与实现 |
| 4.6 基于API的数据访问接口 |
| 4.6.1 基于WCF的 C/S通讯接口 |
| 4.6.2 基于WebService的 B/S通讯接口 |
| 4.7 分布式实时数据库的数据索引 |
| 4.7.1 实时数据索引 |
| 4.7.2 历史数据索引 |
| 第5章 测试与应用 |
| 5.1 系统测试 |
| 5.2 系统应用 |
| 5.2.1 项目系统介绍 |
| 5.2.2 实时数据库系统 |
| 5.2.3 实时数据库采集器界面 |
| 5.2.4 客户端应用界面 |
| 第6章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 后记 |
| 攻读硕士学位期间论文发表及科研情况 |
（3）炼钢-连铸区段天车调度系统研究（论文提纲范文）
| 致谢 |
| 摘要 |
| Abstract |
| 1 引言 |
| 2 文献综述 |
| 2.1 钢铁企业天车调度系统的发展 |
| 2.1.1 钢铁企业库区天车系统发展历程 |
| 2.1.2 炼钢车间天车调度系统发展现状 |
| 2.1.3 炼钢车间天车调度系统的作用 |
| 2.2 国内外天车调度问题研究现状 |
| 2.2.1 天车调度问题分类 |
| 2.2.2 y轴作业天车 |
| 2.2.3 x轴作业天车 |
| 2.2.4 炼钢车间天车调度 |
| 2.3 车间天车调度策略及求解算法 |
| 2.3.1 车间机器调度问题动态调度策略 |
| 2.3.2 滚动窗口再调度技术 |
| 2.3.3 调度问题求解算法 |
| 2.4 选题背景及研究内容 |
| 2.4.1 选题背景 |
| 2.4.2 研究内容及技术路线 |
| 2.4.3 研究方案 |
| 3 炼钢车间天车调度问题数学建模及求解算法 |
| 3.1 天车调度的地位、目标及策略 |
| 3.1.1 天车调度的地位 |
| 3.1.2 天车调度的目标 |
| 3.1.3 天车调度策略 |
| 3.2 天车调度问题建模 |
| 3.2.1 问题物理环境 |
| 3.2.2 问题描述 |
| 3.2.3 数学模型 |
| 3.3 基于预反应调度策略的启发式算法 |
| 3.3.1 基于完全重调度的启发式方法 |
| 3.3.2 基于部分重调度的启发式方法 |
| 3.4 基于完全反应调度策略的规则调度 |
| 3.5 小结 |
| 4 天车运行仿真平台及天车运行演示平台 |
| 4.1 天车调度仿真平台总体运行方案 |
| 4.1.1 预反应调度策略下总体运行方案 |
| 4.1.2 完全反应调度策略下总体运行方案 |
| 4.2 任务产生方案 |
| 4.2.1 预反应调度策略下任务产生方案 |
| 4.2.2 预反应调度策略下任务产生方案的仿真实现 |
| 4.2.3 完全反应调度策略下任务产生方案 |
| 4.2.4 完全反应调度策略下任务产生方案的仿真实现 |
| 4.3 天车运行方案 |
| 4.3.1 天车主动运行方案 |
| 4.3.2 天车被动运行方案 |
| 4.3.3 天车优先级确定方案 |
| 4.3.4 天车轨迹的仿真实现 |
| 4.4 钢包回转台旋转控制方案 |
| 4.5 天车运行演示平台 |
| 4.6 小结 |
| 5 仿真实验 |
| 5.1 天车调度评价指标 |
| 5.1.1 天车调度评价指标的内涵 |
| 5.1.2 天车调度评价指标的计算方式 |
| 5.2 预反应调度策略下钢水精炼跨天车调度仿真研究 |
| 5.2.1 天车调度的仿真运行结果分析 |
| 5.2.2 天车运行方案对仿真运行结果的影响 |
| 5.3 预反应调度策略下钢水接收跨天车调度仿真研究 |
| 5.3.1 任务预测时刻确定 |
| 5.3.2 天车调度的仿真运行结果分析 |
| 5.3.3 钢包路径对天车调度性能的影响 |
| 5.3.4 不同任务强度下天车的最佳数量 |
| 5.4 完全反应调度策略下钢水接收跨天车调度仿真研究 |
| 5.4.1 天车调度的仿真运行结果分析 |
| 5.4.2 不同天车运行方案对天车调度的影响 |
| 5.5 小结 |
| 6 钢包-天车调度管理系统的建设与应用 |
| 6.1 系统模块及软件体系构架 |
| 6.1.1 系统模块组成 |
| 6.1.2 系统软件体系架构 |
| 6.2 天车钢包车定位方案 |
| 6.2.1 天车称重定位方案 |
| 6.2.2 钢包车定位方案 |
| 6.3 系统数据传输方案 |
| 6.4 系统主程序 |
| 6.5 应用实绩 |
| 6.5.1 转炉-精炼工序间钢包传搁时间统计 |
| 6.5.2 精炼-铸炼工序钢包传搁时间统计 |
| 6.5.3 钢包周转周期统计 |
| 6.6 小结 |
| 7 结论和展望 |
| 7.1 结论 |
| 7.2 展望 |
| 参考文献 |
| 学位论文数据集 |
（4）数据驱动的电动汽车异步电机参数辨识方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 课题研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 基于模型的异步电机参数辨识方法 |
| 1.2.2 数据驱动的异步电机参数辨识方法 |
| 1.3 主要研究内容以及论文的章节安排 |
| 1.3.1 本文的主要研究内容 |
| 1.3.2 本文的章节安排 |
| 第二章 基于模型的电动汽车异步电机参数辨识方法——以模型参考自适应方法为例 |
| 2.1 异步电机的数学模型 |
| 2.1.1 基于α-β坐标系下的状态模型 |
| 2.1.2 基于d-q坐标系下的状态模型 |
| 2.2 异步电机的转子磁链定向控制 |
| 2.2.1 静止坐标系下的u-i模型 |
| 2.2.2 静止坐标系下的i-ω模型 |
| 2.2.3 静止坐标系下的i-u-ω模型 |
| 2.2.4 旋转坐标系下的i-ω模型 |
| 2.3 基于模型参考自适应的异步电机转子电阻辨识方法 |
| 2.4 基于MRAS的参数辨识方法结果分析 |
| 2.4.1 考虑铜损情况下的转子电阻辨识 |
| 2.4.2 考虑铁损情况下的励磁电感辨识 |
| 2.5 本章小结 |
| 第三章 数据驱动电机参数辨识的实验平台 |
| 3.1 电机对拖台架 |
| 3.2 电机控制器 |
| 3.3 四象限可调直流电源 |
| 3.4 电机数据采集器 |
| 3.5 PC机 |
| 3.6 电机数据采集总体过程 |
| 3.7 本章小结 |
| 第四章 基于深度Q学习的电动汽车异步电机参数辨识方法 |
| 4.1 背景知识 |
| 4.1.1 基于强化学习框架下的电机参数辨识 |
| 4.1.2 动作、观测和奖励的选取原则 |
| 4.2 基于深度Q学习的电动汽车异步电机离线参数辨识方法 |
| 4.3 实验及结果分析 |
| 4.3.1 实验环境与参数设置 |
| 4.3.2 转子电阻辨识过程 |
| 4.3.3 励磁电感辨识过程 |
| 4.3.4 与传统方法进行比较 |
| 4.4 本章小结 |
| 第五章 基于深度确信策略梯度的异步电机参数辨识方法 |
| 5.1 整体结构 |
| 5.2 算法流程 |
| 5.3 实验结果与分析 |
| 5.3.1 实验环境与参数设置 |
| 5.3.2 转子电阻辨识过程 |
| 5.3.3 励磁电感辨识过程 |
| 5.3.4 与传统参数辨识方法相比较 |
| 5.4 本章小结 |
| 第六章 基于深度强化学习和随机森林的数据驱动电动汽车异步电机在线参数辨识方法 |
| 6.1 方法实现 |
| 6.1.1 训练数据获取阶段 |
| 6.1.2 训练数据训练阶段 |
| 6.1.3 在线数据预测阶段 |
| 6.2 实验结果 |
| 6.3 本章小结 |
| 第七章 基于虚拟孤立森林的电机异常数据检测与剔除方法 |
| 7.1 异常点与噪声 |
| 7.2 孤立森林法 |
| 7.2.1 孤立树 |
| 7.2.2 孤立森林 |
| 7.2.3 路径长度和异常分数的计算 |
| 7.3 虚拟结点孤立森林 |
| 7.3.1 离线无监督学习和在线单类有监督学习 |
| 7.3.2 孤立森林的泛化性分析 |
| 7.3.3 虚拟结点孤立森林 |
| 7.4 实验结果及分析 |
| 7.4.1 实验参数设置 |
| 7.4.2 异常点检测结果 |
| 7.5 比较结果及分析 |
| 7.5.1 与传统滤波器比较 |
| 7.5.2 与其他异常点检测方法比较 |
| 7.6 本章小结 |
| 第八章 结论与展望 |
| 参考文献 |
| 附图 |
| 附表 |
| 致谢 |
| 攻读博士学位期间发表的学术成果 |
（5）基于故障数据预处理的超算系统容错关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 故障数据处理技术研究现状 |
| 1.1.1 相关概念 |
| 1.1.2 面向超级计算机的数据采集技术 |
| 1.1.3 面向超级计算机的故障数据处理技术、 |
| 1.2 容错技术发展现状 |
| 1.2.1 面向超级计算机的容错技术 |
| 1.2.2 面向超级计算机的容错库 |
| 1.2.3 其他容错技术 |
| 1.3 I/O相关技术研究现状 |
| 1.3.1 MPI-IO |
| 1.3.2 MPI-IO、Lustre与数据密集型应用相关研究 |
| 1.3.3 I/O性能分析工具与I/O工作负载管理 |
| 1.3.4 科学数据管理 |
| 1.5 主要贡献和创新点 |
| 1.6 论文组织结构 |
| 第二章 面向超算系统的故障数据预处理技术 |
| 2.1 引言 |
| 2.2 研究背景 |
| 2.2.1 I/O软件栈,I/O转发层和H~2FS |
| 2.2.2 数据采集框架和存储负载管理模型 |
| 2.2.3 资源管理器和性能分析工具 |
| 2.2.4 日志模板提取技术 |
| 2.3 面向超算系统的实时数据采集框架 |
| 2.3.1 实时数据采集框架 |
| 2.3.2 优化后的性能分析收集工具 |
| 2.4 基于离线预处理的在线日志模板提取方法 |
| 2.5 实验 |
| 2.5.1 实验环境 |
| 2.5.2 结果与讨论 |
| 2.6 小结 |
| 第三章 面向超算系统的容错技术 |
| 3.1 研究背景 |
| 3.1.1 超级计算机的可靠性现状 |
| 3.1.2 检查点/恢复容错技术 |
| 3.1.3 超算系统中的故障数据相关性分析 |
| 3.2 主要工作 |
| 3.2.1 基于多维度XOR容错模式 |
| 3.2.2 基于数学函数库的容错模式 |
| 3.3 性能分析与实验 |
| 3.3.1 性能分析 |
| 3.3.2 实验设计 |
| 3.4 小结 |
| 第四章 面向超算系统容错的I/O优化技术 |
| 4.1 引言 |
| 4.2 研究背景 |
| 4.2.1 ROMIO,Lustre以及SLURM |
| 4.2.2 I/O性能与系统状态 |
| 4.2.3 存储资源以及资源管理系统 |
| 4.3 方法 |
| 4.3.1 I/O路径优化模块 |
| 4.3.2 存储容量均衡模块 |
| 4.3.3 I/O数据采集和故障预警模块 |
| 4.4 实验设计 |
| 4.4.1 实验环境 |
| 4.4.2 实验一 |
| 4.4.3 实验二 |
| 4.4.4 实验三 |
| 4.5 小结 |
| 第五章 结论与展望 |
| 5.1 工作总结 |
| 5.2 研究展望 |
| 致谢 |
| 参考文献 |
| 作者在学期间取得的学术成果 |
（6）云服务平台中计算资源管理的研究与应用（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 论文的研究背景及意义 |
| 1.2 国内外现状 |
| 1.2.1 资源管理方案 |
| 1.2.2 资源管理算法 |
| 1.3 论文主要工作 |
| 1.4 组织结构 |
| 第2章 云计算与资源管理相关技术 |
| 2.1 云计算概述 |
| 2.2 绿色云计算概述 |
| 2.3 虚拟化技术概述 |
| 2.3.1 虚拟化简介与发展历程 |
| 2.3.2 虚拟机监控技术 |
| 2.4 云平台资源管理技术 |
| 2.4.1 关闭/休眠技术 |
| 2.4.2 资源调度方案 |
| 2.5 OpenStack云服务平台 |
| 2.6 本章小结 |
| 第3章 云平台的动态资源调度算法 |
| 3.1 动态资源调度问题的形式化描述 |
| 3.1.1 资源调度问题描述 |
| 3.1.2 资源调度分析模型 |
| 3.2 动态资源调度方法 |
| 3.2.1 迁移虚拟机的时间确定 |
| 3.2.2 源虚拟机的选择 |
| 3.2.3 目的主机的选择 |
| 3.3 Strict SLA Enforcemen策略 |
| 3.4 动态资源调度算法的可行性测试 |
| 3.4.1 CloudSim模拟平台简介 |
| 3.4.2 实验环境设置 |
| 3.4.3 性能指标 |
| 3.4.4 测试结果与分析 |
| 3.5 总结 |
| 第4章 系统设计与实现 |
| 4.1 架构设计需求 |
| 4.2 总体框架 |
| 4.3 资源管理子系统的设计与实现 |
| 4.3.1 全局管理器模块 |
| 4.3.2 本地管理器模块 |
| 4.3.3 数据采集器模块 |
| 4.3.4 数据库 |
| 4.4 Web服务子系统的设计与实现 |
| 4.4.1 Web服务子系统总体架构 |
| 4.4.2 用户管理模块 |
| 4.4.3 虚拟机实例管理模块 |
| 4.4.4 资源状态监控模块 |
| 4.4.5 数据库 |
| 4.5 本章小结 |
| 第5章 平台测试与分析 |
| 5.1 测试环境 |
| 5.2 系统功能性测试 |
| 5.2.1 资源管理子系统功能性测试 |
| 5.2.2 Web服务子系统功能性测试 |
| 5.3 本章小结 |
| 总结与展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间发表的论文 |
（7）自定义分布式网络爬虫的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 主要研究工作 |
| 1.4 论文组织结构 |
| 第二章 相关理论与技术基础 |
| 2.1 网络爬虫 |
| 2.1.1 基本原理 |
| 2.1.2 网络爬虫的分类 |
| 2.2 Selenium技术 |
| 2.2.1 WebDriver工作原理 |
| 2.2.2 WebDriver功能 |
| 2.3 分布式关键技术 |
| 2.3.1 分布式系统结构 |
| 2.3.2 任务调度策略 |
| 2.4 Kafka消息系统 |
| 2.4.1 Kafka基本结构 |
| 2.4.2 Kafka特点 |
| 2.5 本章小结 |
| 第三章 分布式网络爬虫系统设计 |
| 3.1 系统需求分析与设计目标 |
| 3.2 系统总体设计 |
| 3.2.1 系统总体设计结构 |
| 3.2.2 系统运行机制 |
| 3.3 数据库设计 |
| 3.4 本章小结 |
| 第四章 系统详细设计与实现 |
| 4.1 客户端详细设计 |
| 4.1.1 任务编辑界面 |
| 4.1.2 任务管理界面 |
| 4.2 服务端详细设计 |
| 4.2.1 Web Server模块 |
| 4.2.2 请求解析模块 |
| 4.2.3 调度器 |
| 4.3 采集端详细设计 |
| 4.3.1 爬虫管理器 |
| 4.3.2 任务分配器 |
| 4.3.3 数据采集器 |
| 4.3.4 动态ip代理池 |
| 4.4 本章小结 |
| 第五章 系统测试与展示 |
| 5.1 系统运行环境 |
| 5.2 系统功能测试 |
| 5.3 性能测试 |
| 5.3.1 爬虫管理器模块测试 |
| 5.3.2 爬虫采集速度测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 后续工作展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间取得的成果 |
（8）汽车零部件生产质量数据的分析与挖掘（论文提纲范文）
| 致谢 |
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 课题背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 国外研究现状 |
| 1.2.2 国内研究现状 |
| 1.3 课题来源及内容 |
| 1.3.1 课题来源 |
| 1.3.2 课题研究内容 |
| 1.4 论文组织结构 |
| 2 系统相关理论 |
| 2.1 质量管理理论及发展 |
| 2.2 数据分析与挖掘理论及发展 |
| 2.3 工业大数据与质量大数据 |
| 2.4 智能制造系统与智能质量系统 |
| 2.5 本章小结 |
| 3 解决方案总体概述 |
| 3.1 总体架构 |
| 3.2 功能介绍 |
| 3.3 通讯协议 |
| 3.4 本章小结 |
| 4 质量数据前端采集器设计 |
| 4.1 质量数据前端采集器功能介绍 |
| 4.1.1 功能概述 |
| 4.1.2 参数设置 |
| 4.1.3 U盘存储 |
| 4.1.4 网络通信 |
| 4.1.5 条码识别 |
| 4.2 网络化数据集中器硬件设计 |
| 4.2.1 硬件总体设计 |
| 4.2.2 主核心及实时时钟 |
| 4.2.3 气动/电感量仪接口 |
| 4.2.4 U盘存储模块 |
| 4.2.5 以太网模块 |
| 4.3 网络化数据集中器软件设计 |
| 4.3.1 数据集中器软件流程 |
| 4.3.2 数据集中器任务分配 |
| 4.4 本章小结 |
| 5 质量数据集中管理软件设计 |
| 5.1 质量数据集中管理软件总体设计 |
| 5.2 质量数据集中管理软件前台视图设计 |
| 5.2.1 启动窗口与主窗体 |
| 5.2.2 系统架构配置 |
| 5.2.3 K域配置 |
| 5.2.4 参数上下传 |
| 5.2.5 存储配置 |
| 5.3 质量数据管理软件后台功能模块设计 |
| 5.3.1 数据通信 |
| 5.3.2 数据包解析 |
| 5.3.3 文件存储 |
| 5.4 本章小结 |
| 6 质量数据分析与挖掘 |
| 6.1 数据分析方法 |
| 6.1.1 基于SPC的质量数据分析 |
| 6.1.2 基于Excel的质量数据分析 |
| 6.1.3 基于Q-DAS的质量数据管理 |
| 6.2 数据挖掘方法 |
| 6.3 闭环管理的反馈方案设计 |
| 6.3.1 SPC判异与过程能力指数预警软件 |
| 6.3.2 短信自动发送模块 |
| 6.4 本章小结 |
| 7 系统测试 |
| 7.1 功能与可靠性测试 |
| 7.1.1 测试方案与环境 |
| 7.1.2 测试数据 |
| 7.2 闭环管理测试 |
| 7.2.1 测试方案与环境 |
| 7.2.2 测试数据 |
| 7.3 本章小结 |
| 8 总结与展望 |
| 8.1 研究成果与总结 |
| 8.2 研究工作展望 |
| 参考文献 |
| 攻读硕士学位期间的学术活动及成果情况 |
（9）电力应急通信专网分布式数据采集系统的设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题来源 |
| 1.2 课题研究的目的和意义 |
| 1.3 国内外研究现状 |
| 1.3.1 分布式数据采集架构研究 |
| 1.3.2 网络运行状态数据采集方法研究 |
| 1.3.3 国内外研究现状总结 |
| 1.4 本文研究内容及组织结构 |
| 第2章 应急通信专网数据采集需求分析 |
| 2.1 电力应急通信专网简介 |
| 2.2 分布式数据采集系统功能需求分析 |
| 2.2.1 功能需求概述 |
| 2.2.2 分布式数据采集需求分析 |
| 2.2.3 数据分析需求分析 |
| 2.2.4 数据存储与备份需求分析 |
| 2.2.5 可视化呈现需求分析 |
| 2.3 分布式数据采集系统非功能需求分析 |
| 2.4 本章小结 |
| 第3章 应急通信专网数据采集系统设计 |
| 3.1 系统总体设计 |
| 3.1.1 系统设计目标 |
| 3.1.2 系统架构设计 |
| 3.1.3 系统功能结构设计 |
| 3.1.4 系统数据库设计 |
| 3.2 系统详细设计 |
| 3.2.1 分布式数据采集模块设计 |
| 3.2.2 数据分析模块设计 |
| 3.2.3 数据存储与备份模块设计 |
| 3.2.4 可视化呈现模块设计 |
| 3.3 本章小结 |
| 第4章 应急通信专网数据采集系统实现 |
| 4.1 分布式数据采集模块实现 |
| 4.1.1 移动终端数据采集模块实现 |
| 4.1.2 链路运行状态数据采集模块实现 |
| 4.1.3 网络设备数据采集模块实现 |
| 4.1.4 网络安全设备数据采集模块实现 |
| 4.1.5 服务器数据采集模块实现 |
| 4.1.6 采集任务分配子模块实现 |
| 4.2 数据分析模块实现 |
| 4.2.1 网络拓扑异常检测模块实现 |
| 4.2.2 违规进程和端口检测模块实现 |
| 4.2.3 设备运行异常及故障检测模块实现 |
| 4.3 数据存储与备份模块实现 |
| 4.3.1 数据存储模块实现 |
| 4.3.2 数据备份模块实现 |
| 4.4 可视化呈现模块实现 |
| 4.5 本章小结 |
| 第5章 应急通信专网数据采集系统测试 |
| 5.1 系统测试环境 |
| 5.2 系统功能测试 |
| 5.2.1 移动终端数据采集模块功能测试 |
| 5.2.2 链路运行状态数据采集模块功能测试 |
| 5.2.3 网络拓扑异常检测模块功能测试 |
| 5.2.4 网络设备数据采集模块功能测试 |
| 5.2.5 网络安全设备数据采集模块功能测试 |
| 5.2.6 服务器数据采集模块功能测试 |
| 5.2.7 数据备份模块功能测试 |
| 5.2.8 可视化呈现模块功能测试 |
| 5.3 系统非功能测试 |
| 5.4 本章小结 |
| 结论 |
| 参考文献 |
| 攻读硕士学位期间发表的论文及其他成果 |
| 致谢 |
（10）基于数据索引的用户用电模式发现及其应用研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究意义 |
| 1.2 国内外研究现状 |
| 1.3 本文研究内容与结构 |
| 第二章 基本方法和技术 |
| 2.1 多维尺度分析方法 |
| 2.2 前向神经网络 |
| 2.3 Map Reduce并行计算模型 |
| 2.4 kMeans聚类算法 |
| 2.5 Hadoop集群 |
| 第三章 用电数据序列k维欧氏索引增量式构造方法设计 |
| 3.1 用户用电数据序列的距离定义及其估计 |
| 3.2 用电数据序列欧氏索引的增量式构造 |
| 3.3 实验结果与分析 |
| 3.4 本章小结 |
| 第四章 基于数据索引的用户用电模式获取方法 |
| 4.1 索引数据获取 |
| 4.2 数据索引聚类算法设计 |
| 4.3 基于数据索引的用电模式获取方法 |
| 4.4 小结 |
| 第五章 基于数据索引的用户用电模式发现系统设计 |
| 5.1 系统需求 |
| 5.2 系统逻辑架构和系统视图 |
| 5.3 系统模块划分 |
| 5.4 系统设计 |
| 5.5 系统运行环境配置 |
| 5.6 系统部分结果展示 |
| 5.7 系统测试 |
| 5.8 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 作者简介及读研期间主要科研成果 |
四、并行数据采集器任务分配策略的设计与实现（论文参考文献）
- [1]面向高性能应用的通信特征分析技术研究[D]. 李传莹. 湖南大学, 2020(07)
- [2]建筑设备运维系统的分布式实时数据库[D]. 王晓乐. 山东建筑大学, 2020(10)
- [3]炼钢-连铸区段天车调度系统研究[D]. 李稷. 北京科技大学, 2020(12)
- [4]数据驱动的电动汽车异步电机参数辨识方法研究[D]. 漆星. 安徽大学, 2019(02)
- [5]基于故障数据预处理的超算系统容错关键技术研究[D]. 黄璜. 国防科技大学, 2019(01)
- [6]云服务平台中计算资源管理的研究与应用[D]. 文婷婷. 西南交通大学, 2019(03)
- [7]自定义分布式网络爬虫的设计与实现[D]. 杜凤媛. 电子科技大学, 2019(01)
- [8]汽车零部件生产质量数据的分析与挖掘[D]. 支烽耀. 合肥工业大学, 2019(01)
- [9]电力应急通信专网分布式数据采集系统的设计与实现[D]. 李燕霞. 哈尔滨工业大学, 2018(02)
- [10]基于数据索引的用户用电模式发现及其应用研究[D]. 李坦. 安徽建筑大学, 2018(08)