背景技术近年来，随着宽带接入技术和移动通信技术的发展，互联网服务的应用迅速发展，其中移动网络和固定网络的网络和服务发展更为迅速。 “ Internet日志保留规范”指的是“ Internet日志保留规范”。工业和信息化部发布的通知明确要求保留全部数据的保留元素包括：NAT后的用户公用网络IP地址，NAT后的源端口，用户专用网络IP地址，WLAN Internet帐户，用户访问URL ，目的IP，目的端口，访问时间等。根据相关政策法规，中国移动河南省分行牵头建设日志可追溯性技术措施，不仅实现了跨互联网用户的日志查询和内容审计功能整个网络，还满足了大量相关需求。 ｜旧挑战，新思路在最初的日志构建中，方向是着重于存储而不是分析。在基于Hadoop技术系统的传统架构方案以及集成的MR + HiveSQL + HDFS + Flum的支持下，该策略带来了三个重大问题：首先，存储数据的快速增长带来了数据有效利用率降低的问题。数据存储成本继续上升；其次，由于计算能力与存储之间的紧密耦合，使得系统无法灵活扩展存储空间，集群架构的数据分析能力较弱，使得应用程序侧无法实现多数据融合分析和多并发。功能和查询效率低；最后，存储访问也存在很大的瓶颈，无法支持按需扩展海量数据，由此产生的运维和建设成本无法满足海量日志分析的需求。面对多重挑战，中国移动河南省分行阐明了新的建设思路：集中建设日志保存系统，在满足有关政策和业务前提下考虑后期扩容，并将收集的数据上报省级日志保存系统。该平台完成了省级日志数据的统一存储，数据关联分析以及聚合和分发的功能，并根据需要为各种应用程序提供了各种数据服务。新构想提出了更高的架构重组目标，并希望实现以下四个功能：1.为了满足大量数据需求，它可以收集和总结现有网络上用户的网络行为数据； 2.实时性强，数据处理是批量的，主要是准实时处理，可以连续访问和汇总数据； 3.数据查询处理主要基于SQL查询，多字段关联查询需要很多，并且单个表很大；同时，它面向多个应用系统或数据需求者，并具有较高的处理性能和资源隔离度。 ｜高可用性，高弹性和高可伸缩性的新一代HashData架构解决方案。为了实现此目标，HashData基于对象存储，计算集群和存储集群是分离的，集群扩展业务是连续的，并且产品架构如下：独立的元数据服务是完全创新的云原生架构。从计算节点中消除了元数据状态，从而使计算节点完全无状态（新的“共享万物” MPP体系结构对应于传统的“不共享万物”体系）。尽管每个计算节点都没有状态，但是当需要增加节点数量时，它仍然可以访问系统中的任何数据和元数据。新架构的主要策略是实现存储资源的虚拟化和计算资源的最大化。同时满足数据的快速增长，并为日志保留平台的数据转发和数据分析提供最大的支持。 ｜节省40％的集群大小，降低成本并提高效率。 HashData使用自己的ETL工具代替Flume，并使用对象存储代替HDFS。计算包括Hadoop解决方案中的清理+计算，并且自定义函数UDF用于替换Hadoop解决方案中的清理和清理。计算，具有自己的数据结构和有向无环图算法，以方便替换；同时，用标准的SQL和自定义函数UDF代替MR，实现日志保留功能的产品的技术路线如下：综上所述，将计算和存储分开的产品在体系结构中，计算和存储的独立扩展存储性能更fl