日志服务器产品立项申报告

SuperMapiLog

立项申请报告研究所2023年12月11日市场竞争与技术趋势分析1产品目标和定位2产品规划3财务分析4风险及其他5主要内容同类工具ApacheFlumeElasticLogstashFaceBookScribeApacheChukwaArcGIS无同类产品选择基础开源软件对比分析对比分析共同点—架构相似都具备三个基本组件Agent：封装数据源，将数据源中的数据发送给collectorCollector：接收多个agent的数据，并进行汇总后导入后端的store中Store：中央存储系统，应该具有可扩展性和可靠性，应该支持当前非常流行的HDFS5对比分析Flume内置的各种组件非常齐全，用户使用方便分布式部署，使用zookeeper即可做到负载均衡与通用大数据技术HDFS、Spark等结合紧密偏重数据的传输，输出方式丰富支持持久化,可靠性更强Flume+Kafka+Spark已成为日志分析成熟方案Logstash不仅可以收集日志还可以管理日志，如：Filter不支持持久化，可靠性不高Logstash插件丰富，扩展功能上更强日志最终流向主要是ElasticSearch比较偏重于字段的预处理6对比分析Fluentd与Flume类似Scribe容错性相比起来要好Chukwa与Hadoop体系贴合度较高，存储时也可以进行数据处理自带数据展示功能日志源自各种Hadoop集群，可以选用Chukwa7对比结论应用成熟度可靠性兼容性扩展性参考框架FlumeiLogServer?市场竞争与技术趋势分析1产品目标和定位2产品规划3财务分析4风险及其他5Contents内容大纲产品定位与目标需求分析产品设计主要特性应用场景产品定位与目标需求分析产品设计主要特性应用场景SuperMap云GIS平台运维人员iLog目标用户SuperMap产品研发团队没有日志管理的时候软件运行错误定位难难以获得用户的使用过程难以获得软件的执行过程解决问题需要通过用户描述，重现问题日志分析难只有产品开发者可以看懂日志产品日志文件好几个，用户不知道如何获取有效信息分布式架构下日志管理难云GIS架构下，好多个节点的日志管理难节点动态伸缩，日志收集难云GIS优化配置资源难发布的服务谁用的多？哪些用户需要更多资源iDesktopiDesktopiDesktopiServeriServeriServeriServeriServeriPortalSparkSparkSparkHDFSHDFSHDFSMQMQMQLogLogLogDockerVMVMDockerDockeriDesktopSparkiDesktop日志太多无法管理需求分布式架构下，各节点日志需要统一收集、存储、分析、可视化云GIS平台软件运行在多种平台环境中产品采集的日志价值密度低，是否可以用于分析优化平台的能力日志采集方案适合物理环境、虚拟机、容器等架构是否可以支持实时日志分析的能力，让运维人员及时发现问题产品定位与目标需求分析产品设计主要特性应用场景设计策略—基于开源技术的产品化SuperMap产品原生的日志服务集成SuperMapBigData大数据存储提供可视化的用户管理工具，支持权限控制SuperMap产品定制用户体验统计分析图表搭配ELK、Spark支持日志分析企业级用户运维GIS云平台的日志采集分析软件产品定位SuperMapiLogiMessageBigDataStoreDockerOpenStack虚拟化部署物理部署第三方服务Cluster……DashboardSuperMap大数据产品体系定位UGCSuperMapiObjectsJavaSuperMapiObjectsforSparkGIScript(Python/R)BigDataStoreSuperMapiServer

(GIS应用服务器)ProcessingServiceSuperMap

iDesktopCrossPlugin-TabularPlugin-AnalystPlugin-DataManagerSuperMapManager

SuperMapiMessageSuperMapiLog产品体系架构定位iDesktopiServerBigDataStoreiPortaliMobileGIScriptforPython\RSuperMapforBigDataiClient数据存储计算服务支撑用户终端iObjectsforSpark服务iMessageiLogiMangeriLogCoreSourceChannelSinkAgentiLogMangerAuthorizationMonitorAnalystClientSDKRESTAPI产品架构Windows技术路线ChanneliDesktopiObjects.NETLinux/UnixiServeriPortaliExpressiMangeriDesktopCrossiObjectsJavaSourceSinkiLogSparkBigDataStoreiMessage日志采集终端后台服务器RESTAPIChannelSourceSinkOthersRESTAPIOthersAndriod/iOSiMoblie/iClientRESTAPIOthers产品定位与目标需求分析产品设计主要特性应用场景易集成易管理可分析iLogServer产品目标易集成易管理可分析支持各种SuperMap产品iDesktopiDesktopCrossiObjectsiServeriPortaliExpressiCloudManageriMobile这些产品产生的日志用户都可以进行查询分析SuperMapiLogRESTAPI直接使用开源软件使用SuperMapiLogServer使用Docker统一配置，快速部署支持各种部署环境物理环境OpenstackDocker完善的基于镜像的部署方式，部署更方便支持多种操作系统跨平台数据迁移——耗时支持各种部署环境支持各种软件产品跨平台用户可以在各种不同架构的系统环境中使用iLogServer产品目标易集成易管理可分析iLogManager日志管理工具日志分析日志传输监控用户权限控制iLogServer产品目标易集成易管理可分析日志分析可视化ElasticSearchSparkEChart……资源利用率服务访问量用户分布用户行为错误定位支持多种操作系统运行在各个平台上的GIS软件日志都可以被统一采集LinuxUnixAndroidiOSWindows市场竞争与技术趋势分析1产品目标和定位2产品规划3财务分析4风险及其他5Contents内容大纲产品里程碑alpha

17-3beta1

17-6beta2

17-081.0

17-09项目里程碑项目时间立项评审2016年12月商业评审2017年1月Alpha版本2017年3月Beta1版本2017年6月Beta2版本2017年8月正式发布2017年9月市场竞争与技术趋势分析1产品目标和定位2产品规划3财务分析4风险及其他5Contents内容大纲销售方式用户单独使用免费包括核心组件，无管理工具提供技术支持（文档，示范程序）收费包括核心组件和管理工具管理工具授权加密定价10万销售方式规划“GIS云平台软件产品套件”产品英文名称：SuperMapGISBigData研究版：SuperMapGISBigDataExpress（Artifact/DC/.IMG）iServeriPortaliObjectsJavaforSparkiDesktopBigDataStore专业版：SuperMapGISBigDataProfessional（Artifact/DC/.IMG）iServeriPortaliObjectsJavaforSparkBigDataStoreiMessageiManager销售方式规划“GIS云平台软件产品套件”产品英文名称：SuperMapGISBigData企业版：SuperMapGISBigDataEnterprise（Artifact/DC/.IMG）iServeriPortaliObjectsJavaforSparkBigDataStoreiMessageiDesktopiLogiManager服务

部署实施100万运维10万/年研发投入---基础研发周期为期一年：2016年11月~2017年9月。项目概念计划阶段

1个月开发阶段

9个月验证阶段

1个月合计人力费用

（1W/人月)218222设备费用

(笔记本：1.1W

台式机:0.4W

60个月折旧）0.0130.120.0130.15场地费用

（0.16W/人月)0.322.880.323.52其他费用

（0.36W/人月)0.726.640.728.08合计3.0527.643.0533.75单位：万元市场竞争与技术趋势分析1产品目标和定位2产品规划3财务分析4风险及其他5Contents内容大纲开源软件能力很全，还需要我们做什么？iLog开源日志软件易用性支持统一的管理工具需要多种软件配套实现部署方便部署，通过Docker集成相关服务，固化配置需要配置多套服务GIS日志采集面向SuperMapGIS的，简单设置就可以采集超图软件的日志，可以存储到超图的大数据存储不支持，需要开发GIS日志分析提供SuperMapGIS软件定制的日志分析图表看板不支持，需要开发成熟的可靠的，经过测试检验的风险成本用户承担权限控制支持不支持其他风险应对风险应对方案团队成员经验不足一对一培养，技术分享，共同提升。完善的团队内部培养机制借鸡生蛋，快速提高水平依赖产品多，需求多样积极合作，满足产品设计需求实现最终用户价值，帮助产品丰富日志内容用户对产品的认可程度比开源软件设计更友好与超图产品体系集成更紧密，提供定制化功能团队代表角色姓名PO李闻昊开发团队代表安宁市场代表魏戈兵技术支持代表李萍财务代表曹芬PQA区励团队规模目前人力投入李闻昊（0.5）安宁（0.5）侯本洲（0.5）还需1人

©北京超图软件股份有限公司请领导专家指正附录开源日志服务器软件对比Flume介绍flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据56Flume核心概念57Flume架构Flume架构整体上看就是source-->channel-->sink的三层架构，类似生成者和消费者的架构，他们之间通过queue（channel）传输，解耦58Flume特点Flume比较看重数据的传输，因此几乎没有数据的解析预处理source组件是专门收集数据的，type类型多，如：avro、thrift、exec、jms、spooldirdirectory、netcat、sequencegenerator、syslog、http、legacy、自定义channel组件是在agent中专用于临时存储数据的，可以存放在memory、jdbc、file、自定义sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义59Logstash介绍LogStash架构专为收集、分析和存储日志所设计。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。此外LogStash所实现的主要交叉用例之一是对所管理的日志事件进行查看/搜索61Logstash架构62输入input-->处理filter（不是必须的）-->输出outputLogstash解析LogStash的插件input:collectd、file、stdin、syslog、tcpcodec:json、multiline、netflowfilter: date、grok、json、ruby、splitoutput:elasticsearch、email、exec、file、nagios、stdout、tcp、hdfs63ELKLogstash:Logstash服务的组件，用于处理传入的日志。Elasticsearch:存储所有日志Kibana4:用于搜索和可视化的日志的Web界面，通过nginx反代解决了集中化管理日志，日志的统计和检索的难题。64Logstash优势input和output的插件种类繁多，由于这种插件式的组织方式，使logstash变得易于扩展和定制。ELK完美契合，省时省力。65Scribe介绍Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。奇虎360就是用的Scribe来收集业务日志，但是在原生的基础上他们做了很多定制：zookeeper负载均衡、支持写HDFS、支持写Kestrel队列、支持写QBus/Kafka等。67Scribe架构68Scribe解析scribeagent实际上是一个thriftclient。向scribe发送数据的唯一方法是使用thriftclient，scribe内部定义了一个thrift接口，用户使用该接口将数据发送给serverscribe接收到thriftclient发送过来的数据，根据配置文件，将不同topic的数据发送给不同的对象。scribe提供了各种各样的store，如file，HDFS等，scribe可将数据加载到这些store中69Scribe特性可用性 agent挂掉：在所有日志服务器上部署了监控脚本，只要发现agent进程挂了，立即重启，以提供服务