金融大数据分析详细设计说明书

金融大数据分析平台详细设计说明书XX科技股份有限公司编制目录一、 金融大数据分析平台系统软件模块设计 4二、 金融大数据分析项目系统接口及函数 42.1 数据生产 42.1.1 数据生产函数 42.2 数据采集 52.2.1 数据采集接口 52.2.2 数据存储函数 62.3 数据分析 62.3.1 数据分析函数 62.4 可视化展示 72.4.1 用户接口 72.4.2 菜单接口 82.4.3 角色接口 92.4.4 业务分析接口 92.4.5 设备分析接口 102.4.6 金额分析接口 102.4.7 注册人数分析接口 112.4.8 性别分析接口 12三、 金融大数据分析平台系统数据格式 121. 数据格式设计说明 12四、 金融大数据分析平台系统数据库表结构 151. 表结构设计图 15

金融大数据分析平台系统软件模块设计金融大数据分析模块设计表序号一级模块二级模块三级模块说明1数据生产金融大数据分析数据生产2数据采集/存储使用Flume、Kafka组件将数据存储到HBASE中3数据分析使用MapReduce将HBASE中的数据经过分析处理之后导入到MySQL中4可视化展示系统管理系统状态监控、系统信息查看5权限管理资源管理系统菜单管理、路径管理6角色管理系统使用角色管理、权限管理7用户管理系统登录用户管理8分析数据分析业务分析使用图形展示险种类型9设备分析使用图形展示各种银行办理终端设备类型占比情况10金额分析使用图形展示主要业务分析种类类型金额数量占比情况11注册人数分析使用图形展示业务办理总人数在各月份时间的数量和趋势12注册平台分析使用图形展示主要银行业务第三方注册办理平台类型的数量和占比情况13性别分析使用图形展示主要性别占比情况14交易数量分析使用图形展示主要银行业务种类金额记录数量情况金融大数据分析项目系统接口及函数数据生产数据生产函数函数类duct.test.MockRecords生产类TestMockRecords需求优先级高系统输入或系统外激励系统响应系统调用生产函数,设定相应的输出文件及输出路径根据设定路径，生产相应的数据文件功能需求数据生产例外以及相应处理调用的功能数据生产注释和说明数据采集数据采集接口接口地址/hhrzkg/system/dataCollection用户类系统需求优先级高系统输入或系统外激励系统响应设定flume采集的源文件和数据下沉的位置，将数据采集到kafka集群中Kafka集群出现相应的数据功能需求数据采集例外以及相应处理调用的功能数据采集注释和说明数据存储函数函数类com.hbase.consumer用户类HbaseConsumer需求优先级高系统输入或系统外激励系统响应设置kafka消费主题，使用HBASE消费数据将kafka集群中的待数据存储到HBASE中功能需求数据存储例外以及相应处理调用的功能数据存储注释和说明数据分析数据分析函数函数类com.bigdata.analysis.runner用户类CountDurationRunner需求优先级高系统输入或系统外激励系统响应配置源HBASE、目标MYSQL数据格式，配置清洗策略将HBASE数据经过分析后存储MySQL功能需求数据分析例外以及相应处理调用的功能数据分析注释和说明可视化展示用户接口接口地址/hhrzkg/system/admin用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入用户名、密码1.比对输入用户是否存在，并返回相应结果。2.新增用户；3.删除用户；4.修改用户。功能需求用户登录系统、用户修改信息、管理员新增和删除用户例外以及相应处理调用的功能系统登录、用户信息修改、新增和删除用户注释和说明菜单接口接口地址/hhrzkg/system/res用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入菜单名称、菜单地址、上级目录。1.比对输入菜单是否存在，并返回相应结果。2.新增菜单；3.删除菜单；4.比对输入菜单是否存在，不存在即修改菜单。功能需求系统管理员查询、新增、修改、删除菜单例外以及相应处理调用的功能菜单查询、新增、修改、删除注释和说明角色接口接口地址/hhrzkg/system/role用户类系统管理员需求优先级高用户输入或系统外激励系统响应1.用户输入角色名称、角色权限1.显示角色名称、权限等信息2.新增角色；3.删除角色；4.比对输入角色是否存在，不存在即修改角色。功能需求用户授权，系统管理员对角色新增、删除、修改、查询例外以及相应处理调用的功能角色查询、新增、修改、删除注释和说明业务分析接口接口地址/hhrzkg/system/type用户类系统用户需求优先级高用户输入或系统外激励系统响应1.1.显示所有业务数量情况功能需求图形化展示各业务数量分析例外以及相应处理调用的功能业务数量分析注释和说明设备分析接口接口地址/hhrzkg/system/device用户类系统用户需求优先级高用户输入或系统外激励系统响应显示银行办理终端设备类型情况功能需求图形化展示银行办理终端设备类型情况例外以及相应处理调用的功能设备分析注释和说明金额分析接口接口地址/hhrzkg/system/fee用户类系统用户需求优先级高用户输入或系统外激励系统响应显示主要业务分析种类类型金额数量占比情况功能需求图形化展示显示主要业务分析种类类型金额数量占比情况例外以及相应处理调用的功能金额分析注释和说明注册人数分析接口接口地址/hhrzkg/system/register_amount用户类系统用户需求优先级高用户输入或系统外激励系统响应显示业务办理总人数在各月份时间的数量和趋势功能需求图形化展示业务办理总人数在各月份时间的数量和趋势例外以及相应处理调用的功能注册人数分析注释和说明性别分析接口接口地址/hhrzkg/system/sex用户类系统用户需求优先级高用户输入或系统外激励系统响应显示主要性别占比情况功能需求图形化展示主要性别占比情况例外以及相应处理调用的功能性别分析注释和说明金融大数据分析平台系统数据格式数据格式设计说明临时数据库数据库设计原则临时数据区对应独立的Hive数据库不对外提供访问，ETL用户对数据库有增、删、查、改权限模型设计原则逻辑模型参考源系统和接口规范定义，为每个接口单元设计实体、属性物理模型与逻辑模型保持一致，每个实体对应一张Hive表，表采用LZO压缩存储物理模型设计不建议考虑索引、物化视图等技术特性以天为单位，按业务日期建立分区贴源数据库数据库设计原则贴源数据区对应独立的Hive数据库不对外提供访问，ETL用户对数据库有增、删、查、改权限模型设计原则针对不需要记录变化的实体，其逻辑模型参考缓冲层，按照贴源设计针对需要记录变化的数据，需要增加时间字段，设计拉链数据模型，记录历史物理模型考虑分区，流水表按业务日期建立分区，拉链表按终止日期建立分区汇总数据库数据库设计原则汇总数据区对应独立的Hive数据库不对外提供访问，ETL