财务大数据基础课件：财务大数据采集

财务大数据基础课前回顾下列哪一项不属于大数据的典型特征？（

）A.数据量大B.多样性C.价值密度大D.速度更新快2.下列哪一项属于结构化的文件？（

）A.WordB.ExcelC.PPTD.图片3.下列哪一项不属于财务大数据的分析流程？（

）A.数据认知B.数据清洗C.数据采集D.数据分析

项目二

财务大数据采集数据采集认知调查问卷采集单文件和多文件的数据采集互联网数据采集

项目实训（PowerBI数据采集)数据采集认知数据采集概念数据采集:又称数据获取，是利用一种装置从系统外部采集数据并输入到系统内部的一个接口。数据采集是认知事实的重要基础。数据采集认知

常见的数据源：企业的数据中心、各大门户网站、国家统计局、金融数据库等。数据采集概念新浪财经：

国家统计局网站：

思考：为什么要进行数据采集？数据采集认知数据采集认知数据采集应用行业信息源应用旅游各类信息优化出行策略电商商品信息比价系统游戏游戏论坛调整游戏运营银行个人交易信息征信系统/贷款评级金融金融新闻/数据制定投资策略，量化交易招聘职位信息岗位信息舆情各大论坛社会群体感知数据采集认知数据采集的常用方法数据来源一手数据调查实验二手数据系统内部数据系统外部数据数据采集——PowerBI

PowerQuery是PowerBI的数据查询模块，它的作用是对数据表进行清洗和整合。而在进入到数据清洗之前，先导入各种各样的数据。

本项目主要介绍PowerBI常见的几种数据采集方式，例如调查问卷数据采集、单文件数据采集、多文件数据采集和互联网数据采集等。数据采集认知调查问卷采集问卷调查概念

调查问卷又称调查表或询问表，是以问题的形式系统地记载调查内容的一种印件。问卷可以是表格式、卡片式或簿记式。调查问卷采集问卷设计，是问卷调查的关键。完美的问卷必须具备两个功能——能将问题传达给被问的人和使被问者乐于回答。调查问卷采集问卷设计过程明确目的明确方法搜集资料确定内容决定结构把握调研的目的和内容常用的有面访调查、电话访问、邮寄问卷、计算机辅助访问等方式（1）这个问题有必要吗？（2）是需要几个问答题？封闭性问题和开放性的问题调查问卷采集问卷设计构成调查问卷的构成要素：标题、说明、主体、致谢语（1）标题每份问卷都有一个研究主题。研究者应开宗明义定个题目，反映这个研究主题，例如“中国互联网发展状况及趋势调查”。（2）说明问卷前面应有一个说明。这个说明可以是一封告调查对象的信，也可以是指导语，说明这个调查的目的意义。（3）主体这是研究主题的具体化，是问卷的核心部分。问题和答案是问卷的主体。（4）致谢语为了表示对调查对象真诚合作的谢意，研究者应当在问卷的的末端写上感谢的话。调查问卷采集问卷设计要点表明调查作出身份目的承诺卷首语亲爱的朋友:您好!首先非常感谢您接受此次的调查!我是XXX，正在进行一项关于XX的调查,您的反馈将成为本研究调查中的重要依据。此次问卷填写需约3分钟，真心感谢您为我们付出的时间。我们在此郑重承诺，本次调查不记名，内容仅作学习、研究之用，我们将会对您的信息严格保密!调查问卷采集问卷设计要点穷尽答案在设计问题选项时，对于会出现多种情况的，可以添加一个【其他】，【以上情况都有】选项，保证被调查者有选项可以选择。多用普通用语，对专门术语必须加以解释。要防止诱导性、暗示性的问题，以免影响回卷者的思考。调查问卷采集问卷设计要点您最希望超市扩展的业务是?A.机票、酒店预订B.水电费查询C.免费WIFI服务D.支付宝等移动支付方式E.其他您【最希望】超市扩展的业务是?(单选)A.机票、酒店预订B.水电费查询C.免费WIFI服务D.支付宝等移动支付方式E.其他认知调查问卷问题设计方法：关键词法（围绕调查问卷标题中的关键词设计问题）举例：问卷标题“关于女性消费者的日常消费行为调查”思考：标题中有哪些关键词？讨论：围绕关键词可以设计哪些问题？调查问卷采集调查问卷采集任务实施：设计一份调查问卷动手实践以小组为单位，选择自己感兴趣的一个问题，完成

设计问卷—发放问卷—回收问卷—问卷结果分析

工作流程。问卷设计平台1.问卷星：

2.问卷网：

3.腾讯问卷：

单文件和多文件数据采集单文件数据采集Excel是财务中常见数据类型，在PowerBI有多种导入方式。

方式一、直接点击导入Excel的快捷方式;

方式二、在“主页”功能区选择“Excel工作簿”。

单文件和多文件数据采集单文件数据采集方式三、点击“主页”的“获取数据”，选择“Excel工作簿”，通过这种方式可以找到所有数据源。

单文件和多文件数据采集单文件数据采集点击“获取数据”后，选择本地的文件路径并打开，PowerBI将建立与本地文件的连接。

单文件和多文件数据采集单文件数据采集下一步进入”导航器“界面，勾选所需工作簿。数据若无需处理，则点击下方的“加载”，数据将直接加载至模型;否则，点击“转化数据”，数据将加载至PowerQuery数据处理的界面。

单文件和多文件数据采集单文件数据采集其他单个文件包括CSV、PDF文件等，导入方式和Excel类似。

单文件和多文件数据采集单文件数据采集其他单个文件包括CSV、PDF文件等，导入方式和Excel类似。

单文件和多文件数据采集单文件数据采集任务实施调查问卷数据结果导入PowerBI,并进行结果可视化呈现，完成组间互评。

单文件和多文件数据采集Excel与PowerBI的区别？常用的数据分析软件；处理的数据量有限（百万）；最小的处理单元是单元格；需要运用公式和函数，没有操作过程记录主流的商业智能软件；处理的数据量较大（千万）；最小的处理单元是行和列；需要运用建模和函数；有操作过程记录

单文件和多文件数据采集多文件数据采集软件如何选择：取决于需要解决的数据分析问题。问题1：分析某一个月份的资产负债表？问题2：分析多个月份的财务报表？Excel还是PowerBI？

单文件和多文件数据采集多文件数据采集如果需要批量导入单个文件，可以把单个文件放至文件夹，PowerBI支持导入文件夹。

步骤1：在“获取数据”中点击导入“文件夹”，选择本地的文件夹路径。

单文件和多文件数据采集多文件数据采集步骤2：点击“合并并转化数据”选项，进入示例文件选项窗口，PowerBI会选择文件夹中的一个文件作为模板显示。

单文件和多文件数据采集多文件数据采集步骤3：利用“合并并转化数据”功能，进入Power

Query界面会自动创建和调用自定义函数，实现智能的转化。

单文件和多文件数据采集多文件数据采集1.在国家统计局网站找到各省年度数据，数据内容自行选择。网址

2.下载或复制5个省份的数据并分别粘贴到5个Excel文件中。3.使用PowerBI同时采集这5个Excel文件的数据。任务实施网络爬虫

网络爬虫（WebCrawler或WebSpider），是实现互联网数据采集的主要方式，它是通过自动下载网页，并根据一定的规则来提取所需要信息的程序，网络爬虫所爬取地主要是网页上的数据。网络爬虫小规模中规模大规模数据量小爬取速度不敏感数据规模大爬取速度敏感搜索引擎爬取速度关键爬取网页爬取系列网站爬取全网常用的财经网站网站优势巨潮资讯网证监会制定的信息披露网站同花顺/东方财富网基本什么方面的内容都能在上面涉及到