《TypeScript入门与全栈式网站开发实战》 课件ch9使用Puppeteer框架爬取书籍信息、ch10书籍信息保存至MongoDB中

第9章Puppeteer爬取书籍信息TypeScript入门与全栈式网站开发实战TypeScriptProgramming9.1案例分析目录/CONTENTS9.1.1需求分析9.2开发环境安装和配置用TypeScript调用Puppeteer框架API，对清华大学出版社网站“新书推荐”书籍信息进行爬取。然后调用Node.js内置模块fs，保存信息到Json文件中。9.1.2技术分析9.3功能实现9.1.1分析9.1.2实现9.1PART案例分析9.1案例分析9.1.1需求分析可采用Node.js爬虫框架Puppeteer进行设计实现。用Node.js的内置模块fs进行保存处置。“新书推荐”功能页面。如图9-1使用爬虫技术，抓取清华社“新书推荐”首页列表中的书籍信息，并将之存放到Json文件中9.1.2技术分析9.2PART开发环境安装和配置9.2开发环境安装和配置安装Node.js（16.15.1）环境mkdircrawlBookscdcrawlBooksnpminit-y//项目配置文件package.jsonnpmconfigsetregistrynpminstalltypescripttsc--init//tsconfig.json编译规则npminstallpuppeteer/*若报错则执行：npminstallpuppeteer-coreconstbrowser=awaitpuppeteer.launch(//启动时，需指定chrome路径{executablePath:'C:/ProgramFiles/Google/Chrome/Application/chrome.exe'})*/npminstall@types/puppeteer

//类型声明文件9.3PART功能实现9.3功能实现9.3.1分析（网页源码）“新书推荐”页相关的源代码

“.n_b_producttda”详情链接…书籍详细信息：“.ft_b_r_c”定位后，分别抓取到“作者”“定价”“ISBN号”“出版日期”等信息“.c_i_list_on>p”“内容简介”9.3功能实现9.3.2实现1.创建目录covers，用于存放下载的封面图片文件2.crawlBookChart.ts功能代码：3.编译、运行：tsc

node.\crawlBookChart.js9.3功能实现9.3.2实现2.crawlBookChart.ts功能代码：3.编译、运行：tsc、node.\crawlBookChart.js第10章书籍信息保存至MongoDBTypeScript入门与全栈式网站开发实战TypeScriptProgramming10.1案例分析目录/CONTENTS10.1.1需求分析10.2开发环境安装和配置将书籍信息保存至MongoDB中10.1.2技术分析10.3功能实现10.1.1分析10.1.2实现10.1PART案例分析10.1案例分析10.1.1需求分析Json格式的书籍信息，采用MongoDB数据库产品进行“面向集合文档”存储较为适合（文档集合-表，文档-记录）。Mongoose是MongoDB的对象模型工具--通过API可对MongoDB中文档数据进行增、删、改、查等操作。“新书推荐”列表中的书籍信息，已爬取并存放到Json文件，最好能存放到数据库中，以便后期开发应用时使用。10.1.2技术分析Books.json10.2PART开发环境安装和配置10.2开发环境安装和配置安装Node.js（16.15.1）环境1.安装MongoDBNext、Complete完整安装，其中MongoDBCompass管理工具默认安装。MongoDBCompass应用：单击Connect，连接MongoDBServer服务2.创建项目目录mkdirmongoBooks3.项目初始化cdmongoBooksnpminit–y4.安装TypeScriptnpmconfigsetregistry（为npmtaobo新镜像）npminstalltypescript5.初始化TypeScript项目开发环境tsc–init6.安装Mongoose模块npminstallmongoose另外：npminstall@types/node否则代码中无法辨识fs、path等module10.3PART功能实现10.3功能实现读取Books.json文件中所有书籍信息，逐一写入MongoDB的books文档集合中：1.复制Books.json文件到项目目录mongoBooks中2.