Windows系统下Pycharm运行Scrapy爬虫项目如何操作_第1页
Windows系统下Pycharm运行Scrapy爬虫项目如何操作_第2页
Windows系统下Pycharm运行Scrapy爬虫项目如何操作_第3页
Windows系统下Pycharm运行Scrapy爬虫项目如何操作_第4页
Windows系统下Pycharm运行Scrapy爬虫项目如何操作_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Windows系统下Pycharm运行Scrapy爬虫项目如何操作?目标在Win7上建立一个Scrapy爬虫项目,以及对其进行基本操作。运行环境电脑上已经安装了python(环境变量path已经设置好),以及scrapy模块,IDE为Pycharm。操作如下:一、建立5crapy模板口进入自己的工作目录rshift十鼠标右键进入命令行模式f在命令行模式下,输入scrapy&tartproject项目名(如下:E:xj9C.h-armFjhoArturoQectrest-Denoem piroject1TestDeno*,usingtenplatedirEctoFiiJc:\Misbfe\\«dnlni£tratoWftppdata\^localXSprogramsWp^tlion^pythnnSt-3左、、Waite-packd.gcsSSscrapyWtenplntcsS\projcct1',crefttodin;F;Hyt:hcrnPrajects^TestDcnoYouCAn零七mi\七younfirstspidei1with:cdTestDenoscrapy^ensplder'exam-pl« -conF:xjycbflrnFi'ojects>看到以上的代码说明项§已经在工作目录中建好了二、在Pych日rm中“rmpy的导入。在Pycharm中打开工作目录中的Te,tDem。,点击File->Settings^Project:TestDemo->ProjectInterpreter.5去一:如图FJ■田■仙与11a0, Fraje-ctT9THTvmc卜Pr-i>|Kt■nE*r|irrt»r・一口一, -KmI "Rkdkw# 0ft LWWK -j=■51Seghk 5^, 田 总£11Q^" ^ .racA: OlIU dLlJLJtcofef 后田 看10 LtQLfi l.»„ ■ 闻F 和65 3的(h>d qmPrtPWrfHi P 74* UKe 5fipf 3中忖沁福 U9总 1加“呻"( 加5" fr!4l OMrl» VmwiCanrfffii mjiFeMu M*口 aLU, TgMwhw ee 1一 “MdiiMrEk 彳4口FEE.… -山山 J.LJ 工山m 田域 2WJJJJ —aiAXXB♦iSJrild. lUKUUOfliDl|M^MfH 的 lill* mtinStK 中l71 f.Twlr ftii 0.23cai*ARd)r 1XU i工L。3.M NA出• UU LMe£d<em-AW 4J」 -4-?^lirawfiO«s 023 ati山iMn LAI LOd1TML 17Hl4? IM C^anrflt选择红框中右边的下拉菜单点击ShowAll,如图

点击右上角加号,如图国AddLdcaEPydkoc加蝌・]3$1「VlrtlialpriirEbEE-il.J'CondiE^wlro^mewtt:\PyrharmPFO[eelE\TbnBOema^emv,Systi?iTiIrtirrpr^iHa骐ifiitc-rpne^cn'》PjthsnEdctilwiinKW-tv\Adffiin点击右上角加号,如图国AddLdcaEPydkoc加蝌・]3$1「VlrtlialpriirEbEE-il.J'CondiE^wlro^mewtt:\PyrharmPFO[eelE\TbnBOema^emv,Systi?iTiIrtirrpr^i'trheritglcLulsiiL芒・p=以上gsiLiiL^'binnEEircmmiH-n4SnEerp"r^te-'<NigInterpreter>在红色框体内找到电脑里已经安装的python,比如我的是:C:\Llsers\Administrator\AppData\Locdl\Pragrdms\Python\Python36-32\python.exeP导入即可。之后『pych日「m会自动导入你已经在电脑上安装的scmpy等模块.如图,即红色框体中显示的.

,.虫” 二窗—T-MrUlMefke3Fnj»ei:EfiurprMh ♦=;..L=jr”rpi):wd*MJfMirancflUchiByiDff 毗*-lymJK****网—9ramM.JWrffWTMehuitiiAidlTq^-^bTw 口)函由干 用ri由ST* l.E+>Mt™―yi L 如 丽西wngn 204 JjfclhlFC«tai» :H«fL aiu au.3餐"” it 斤以, £14 5.1-0M1kliI M・,kp&J i_t 1力今有产用派曰 之d$ M.5(V^0L 皿 加K41P P^r^H. 7J.S JJ品>“a 3十 1Adi a-5Jt. IukW UM irsiDM*9HH 网kt』 “皿 A441* © WyUrffm 口Et尸中tttTEXEfli 上修 173..一■Kf … 才.umqjETlmjEj* ME MLTJLLl *201A111>MiM.moaii^mmpItrEnt * nm- _ £hlriW 3UL* 皿1整UBflfkii^bi.4Flaffirm而OKE Ehi<r fl%r,TZf ce4oriHui d工巾 O.MCoMMTlfc HILO 13kLO1e*Tpt=>gr«fJ^r 3uu4 OuEK—t I.U 1W融中闻日 ClJ -1-J.1tX2」knuii-b 1QJ iaikJnnrE^k 17J.L 1ZJ11«rK 2*川|吗1法二;『一个不那也麻烦的方法上如图

■,国FifijectiTfflfeD»»irnjectinlcrptt<£it:iGiifidiiffpl-i^aE:1ApfHiratfic*kBaliavIct『『3口£T1e・rpm- 5 Itidpuhd*i 1LJMIfAdF"-:■:门Lh->\^rp .7hErfiKKiflf.wnLYSTniafi'^Ymififwkfe-Jj■内mpTrooLDJh^Kfracflu-f*Vwk)^Jl►S^adwrra1dBELai^j».FU.dkM-05J4&JJL5枭也LatLiScopesNelSc3tHiQtxkL)nsKwynnaff-♦EdGlJkFRirginiWVit^vriCfrnlr#l“ TotOe^MKjpETf户申pehw均MySQL^r.四TwfH-dWillCryP4D高回(导MOW¥q*□AJOJJJEi2。1KtM«OJXJi17JjBZtDw^M9ikM■IMi39如WlAfU力挑。17JJe1JJ血qihjMuE(«-dF«l?dL3.,ML山,fButjd„EiEtutianDcpl/nwnt►由(Wd«Hd4L■wlartfTM1«afpKI^JiAph|fiaasslcf"11.1^34M3QJf15,91MJmMi.&T虫WIM.0不£鼻1W4LL?・21'Bf^trj^cMnnMmiMbUJ1RJ11J.10i2J.1AI17=5_11®qn 口k/点击红色框体,在弹出的框体内另安装一个scrapy,如图:ijJ^"'_"'sJD-CCTp-raPnG1 「例aoas弼闺AUH6ClcRar^arI3tadMUnI喇&Ari^@nbrr|5mOr值](kfe11Mrnr^fT牍X”gpjinI俱・cWf・uMillJifjjyKiLiW371§ "*jAh?HIiTMBftlPSSpec*wi'-SiiCirSinndlifuilitriSSpec*wi'-SiiCirtowier!s4除 di^^047旷_^13ralAdftihiXiaGiV即口而M,n**用bb他diim需要安装的python模块,如图:模块自下而上进行安装,其中可能出现tv^ted包不能成功安装『出现FailedbuildmgwheelforTwistedMicrosoftVisualC++14.0Krequired...的现象|那就搜一解决方案.这里不多说了。三、Pycharm中scrapy的运行设置。法一:■dpy爬虫的运行需要到命令行下运行,在pychram中左下角有个Te「minaL点开就可;任P”hdrm下进入命令行,默认是在项目目录下的r要运行项目।需要进入下一层目录j使用ETe^tDemo进入下一层目录『然后用scrapyc「awl爬虫名r即可运行爬虫1s如图:方一篇:明cln^3le;tdctiDdpi4不£»*det{£trqjy_5口idcjJ:冷」确一w*EkTcirtDemo .方一篇:明cln^3le;tdctiDdpi4不£»*det{£trqjy_5口idcjJ:冷」确一w*EkTcirtDemo .inijor".SCTiipYrai^idtni以n-nsu::,middtewrg.pjr存NT市强制语立击购工皿♦M«TS*电mq时dg十日M5frnfllLiDehen-orwr- .■目,田:口11日丹川_乩京口:CMstari_urls-taj&.1Lhttn://bniAlfom/P[I-1parse:一responseJ;

jsjjn!(risp-srisi-,fjfi)<veiKp■F:;FyckuunpTojects'IaistbeiolestJjfii®^scrapycjt«5tDe-ccSpider-2018-&I-2917:09:19I'ycraiDy,utiH.l^elIUFO;专wjjpyl.!kDistart"(hotJTestliecr^;2(H3HH一第17:0S:LiCscrapf.utils,loE]INFO:l^rwic■砥二limlt.kl.9,”“血?二丈氏eswI2e1,0,3.6.Edl^reb,DecL9如】:.06:01145)M戈w.ISQ^bit(XntcUl.pyOp?nSSL1,5.电fQpu油乳hL。品2F>QCK> ■ 1笔TffZ

FenrinMX. [「I 」 ,(venv)F:\PychaxniProjects\Te:stDema*cdTest^Demofvcnv)F:\PycharrnProjectsXTe^tDemo\TestDemo?scrarpycrawltestDemoSpider运行或功201S-01-2911:51:29(scrapy.utilsiLoe]INFO:ScrapyL5」Qstartedtbot:TestDcuici?法二!在丁旧奴口日troBpidE「目录和网「叩同级目录下面:新建一次■田1tWPMh匕P¥文件,如图0TrrtDcmQ[F£\PyGKirmlJrQjctLMTe"Wi&efnQ,-^Tc3iDs«*™\ffntrypdntpfFFf*lDciT^j-Py{kimfittdk阱c.H*i皿嗨中£<m!c触口”t«JiVtJMndffwHdp・T宙gm«DIrtOfmo后亡世中网瓶梅*4团抑哨ed »・■TcstDoimo,u-r-i'TBlTesiB*4团抑哨ed »・■TcstDoimo,u-r-i'TBlTesiBaflTQ*blspsdenEi而pfflfy&pE曲⑶i0限印◎由再rw5而、m*—H*¥d*«*师上收kIfJjnfdian► EicterrniLibrarid©+1«-rrc^EtL\lt«£fiEinfi4TEsr/bi加sirp-jihon生土迺f二&-±-S岫3bcr;可时(f&?ilr;;iviiw:201S/M/DA!]*Twon-r:P>-Clionicny31in*.e-ierrjle1[ ,::frc-ciiscriapyimportcndJinc111TH印enh^ptiiM&t F;'PycharnFrojrc■jgnrnihg.\vcw\Scriptay?k.wirsc-f;/PychsniFTCjcct5/7-f5;[JcHrt/7f5;Dnic/m;ry>oim.4 20I8-CH2?I'!32:^3[«r^uuU.ladINFO:EhrfLIUstared.bflt:iMlPrtie--目M1S--01-M1:T:簿Mt/mlk及

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论