利用HttpURLConnection进行手机号段归属地数据采集

1、.公司里需要手机号段归属地资料，手头上没有现成的数据，就自己做了个采集器，连到网站上进行采集。这是最终运行界面：  首先在网页上输入至少7位的手机号码段进行查询，通过查看查询页面的HTML，发现将会提交两个参数：mobile=手机号码&action=mobile，然后对结果页面的HTML进行分析，找到关键的两行HTML：Html代码 1. <TD width="130" align="center" noswap>卡号归属地</TD>  2. <T

2、D width=* align="center" class=tdc2>广东&nbsp;广州</TD>  <TD width="130" align="center" noswap>卡号归属地</TD><TD width=* align="center" class=tdc2>广东&nbsp;广州</TD>接下来的事情就是利用HttpURLConnection进行查询请求，并将返回的结

3、果用正则表达式进行提取。程序的功能并不复杂，设计上也就简单地做了两个类，一个负责数据的分析和采集；另一个为Main主程序，负责用AWT构建界面和创建一个后台线程来调用采集类进行手机号段范围的循环提交请求，并将获取的数据写入文本文件。Java代码 1. package com.funper.collector;   2.   3. import java.io.IOException;   4. import java.io.InputStreamReader;   5. import&

4、#160;java.io.BufferedReader;   6. import .HttpURLConnection;   7. import .URL;   8. import java.util.regex.Pattern;   9. import java.util.regex.Matcher;   10.   11. /*  12.  * 分析和采集数据  13.  *

5、60;14.  */  15. public class CollectAction    16.        17.     /请求URL   18.     private static final String REQUEST_URL=":8080/search.asp"  

6、60;19.     /请求方法   20.     private static final String REQUEST_MOTHOD="POST"   21.     /提取手机号码归属地的正则表达式   22.     private static final String

7、0;REGEX_EXP="<TD width=* align="center" class=tdc2>(.*)</TD>$"   23.     /编译后的正则表达式Pattern对象   24.     private static final Pattern p=Ppile(REGEX_EXP);   25.  

8、;   /连接URL的HttpURLConnection对象   26.     private HttpURLConnection httpConn=null;   27.        28.     /*  29.      * 获取手机号码归属地  30.   

9、   * param requestParameter 提交参数  31.      * return String  32.      */  33.     public String getMobileArea(String requestParameter)   34.  

10、;      35.         String mobileArea=""   36.         BufferedReader br=null;   37.         try  38. 

11、0;          39.             httpConn=(HttpURLConnection)new URL(REQUEST_URL).openConnection();   40.             httpCon

12、n.setRequestMethod(REQUEST_MOTHOD);   41.             httpConn.setDoOutput(true);   42.             httpConn.getOutputStream().write(requestParameter.getBytes()

13、;   43.             httpConn.getOutputStream().flush();   44.             httpConn.getOutputStream().close();   45.      

14、0;         46.             br=new BufferedReader(new InputStreamReader(httpConn.getInputStream();   47.             Stri

15、ng lineStr=null;   48.             while(lineStr=br.readLine()!=null)   49.                50.         &#

16、160;       if("<TD width="130" align="center" noswap>卡号归属地</TD>".equals(lineStr.trim()   51.                   &#

17、160;52.                     lineStr=br.readLine().trim();   53.                     Matche

18、r m=p.matcher(lineStr);   54.                     if(m.matches()   55.                  &#

19、160;     56.                         mobileArea=m.group(1);   57.               

20、          break;   58.                        59.              &#

21、160;     60.                61.            62.         catch(IOException e)    63.    

22、;         e.printStackTrace();   64.            65.         finally  66.            67.  &

23、#160;          if(br!=null)   68.                 try    69.               

24、      br.close();   70.                  catch (IOException e)    71.              &#

25、160;      e.printStackTrace();   72.                    73.            74.        

26、60;return mobileArea;   75.        76.   package com.funper.collector;import java.io.IOException;import java.io.InputStreamReader;import java.io.BufferedReader;import .HttpURLConnection;import .URL;import java.util.regex.Pattern;import java.util

27、.regex.Matcher;/* * 分析和采集数据 * */public class CollectAction /请求URLprivate static final String REQUEST_URL=":8080/search.asp"/请求方法private static final String REQUEST_MOTHOD="POST"/提取手机号码归属地的正则表达式private static final String REGEX_EXP="<TD width=* align="center" cla

28、ss=tdc2>(.*)</TD>$"/编译后的正则表达式Pattern对象private static final Pattern p=Ppile(REGEX_EXP);/连接URL的HttpURLConnection对象private HttpURLConnection httpConn=null;/* * 获取手机号码归属地 * param requestParameter 提交参数 * return String */public String getMobileArea(String requestParameter)String mobileArea=&

29、quot;"BufferedReader br=null;tryhttpConn=(HttpURLConnection)new URL(REQUEST_URL).openConnection();httpConn.setRequestMethod(REQUEST_MOTHOD);httpConn.setDoOutput(true);httpConn.getOutputStream().write(requestParameter.getBytes();httpConn.getOutputStream().flush();httpConn.getOutputStream().close

30、();br=new BufferedReader(new InputStreamReader(httpConn.getInputStream();String lineStr=null;while(lineStr=br.readLine()!=null)if("<TD width="130" align="center" noswap>卡号归属地</TD>".equals(lineStr.trim()lineStr=br.readLine().trim();Matcher m=p.matcher(lineStr

31、);if(m.matches()mobileArea=m.group(1);break;catch(IOException e) e.printStackTrace();finallyif(br!=null)try br.close(); catch (IOException e) e.printStackTrace();return mobileArea; 主程序在构建界面时代码冗长，只贴执行操作的后台线程内部类代码：Java代码 1. class ProcessorThread extends Thread   2.  

32、 3.     private boolean runMark=true;   4.     private BufferedWriter bw=null;   5.     Override  6.     public void run()    7.   

33、;      try    8.             bw=new BufferedWriter(new OutputStreamWriter(new FileOutputStream(savePlaceLabel.getText().substring(5);   9.      &

34、#160;   catch (FileNotFoundException e1)    10.             e1.printStackTrace();   11.            12.       &

35、#160; int sNumber=Integer.parseInt(startNumberField.getText();   13.         int eNumber=Integer.parseInt(endNumberField.getText();   14.         int readCount=0;   15. &

36、#160;       int writeCount=0;   16.         CollectAction action=new CollectAction();   17.         for(;sNumber<=eNumber;sNumber+)   18.

37、            19.             if(runMark)   20.                21.        

38、60;        try    22.                     sleep(300);/每请求一次就短暂睡眠一下,主要是担心请求过于频繁对网站服务器造成影响   23.       

39、0;          catch (InterruptedException e)    24.                     e.printStackTrace();   25.    

40、                 showErrorMessage(e.getMessage();   26.                    27.       

41、          String area=null;   28.                 try  29.               &#

42、160;    30.                     area=action.getMobileArea("mobile="+sNumber+"&action=mobile");   31.         &#

43、160;           if(area!=null)   32.                        33.           &#

44、160;             area=area.replaceAll("&nbsp;", " ");   34.                       

45、0;35.                     msgLabel.setText("正在分析号段："+sNumber+"=" + area);   36.              &#

46、160;      /System.out.println(area);   37.                     dataCountLabel.setText(String.valueOf(+readCount);   38.      

47、               bw.write(""+sNumber+","+area);   39.                     bw.write(new char&

48、#39;r', 'n');   40.                     bw.flush();   41.                  

49、60;  writeCountLabel.setText(String.valueOf(+writeCount);   42.                    43.                 catch(I

50、OException e)   44.                    45.                     e.printStackTrace();   

51、;46.                     showErrorMessage(e.getMessage();   47.                    48.   &

52、#160;            49.             else  50.                51.        &

53、#160;        -sNumber;   52.                 synchronized(this)    53.               

54、      try    54.                         wait();   55.            

55、0;         catch (InterruptedException e)    56.                         e.printStackTrace();   57.

56、                        showErrorMessage(e.getMessage();   58.                   

57、;     59.                    60.                61.            62.

58、60;       try    63.             bw.flush();   64.             bw.close();   65.      

59、;    catch (IOException e)    66.             e.printStackTrace();   67.             showErrorMessage(e.getMessage();  &

60、#160;68.            69.         JOptionPane.showMessageDialog(frame, "采集完毕！", "提示", JOptionPane.INFORMATION_MESSAGE);   70.        71.

61、       72.     public synchronized void stopThread()   73.        74.         runMark=false;   75.        76.  

62、;      77.     public synchronized void startThread()   78.        79.         runMark=true;   80.         not

63、ify();   81.        82.        83.     public boolean getRunMark()   84.        85.         return runMark;   86.        87.   88.     /-   89.        90.     public void showErrorMessage(String m