利用爬虫获取高铁信息

suger

今天跟大家分享爬虫学习之采集火车信息，我们知道除了官方的12306网站，其他的很多网站都提供了后车票购买查询的功能，像携程的铁友，途牛等等。这些网站他们盈利大都是通过广告的收入，以及通过购票带动的网站内酒店、景点额外收入，他们的网站界面友好型优于12306，使得在购票入口中占据了一定份额。但是归根到底，所有购票的APP、网站都是拿的12306的基础数据，或者说是12306的接口。那我们直接就通过12306获取数据就可以了。

首先我们通过网站获取到数据，然后再进行分析。如果在访问过程中被识别那就需要放上代理，除此外随机ua和cookie也是需要加上的。

import org.apache.commons.httpclient.Credentials;import org.apache.commons.httpclient.HostConfiguration;import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.HttpMethod;import org.apache.commons.httpclient.HttpStatus;import org.apache.commons.httpclient.UsernamePasswordCredentials;import org.apache.commons.httpclient.auth.AuthScope;import org.apache.commons.httpclient.methods.GetMethod;import java.io.IOException;public class Main {    # 代理服务器(产品官网 www.16yun.cn)    private static final String PROXY_HOST = "t.16yun.cn";    private static final int PROXY_PORT = 31111;    public static void main(String[] args) {        HttpClient client = new HttpClient();        HttpMethod method = new GetMethod("https://www.12306.cn/index");        HostConfiguration config = client.getHostConfiguration();        config.setProxy(PROXY_HOST, PROXY_PORT);        client.getParams().setAuthenticationPreemptive(true);        String username = "16ABCCKJ";        String password = "712323";        Credentials credentials = new UsernamePasswordCredentials(username, password);        AuthScope authScope = new AuthScope(PROXY_HOST, PROXY_PORT);        client.getState().setProxyCredentials(authScope, credentials);        try {            client.executeMethod(method);            if (method.getStatusCode() == HttpStatus.SC_OK) {                String response = method.getResponseBodyAsString();                System.out.println("Response = " + response);            }        } catch (IOException e) {            e.printStackTrace();        } finally {            method.releaseConnection();        }    }}

文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下。关于具体的数据分析结果我们下次再分享。