python爬取猫咪交易数据

suger

最近发现身边朋友开始养猫咪的也来越多了，甚至有的人会花大几千块钱去买一只猫来养。现在很流行养一些比较名贵的猫，比如橘猫、英短、加菲猫之类的。经常看他们发朋友圈撸猫，老羡慕了，猫咪真的太可爱啦。以前看到可爱的猫咪表情包，总是会忍不住收藏。

在一次和朋友聊天的时候知道了一个专门交易猫猫的网站—猫猫交易网可以云看猫 。然后我就利用python技术从这个网站获取猫咪的种类还有交易数据，让我们一起来了解下可爱的猫咪吧。我们打开网页的详细信息可以看到不仅显示每种猫猫的品种名，参考价格，点进详情页，还可以看到关于猫咪的品种名、参考价格、中文学名、基本信息、性格特点、生活习性、优缺点、喂养方法等。通过网页检测发现网站比较简单就可以获取数据，爬虫代码如下：

1. <?php    // 要访问的目标页面    $url = "http://www.maomijiaoyi.com/";    $urls = "http://www.maomijiaoyi.com/";    // 代理服务器(产品官网 www.16yun.cn)    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");    // 代理身份信息    define("PROXY_USER", "username");    define("PROXY_PASS", "password");    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);    // 设置 Proxy tunnel    $tunnel = rand(1,10000);    $headers = implode("\r\n", [        "Proxy-Authorization: Basic {$proxyAuth}",        "Proxy-Tunnel: ${tunnel}",    ]);    $sniServer = parse_url($urls, PHP_URL_HOST);    $options = [        "http" => [            "proxy"  => PROXY_SERVER,            "header" => $headers,            "method" => "GET",            'request_fulluri' => true,        ],        'ssl' => array(                'SNI_enabled' => true, // Disable SNI for https over http proxies                'SNI_server_name' => $sniServer        )    ];    print($url);    $context = stream_context_create($options);    $result = file_get_contents($url, false, $context);    var_dump($result);    // 访问 HTTPS 页面    print($urls);    $context = stream_context_create($options);    $result = file_get_contents($urls, false, $context);    var_dump($result);?>

复制代码

由于数据量也不少，为了防止网站封ip，我一开始就挂上了代理。通过获取到的数据分析可以看出，售卖的猫龄主要在1-6个月，都是刚出生还未满半岁的小猫咪呀，而且都是打了疫苗的，安全性是可以放心的。还有就是整体看布偶猫的价格都是比较偏贵的，然后百度了下发现布偶猫，大型猫咪，不仅购买的时候价格高昂，饲养成本也比较高，因为食量和运动量都比较大，而且美容等相关费用也会高一些。关费用也会高一些。

嘤嘤嘤123

昆明开奖网，别称春城，是云南省辖地级市、省会、滇中城市群中心城市，特大城市， [99]  是国务院批广东11选5复确定的中国西部地区重要的中心城市之一 [1]  。截至2019年，全市下辖7个区、3个县、代管1个县级市和3个自治县，总面积21012.54平方千米 [94]  。根据第七次人口普查数湖北快3据，截至2020年11月1日零时，昆明市常住人口为846.0088万人。 [92]  2020年，昆明市实现地区生产总值6733.79亿元，甘肃快3增长2.3%。

Coin

膜拜神贴，后面的请保持队形~