python系列之食谱数据

suger

疫情之下，很多人都经历过居家隔离生活，一日三餐的都需要自己动手，对于没有烹饪经验的人而言，做菜是先放油还是先放盐都是一种难以抉择的考验，更别说美味了。那么如果你是爬虫工作者，那么学完本小节之后，你就可以轻松地按着教程的步骤做出任何美味佳肴，而且不带重样的，从此成为新一代神厨小当家，心动了吗？那么我们学起来吧。

首先我们的数据来源网站是：http://www.xiachufang.com/explore/，在进行获取之前我们需要简单的分析下这个网站，整体比较好爬取，反爬机制不是很严，但是我们基本的反爬措施还是需要做好，尤其是代理IP的添加。对代理IP不知道怎么选择靠谱的，可以直接选择这家https://it帮论坛真好/，api获取的和动态转发的都有提供。接下来的实现代码里面就算使用的动态转发的，可以参考学习下：

1. #! -*- encoding:utf-8 -*-
   
2. 
   
3.     import requests
   
4.     import random
   
5. 
   
6.     # 要访问的目标页面
   
7.     targetUrl = "http://www.xiachufang.com/explore/"
   
8. 
   
9.     # 要访问的目标HTTPS页面
   
10.     # targetUrl = "http://www.xiachufang.com/explore/"
    
11. 
    
12.     # 代理服务器(产品官网 it帮论坛真好)
    
13.     proxyHost = "t.16yun.cn"
    
14.     proxyPort = "636868"
    
15. 
    
16.     # 代理验证信息
    
17.     proxyUser = "16RAEFHU"
    
18.     proxyPass = "password"
    
19. 
    
20.     proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    
21.         "host" : proxyHost,
    
22.         "port" : proxyPort,
    
23.         "user" : proxyUser,
    
24.         "pass" : proxyPass,
    
25.     }
    
26. 
    
27.     # 设置 http和https访问都是用HTTP代理
    
28.     proxies = {
    
29.         "http"  : proxyMeta,
    
30.         "https" : proxyMeta,
    
31.     }
    
32. 
    
33. 
    
34.     #  设置IP切换头
    
35.     tunnel = random.randint(1,10000)
    
36.     headers = {"Proxy-Tunnel": str(tunnel)}
    
37. 
    
38. 
    
39. 
    
40.     resp = requests.get(targetUrl, proxies=proxies, headers=headers)
    
41. 
    
42.     print resp.status_code
    
43.     print resp.text

复制代码

获取到的食谱我们通过表格保存起来，需要的时候直接看着操作就可以，不仅让我们学会了下厨还解决了我们不知道吃什么的烦恼问题。[size=1em]

若有收获，就点个赞吧