最近打算买一些家电，但是电商平台众多，于是我想看看每天到底有多少商品进行降价了，同一款商品在不同平台中的价格又是多少？于是我从0开始翻阅了一些python资料，写了几个python小爬虫。
项目背景：电商平台众多，监测每个电商平台每日价格出现历史新低的商品，同一型号商品在不同电商平台的价格并且在同一张图标中绘制出来，方便筛需要的商品
项目名称： Hi张大妈比价（hizdm.com）
方案实施： 如果要进行价格比对，当然少不了对数据的抓取，由于本人比较擅长php但通过百度（如果能用狗哥，谁还用它啊，虽说有vpn好像被360收集了经常断）得知python抓取会更好一些，于是就选择了python，之前没有用过python，于是在网上学了学python。
由于是比价固得先有思路，因为有些商品没法标准化，还好要买的电器还是能找到标准化的规则（爬虫爬取每个商品的说明找到产品型号，没错我进行数据标准化的规则就是按着商品型号来的）
首先选一些种子选手，京东、苏宁、国美，谁让你们在家电方面是龙头呢，O(∩_∩)O哈哈~，由于是新手我一次就抓取了所需要的产品缩略图、产品链接、产品参数、产品名称以及产品型号进行独立存取，这样文件在以后再进行比对筛选唯一（对型号进行字符串规则化，替换中文括号横线等等然后在strtolow，这样比对起来成功匹配率在98%），然后在入库（网站基础规划就不详解了，如感兴趣可联系我）。
以京东为例爬虫如下：
! /usr/bin/python
#utf-8
import re
import os
import sys
import time
import urllib2
import cookielib
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding(‘utf-8’)
class jdSpider:
def __init__(self, url, header, header2, brand):
self.url = url
self.header = header
self.header2 = header2
self.brand = brand
def crawl(self):
req = urllib2.Request(self.url, headers = self.header)
con = urllib2.urlopen(req)
html = con.read()
con.close()
soup = BeautifulSoup(html)
one = soup.find(‘ul’, {‘class’ : ‘gl-warp’})
two = one.find_all(‘li’, {‘class’ : ‘gl-item’})
i = 0
c = ”
img = ”
base = ‘http:’
for three in two:
i = i + 1
print i
if i > 0:
img = base + str(three.find(‘img’).get(‘data-lazy-img’))
four = three.find(‘div’, {‘class’ : ‘p-name’})
product_link = base + str(four.find(‘a’).get(‘href’))
product_name = four.find(’em’).get_text()
req2 = urllib2.Request(product_link, headers = self.header2)
con2 = urllib2.urlopen(req2)
html2 = con2.read()
con2.close()
soup2 = BeautifulSoup(html2)
five = soup2.find(‘table’, {‘class’ : ‘Ptable’})
if five:
six = five.find_all(‘td’)
j = 1
tag = ”
brand = ”
param = ”
for seven in six:
if j == 2:
brand = seven.get_text().strip()
if j == 4:
tag = seven.get_text().strip()
if j % 2 == 1:
param = param + seven.get_text().strip() + ‘||’
else:
param = param + seven.get_text().strip() + ‘|||’
j = j + 1
c = ‘jd^^^’ + brand + ‘^^^’ + tag + ‘^^^’ + product_name + ‘^^^’ + product_link + ‘^^^’ + img + ‘^^^’ + param + ‘\n’
print c
if __name__ == ‘__main__’:
‘
header = {‘Host’: ‘list.jd.com’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0’,
‘Accept’: ‘textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Encoding’: ‘deflate’,
‘Connection’: ‘keep-alive’}
header2 = {‘Host’: ‘item.jd.com’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0’,
‘Accept’: ‘textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Encoding’: ‘deflate’,
‘Connection’: ‘keep-alive’}
brand = raw_input(“Product: “)
url = raw_input(“Url: “)
spider = jdSpider(url, header, header2, brand)
spider.crawl()
以上代码可供大家研究版权归属Hi张大妈比价，由于python是速成，请大家轻喷，当然也希望大家支持Hi张大妈（hizdm.com）!
