Python爬虫实战之爬淘宝商品并做数据分析

前语

是这样的，之前接了一个金主的单子，他想在淘宝开个小鱼零食的网店，想对现在这个商场上的产品做一些剖析，本来手动去做计算和剖析也是能够的，这些信息都是对外展现的，只是手动比较费事，所以想托我去帮个忙。

一、 项目要求：

详细的要求如下：

1.在淘宝查找“小鱼零食”，想知道前10页查找成果的所有产品的销量和金额，按照他划定好的价格区间来计算数量，给我划分了如下的一张价格区间表：

2.这10页查找成果中，商家都是散布在全国的哪些方位？

3.这10页的产品下面，用户谈论最多的是什么？

4.从这些查找成果中，找出销量最多的10家店肆姓名和店肆链接。

从这些要求来看，其实这些需求也不难实现，咱们先来看一下项目的效果。

二、效果预览

获取到数据之后做了下剖析，最终做成了柱状图，鼠标移动能够看出详细的产品数量。

在10~30元之间的产品最多，越往后越少，看来大多数的产品都是定位为低端商场。

然后咱们再来看一下全国商家的散布状况：

能够看出，商家散布大多都是在沿海和长江中下游邻近，其间以沿海地区最为密布。

然后再来看一下用户都在产品下面谈论了一些什么：

字最大的就表示出现次数最多，口感味道、包装品质、产品分量和保质期是用户评价最多的几个方面，那么在产品包装的时分能够从这几个方面去做针对性阐述，解决大多数人比较关心的问题。

最后便是销量前10的店肆和链接了。

在拿到数据并做了剖析之后，我也在想，假如这个东西是我来做的话，我能不能看出来什么东西？或许能够从价格上找到切入点，或许能够从产品地理方位打个差异化，又或许能够以用户为中心，由外而内地做营销。

越往深想，越觉得有门道，算了，对于小鱼零食这一块我是外行，不多想了。

三、爬虫源码

由于源码分了几个源文件，仍是比较长的，所以这里就不跟大家逐个讲解了，懂爬虫的人看几遍就看懂了，不懂爬虫的说再多也是云里雾里，等以后学会了爬虫再来看就懂了。

import csv
import os
import time
import wordcloud
from selenium import webdriver
from selenium.webdriver.common.by import By
def tongji():
    prices = []
    with open('前十页销量和金额.csv', 'r', encoding='utf-8', newline='') as f:
        fieldnames = ['价格', '销量', '店肆方位']
        reader = csv.DictReader(f, fieldnames=fieldnames)
        for index, i in enumerate(reader):
            if index != 0:
                price = float(i['价格'].replace('¥', ''))
                prices.append(price)
    DATAS = {'<10': 0, '10~30': 0, '30~50': 0,
             '50~70': 0, '70~90': 0, '90~110': 0,
             '110~130': 0, '130~150': 0, &