nodejs爬虫爬取豆瓣评分

月光魔力鸭

2018-09-16 09:19 阅读 1033 喜欢 1 nodejs爬虫豆瓣评分

之前玩千里码的时候，有这么一个题目，如下：Google，Baidu的两大技术：爬虫和搜索。爬虫负责抓取整个互联网的内容，搜索负责生成索引供用户检索。所以爬虫算是这两个公司的看家本领了。但是Google和Baidu的爬虫技术是不公开的，算是商业机密了。所以360搜索刚起步的时候第一件事就是挖百度的核心搜索爬虫组的程序员，基本是3倍工资起挖(跪求360公司来辟谣)。虽然没办法知道这两家公司的爬虫技术，但是我们可以通过开源项目来学习。比如Scrapy就是一个非常优秀开源的爬虫框架，如果对爬虫有兴趣的话可以深入学习该框架。

简单地讲，爬虫分为两个步奏：

把页面源码下载下来
解析下载下来的页面，得到我们想要的数据
在第一步中，可能会需要登录，需要绕开网站的反爬虫机制等等。在第二步中则需要使用XPath、CSS Selector、正则表达式等工具来进行解析。

这里通过一个非常简单的任务来让大家感受一下爬虫：豆瓣电影Top250收录了至今为止，大家最喜欢的250部电影。该列表呈现了每部电影的评分，年份等基本信息。这题的答案很简单，就是这个榜单的前166部电影的评分总和。举例：目前排第一的《肖申克的救赎》是9.6分，第二的《这个杀手不太冷》是9.4分，第三的《阿甘正传》是9.4分。那么前3部电影的总分为9.6+9.4+9.4=28.4。

以下为具体实现代码：

var url = 'https://movie.douban.com/top250?start=';

//需要统计166部，每页25条
var superagent = require('superagent');
var cheerio = require('cheerio');
var numArr = [];
var getNext = function(path,start){
    var tempPath = path+start;
    superagent.get(tempPath).set({
        'cookie':'bid=xEbtZyJpLBs; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1474114942%2C%22http%3A%2F%2Fwww.qlcoder.com%2Ftask%2F7560%22%5D; _pk_id.100001.4cf6=ebdb1fdadde80a53.1474114942.1.1474115010.1474114942.; _pk_ses.100001.4cf6=*; __utma=30149280.834196820.1474114942.1474114942.1474114942.1; __utmb=30149280.0.10.1474114942; __utmc=30149280; __utmz=30149280.1474114942.1.1.utmcsr=qlcoder.com|utmccn=(referral)|utmcmd=referral|utmcct=/task/7560; __utma=223695111.500893696.1474114942.1474114942.1474114942.1; __utmb=223695111.0.10.1474114942; __utmc=223695111; __utmz=223695111.1474114942.1.1.utmcsr=qlcoder.com|utmccn=(referral)|utmcmd=referral|utmcct=/task/7560'
    }).end(function(err,res){
        var text = res.text;
        var $ = cheerio.load(text);
        var flag = false;
        $('.rating_num').each(function(index,ele){
            var num = $(ele).html();
            num = parseFloat(num);
            if(numArr.length == 166){
                flag = true;
                countNum ();
            }
            if(!flag){
                numArr.push(num);
            }
        });
        if(!flag){
            getNext(path,start+25);
        }
    });
};

var countNum = function(){
    var total = 0 ;
    for(var i=0,max=numArr.length;i<max;i++){
        total += numArr[i];
    }
    console.log('answer : '+ total);
};

getNext(url,0);

实现思路：