node.js编写爬虫 获取豆瓣首页上映电影

前端项目开发经验 前端开发项目总结 web前端开发项目过程
1.官网上下载node.js并安装;https://nodejs.org/en/
2.打开cmd 输入npm -v ,没有出错,出现版本信息说明安装成功。
3.安装好node就可以开始愉快的玩耍了。
4.新建一个文件夹,(这里我是在E盘上新建lesson1);
5.在cmd里面进入这个文件夹,估计有些人没操作过不知道,这里跟着图片这样输入就可以了。
6.新建一个项目npm init,OK,这时会要求我们输入一些信息,一些文件的信息,按照个人填写.记住entry point填写app.js其它随便,确定后输入yes
7.npm是node的包管理器,很多模块地址在国外,下载可能会出问题,这里我们安装淘宝的镜像 npm install -g cnpm –registry=https://registry.npm.taobao.org
安装好后就可以用cnpm代替npm了。
8.开始安装模块,最常用的express,这里爬虫我们还要用到superagent,cheerio; cnpm install express , cnpm install superagent , cnpm install cheerio;后面加–save可以写入package.json
此时没有报错就是安装成功了,打开文件夹,发现里面多了写文件。说明模块已经依赖成功,可以正式的编写代码了。
9.在文件夹里新建app.js文件。
代码如下[code]var express=require(‘express’);//引入模块
var cheerio=require(‘cheerio’);
var superagent=require(‘superagent’);
var app=express();
app.get(‘/’,function(req,res,next){
superagent.get(‘http://www.douban.com/’)//请求页面地址
.end(function(err,sres){//页面获取到的数据
if(err) return next(err);
var $=cheerio.load(sres.text);//用cheerio解析页面数据
var arr=[];
$(“.movie-list li”).each(function(index,element){//类似于jquery的操作,前端的小伙伴们肯定很熟悉啦
var $element=$(element).find(‘.title a’);
arr.push(
{
title: $element.text(),
href: $element.attr(‘href’)
}
);
});
res.send(arr);
})
});
app.listen(5000, function () {
console.log(‘app is listening at port 5000’);
});[/code]
端口可以自己定义,这里用5000.
10:打开终端cmd,运行app.js 就是:node app.js
此时如果输出app is listening at port 5000所有已经运行成功。
11.打开浏览器,输入地址https://www.rokub.com:5000
就可以拿到json数据。

前端开发签了项目合同 web前端开发的项目经验 房地产前端开发项目

» 本文来自:前端开发者 » 《node.js编写爬虫 获取豆瓣首页上映电影》
» 本文链接地址:https://www.rokub.com/5909.html
» 您也可以订阅本站:https://www.rokub.com
赞(0)
64K

评论 抢沙发

评论前必须登录!