单机爬虫（Scrapy）到分布式爬虫（Scrapy-Redis）的完美实战
不怕你和别的爬虫课程比较，随便去看，你会明白，慕课网的情怀从来不是靠嘴说的，是靠高质量内容体现的
说真的，你再也没有理由学不会爬虫了
从0开始讲解
爬虫基本原理
讲精讲透
最流行爬虫框架
Scrapy
从单机爬虫到
分布式爬虫
爬取知名网站
真实数据
打造自己的
搜索引擎
从0讲解爬虫基本原理，对爬虫中所需要用到的知识点进行梳理，从搭建开发环境、设计鸿运国际hv128开始，通过爬取三个知名网站的真实数据，带你由浅入深的掌握Scrapy原理、各模块使用、组件开发，Scrapy的进阶开发以及反爬虫的策略
彻底掌握Scrapy之后，带你基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站
我们的目标：分布式爬虫Scrapy-Redis搭建搜索引擎
前台搜索
后台数据交互
前台搜索结果
数据
Scrapy-Redis
爬取数据
elasticsearch
索引
django
搜索引擎后台
由浅入深掌握Scrapy
爬虫开发环境搭建及基础知识
- 于windows和Linux
Scrapy爬虫搭建
及单机爬虫实战案例
整个开发过程中还会讲到很多爬虫开发的知识， 这些知识不管是对Web系统的理解还是面试都是非常重要的知识点，包括正则表达式、url去重的策略、深度优先和广度优先遍历算法及实现、session和cookie的区别以及如何通过多种方式去实现模拟登录
爬取技术社区文章
掌握：xpath， css选择器 / items设计 / pipeline，twisted保存数据到mysql
爬取问答网站
掌握：session和cookie原理 / scrapy FormRequest和requests模拟知乎登录 item loader方式提取数据
爬取招聘网站
掌握：link extractor / Scrapy Rule提取url / CrawlSpider爬取全站
Scrapy进阶
突破反爬机制
Scrapy原理
ip代理 、user-agent随机切换
云打码实现验证码识别
Scrapy进阶
selenium和phantomjs动态网站爬取
Scrapy telnet、Web service
Scrapy信号和核心api
Scrapy-Redis分布式爬虫
Redis
Scrapy-Redis源码分析
Redis-bloomfilter集成到Scrapy-Redis
搭建搜索引擎
- 数据解析和入库
- Scrapy-Redis分布式爬虫开发
- 数据保存到elasticsearch
- 通过django搭建搜索引擎
还有理由学不好？
任何关于本课程的问题都可以在课程问答区随时提问，也可在问答区和同学相互切磋，讲师会梳理出典型问题，进行集中答疑
课程代码完全开放给你，你可以根据所学知识自行修改，不断优化与升级，甚至可以直接应用在实际工作中
适合人群及技术储备要求
适合对爬虫感兴趣、想做大数据开发却找不到数据，又不知如何搭建一套稳定可靠的分布式爬虫的同学
想搭建搜索引擎但是不知道如何入手的同学
技术储备要求：
具有Python基础知识， 同时对前端和面向对象和鸿运国际hv128有一定的了解
经常偷懒的持续学习者
ciphermagic
tiankonghewo
