Python写一个简单的爬虫样例(不超过50行代码)

首先给大家推荐一下我老师大神的人工智能教学网站。教学不仅零基础,通俗易懂,而且非常风趣幽默,还时不时有内涵黄段子!点这里可以跳转到网站

###写在题外的话

爬虫,我还是大三的时候,第一次听说,当时我的学姐给我找的一个勤工俭学的项目,要求是在微博上爬出感兴趣的信息,结果很遗憾,第一次邂逅只是擦肩而过。然后,时间来到4年后的研二,在做信息检索作业时,老师让选择一个自己感兴趣的主题,于是,第二次不期而遇。这次相遇,我本以为自己不会轻易放手,结果依然是无疾而终。直到,今天,我变成了一个人,再次相遇,我不再路过。然后,才发现,原来做一个爬虫并不难,我一直都Too young, too simple.一句话,想做爬虫,就来吧,Seize the day.

一、python爬虫综述

一个简单的爬虫,两部分组成,下载html和解析html文档。我实现了一个爬取糗事百科的首页的笑话的网络爬虫,大家可以用来参考。

二、python爬虫开发环境的搭建

开发环境:python2.7(win10-64)

开发IDE:pycharm最新版,就OK

使用到的工具包:setuptools, pip, chardet, certifi, idna, lxml, urllib3, requests, beautifulsoup, bs4所有用到的这些包我都打包放在了我的资源里,大家可以去下载,或者,直接在网上下载最新的python工具包。

[python2.7_win10爬虫开发环境工具包.zip]

三、pythonIDE的安装

使用pycharm进行python的项目,在网上很容易下载到,在注册的时候,可以使用关键字(pycharm,2017,注册码),给大家一个参考。[pyCharm最新2017激活码]

四、源代码

# coding=utf-8 import requestsfrom bs4 import BeautifulSoup # 获取html文档def get_html(url):    """get the content of the url"""    response = requests.get(url)    response.encoding = 'utf-8'    return response.text    # 获取笑话def get_certain_joke(html):    """get the joke of the html"""    soup = BeautifulSoup(html, 'lxml')    joke_content = soup.select('div.content')[0].get_text()     return joke_content url_joke = "https://www.qiushibaike.com"html = get_html(url_joke)joke_content = get_certain_joke(html)print joke_content

点这里可以跳转到人工智能网站

发表评论