本文共 1007 字,大约阅读时间需要 3 分钟。
大部分使用的搜索引擎是百度和360
百度http://www.baidu.com/s?wd=keyword
360 http://www.so.com/s?q=keyword
一、使用百度爬取与python相关的内容
>>> import requests #引库>>> kv={ 'wd':'python'} #定义一个字典,用于修改后面的url>>> r=requests.get("http://www.baidu.com/s",params=kv)#给这个url加上字典的内容>>> r.status_code #返回状态码,判断访问是否成功200>>> r.request.url#查看访问的url地址'http://www.baidu.com/s?wd=python'>>> len(r.text)#打印文本的长度426366
代码框架
import requestskeyword="python"try: kv={ 'wd':'keyword'} r=requests.get("http://www.baidu.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text))except: print("爬取失败")
二、使用360爬取与java相关的内容
与爬取百度大体相似import requestskv1={ 'q':'java'}>>> r1=requests.get("http://www.so.com/s",params=kv1)>>> r1.status_code200>>> r1.request.url'https://www.so.com/s?q=java'>>> len(r1.text)212881
代码框架
import requestskeyword="java"try: kv={ 'q':'keyword'} r=requests.get("http://www.so.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text))except: print("爬取失败")
转载地址:http://ltmzi.baihongyu.com/