博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用python爬取(搜索引擎关键字提交)
阅读量:3959 次
发布时间:2019-05-24

本文共 1007 字,大约阅读时间需要 3 分钟。

大部分使用的搜索引擎是百度和360

百度http://www.baidu.com/s?wd=keyword
360 http://www.so.com/s?q=keyword

一、使用百度爬取与python相关的内容

>>> import requests #引库>>> kv={
'wd':'python'} #定义一个字典,用于修改后面的url>>> r=requests.get("http://www.baidu.com/s",params=kv)#给这个url加上字典的内容>>> r.status_code #返回状态码,判断访问是否成功200>>> r.request.url#查看访问的url地址'http://www.baidu.com/s?wd=python'>>> len(r.text)#打印文本的长度426366

代码框架

import requestskeyword="python"try:    kv={
'wd':'keyword'} r=requests.get("http://www.baidu.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text))except: print("爬取失败")

二、使用360爬取与java相关的内容

与爬取百度大体相似

import requestskv1={
'q':'java'}>>> r1=requests.get("http://www.so.com/s",params=kv1)>>> r1.status_code200>>> r1.request.url'https://www.so.com/s?q=java'>>> len(r1.text)212881

代码框架

import requestskeyword="java"try:    kv={
'q':'keyword'} r=requests.get("http://www.so.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text))except: print("爬取失败")

转载地址:http://ltmzi.baihongyu.com/

你可能感兴趣的文章
用例图(UseCase Diagram)—UML图(一)
查看>>
类图(Class diagram)—UML图(二)
查看>>
对象图(Object Diagram)—UML图(三)
查看>>
活动图(Activity Diagram)—UML图(四)
查看>>
状态图(Statechart Diagram)—UML图(五)
查看>>
时序图(Sequence Diagram)—UML图(六)
查看>>
构件图(Component Diagram)—UML图(八)
查看>>
部署图(Deployment Diagram)—UML图(九)
查看>>
协作图(Collaboration Diagram)—UML图(七)
查看>>
什么是RUP
查看>>
什么是UML(UML总结)
查看>>
UML基础与应用系列文章汇总
查看>>
C#方法重载(overload)方法重写(override)隐藏(new)
查看>>
javascript实现滚动图片
查看>>
css+div练手-工作室
查看>>
CSS+DIV布局之道
查看>>
CSS+DIV练手-公司
查看>>
CSS+DIV练手—鲜花展
查看>>
深入浅出JavaScript(1)—ECMAScript
查看>>
深入浅出JavaScript(2)—ECMAScript
查看>>