爬虫搜索网站（如何用Python爬取搜索引擎的结果）

本文目录

• 如何用Python爬取搜索引擎的结果
• 网站建设官方网站如何设计一个适合搜索爬虫友好的网站
• 如何用最简单的Python爬虫采集整个网站
• site:后面加什么能查出网站
• 如何通过网络爬虫获取网站数据
• 搜索引擎爬虫在不知道域名的情况下如何搜索到网站
• 国内被爬虫侵扰最多的网站是哪一个
• 使用爬虫抓取网站,对方会察觉吗
• 搜索引擎和爬虫的区别

如何用Python爬取搜索引擎的结果

我选取的是爬取百度知道的html 作为我的搜索源数据，目前先打算做网页标题的搜索，选用了 Python 的 scrapy 库来对网页进行爬取，爬取网页的标题，url，以及html，用sqlist3来对爬取的数据源进行管理。
爬取的过程是一个深度优先的过程，设定四个起始 url ，然后维护一个数据库，数据库中有两个表，一个 infoLib，其中存储了爬取的主要信息：标题，url ，html；另一个表为urlLib，存储已经爬取的url，是一个辅助表，在我们爬取每个网页前，需要先判断该网页是否已爬过（是否存在urlLib中）。在数据存储的过程中，使用了SQL的少量语法，由于我之前学过 MySQL ，这块处理起来比较驾轻就熟。
深度优先的网页爬取方案是：给定初始 url，爬取这个网页中所有 url，继续对网页中的 url 递归爬取。代码逐段解析在下面，方便自己以后回顾。
1.建一个 scrapy 工程：
关于建工程，可以参看这个scrapy入门教程，通过运行:
view plain copy
scrapy startproject ***
在当前目录下建一个scrapy 的项目，然后在 spiders 的子目录下建立一个 .py文件，该文件即是爬虫的主要文件，注意：其中该文件的名字不能与该工程的名字相同，否则，之后调用跑这个爬虫的时候将会出现错误，见ImportError。
2.具体写.py文件：
view plain copy
import scrapy
from scrapy import Request
import sqlite3
class rsSpider(scrapy.spiders.Spider): #该类继承自 scrapy 中的 spider
name = "zhidao" #将该爬虫命名为 “知道”，在执行爬虫时对应指令将为： scrapy crawl zhidao
#download_delay = 1 #只是用于控制爬虫速度的，1s/次，可以用来对付反爬虫
allowed_domains = #允许爬取的作用域
***隐藏网址***
***隐藏网址***
***隐藏网址***
***隐藏网址***
***隐藏网址***
***隐藏网址***
] #定义初始的 url ，有五类知道起始网页
#add database
connDataBase = sqlite3.connect("zhidao.db") #连接到数据库“zhidao.db”
cDataBase = connDataBase.cursor() #设置定位指针
cDataBase.execute(’’’’’CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)’’’)
#通过定位指针操作数据库，若zhidao.db中 infoLib表不存在，则建立该表，其中主键是自增的 id（用于引擎的docId）,下一列是文章的标题，然后是url，最后是html
#url dataBase
cDataBase.execute(’’’’’CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)’’’)
#通过定位指针操作数据库，若zhidao.db中urlLib表不存在，则建立该表，其中只存了 url，保存已经爬过的url，之所以再建一个表，是猜测表的主键应该使用哈希表存储的，查询速度较快，此处其实也可以用一个外键将两个表关联起来
2. .py文件中的parse函数：
.py文件中的parse函数将具体处理url返回的 response，进行解析，具体代码中说明：
view plain copy
def parse(self,response):
pageName = response.xpath(’//title/text()’).extract() #解析爬取网页中的名称
pageUrl = response.xpath("//head/link").re(’href="(.*?)"’) #解析爬取网页的 url，并不是直接使用函数获取，那样会夹杂乱码
pageHtml = response.xpath("//html").extract() #获取网页html
# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若当前url 是 start_url 中以一员。进行该判断的原因是，我们对重复的 start_url 中的网址将仍然进行爬取，而对非 start_url 中的曾经爬过的网页将不再爬取
self.cDataBase.execute(’SELECT * FROM urlLib WHERE url = (?)’,(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若当前Url已经爬过
pass #则不再在数据库中添加信息，只是由其为跟继续往下爬
else: #否则，将信息爬入数据库
self.cDataBase.execute(’INSERT INTO urlLib (url) VALUES (?)’,(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此时进入的非 url 网页一定是没有爬取过的（因为深入start_url之后的网页都会先进行判断，在爬取，在下面的for循环中判断）
self.cDataBase.execute(’INSERT INTO urlLib (url) VALUES (?)’,(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
self.connDataBase.commit() #保存数据库的更新
print "-----------------------------------------------" #输出提示信息，没啥用
for sel in response.xpath(’//ul/li/a’).re(’href="(/question/.*?.html)’): #抓出所有该网页的延伸网页，进行判断并对未爬过的网页进行爬取
***隐藏网址***
self.cDataBase.execute(’SELECT * FROM urlLib WHERE url = (?)’,(sel,)) #判断该网页是否已在数据库中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，则对其继续进行爬取
yield Request(url = sel, callback=self.parse)

网站建设官方网站如何设计一个适合搜索爬虫友好的网站

搜索引擎优化对于企业的身份起着非常重要的作用，可以决定其成败。在今天的互联网时代，不言而喻，建设一个适合搜索爬虫的网站很重要，如何设计一个适合爬虫的网站，下面帮你说明。网站建设公司传诚信告诉你。

网站优化

搜索引擎优化和网络爬虫的角色在互联网的搜索引擎的“眼睛”中使网站“令人惊叹”的艺术被称为搜索引擎优化。换句话说，它是对网站的完全改造，其中某些元素适合该网站的“基调”。诱导搜索引擎的网络抓取工具到您的网站是完成工作的一半。网络爬虫经常被搜索引擎使用，是用于从网站收集数据和索引信息的计算机程序。网页的排名由网络抓取工具收集的信息决定。

框架：对于爬虫的威慑

如果任何网站都有框架，它可以阻止网络爬虫像任何东西一样，因为它们没有超出这些框架的能力，这意味着网页仍然没有索引和没有排序。但是，像谷歌这样的搜索引擎拥有能够实现这一目标的抓取工具。因此，在提交网站之前，建议对搜索引擎进行一些研究。

履带式页面

设计一个履带式页面，一旦网页被提交给搜索引擎，因为它是网站地图的网站是非常重要的。抓取页面是一种网页，其中包含指向网站中所有页面的链接。每个页面的标题应该用作链接文本，这将添加一些额外的关键字。这有助于提高抓取工具分配给网站的排名。通常，抓取页面不被视为网站的一部分，并且不会出现在搜索结果中，因为它没有足够的文本供网络抓取工具提供高排名。

这些只是建立网络爬虫友好网站的一些步骤。如果您的网站没有被抓取工具立即编入索引，则绝对不需要烦恼和恐慌。因为，有很多网站需要抓取，编入索引和排名，网络抓取工具可能需要一段时间才能到达您的网站，但您应始终确保所有必要元素都在那里突出显示领先的网站搜索引擎。

如何用最简单的Python爬虫采集整个网站

采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。

site:后面加什么能查出网站

site:命令是用来知道某个站点中有自己需要找的东西，就可以把搜索范围限定在这个站点中，提高查询效率。

使用的方式，是在查询内容的后面，加上“site:站点域名”。例如，可以这样查询某某网站：site：某某.com．

site命令语法格式有两种：

1、site:域名 关键词

2、关键词 site:域名

site:后面带不带www结果可能是不一样的，因为有些域名还包括二级域名，如：site:www.某某.com和site:某某.com,搜索结果就不一样，site:和站点名之间，不要带空格。

扩展资料

网络爬虫为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：

(1) 对抓取目标的描述或定义；

(2) 对网页或数据的分析与过滤；

(3) 对URL的搜索策略。

如何通过网络爬虫获取网站数据

这里以python为例，简单介绍一下如何通过python网络爬虫获取网站数据，主要分为静态网页数据的爬取和动态网页数据的爬取，实验环境win10+python3.6+pycharm5.0，主要内容如下：

静态网页数据

这里的数据都嵌套在网页源码中，所以直接requests网页源码进行解析就行，下面我简单介绍一下，这里以爬取糗事百科上的数据为例：

1.首先，打开原网页，如下，这里假设要爬取的字段包括昵称、内容、好笑数和评论数：

接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中：

2.然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出我们需要的数据了，测试代码如下，非常简单，主要用到requests+BeautifulSoup组合，其中requests用于获取网页源码，BeautifulSoup用于解析网页提取数据：

点击运行这个程序，效果如下，已经成功爬取了到我们需要的数据：

动态网页数据

这里的数据都没有在网页源码中（所以直接请求页面是获取不到任何数据的），大部分情况下都是存储在一个json文件中，只有在网页更新的时候，才会加载数据，下面我简单介绍一下这种方式，这里以爬取人人贷上面的数据为例：

1.首先，打开原网页，如下，这里假设要爬取的数据包括年利率，借款标题，期限，金额和进度：

接着按F12调出开发者工具，依次点击“Network”-》“XHR”，F5刷新页面，就可以找打动态加载的json文件，如下，也就是我们需要爬取的数据：

2.然后就是根据这个json文件编写对应代码解析出我们需要的字段信息，测试代码如下，也非常简单，主要用到requests+json组合，其中requests用于请求json文件，json用于解析json文件提取数据：

点击运行这个程序，效果如下，已经成功爬取到我们需要的数据：

至此，我们就完成了利用python网络爬虫来获取网站数据。总的来说，整个过程非常简单，python内置了许多网络爬虫包和框架（scrapy等），可以快速获取网站数据，非常适合初学者学习和掌握，只要你有一定的爬虫基础，熟悉一下上面的流程和代码，很快就能掌握的，当然，你也可以使用现成的爬虫软件，像八爪鱼、后羿等也都可以，网上也有相关教程和资料，非常丰富，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

搜索引擎爬虫在不知道域名的情况下如何搜索到网站

这个做不到吧？我们以在国内最主要的百度爬虫为例。你有一个新网站，你希望他来抓取你，需要先到百度站长平台提交你的网站。这就要满足一些要求，比如有域名，域名要完成备案。百度爬虫通过多种维度对你的网站进行评级，来决定抓取的频次，评级越高越会经常来抓取你的网站。所以没有域名没有完成备案应该是不满足最基本的要求的。还有，那你现在只能用ip访问网站呗，等以后有了域名，又改用域名访问导致链接变化，这样很不好会掉权重的。

国内被爬虫侵扰最多的网站是哪一个

12306网站。IT之家2020年1月6日消息媒体报道称，称“12306是中国爬虫光顾最多的网站”，据不完全统计，12306网站浏览量最高达813亿次，平均每秒165万次，而出行是爬虫散布最多的，其中有89.02%流量是冲着12306去的。所以是12306网站。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

使用爬虫抓取网站,对方会察觉吗

如果对方没有特意去检测的话，是不会察觉的。

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。像一只虫子在一幢楼里不知疲倦地爬来爬去。我们每天使用的百度其实就是利用了这种爬虫技术。

每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。再比如抢票软件，就相当于撒出去无数个分身，每一个分身都在帮助你不断刷新12306网站的火车余票。一旦发现有票。

就马上拍下来，然后对你喊：土豪快来付款。九道门丨关于“爬虫”，你知道多少？爬虫也分善恶善意爬虫：像搜索引擎的爬虫，被爬过的网站获得了免费的曝光机会，给网站带去了流量，而被爬虫方也很愿意并高兴数据被发现。

因此，这种爬虫是善意的，并且严格遵守Robots协议规范爬取网页数据（如URL）。

搜索引擎和爬虫的区别

搜索引擎和爬虫是两个不同的概念。搜索引擎是一种通过关键词搜索来获取相关信息的工具。它通过爬虫技术从互联网上抓取网页，并将这些网页进行索引和存储。当用户输入关键词进行搜索时，搜索引擎会根据索引中的信息，返回与关键词相关的网页结果。而爬虫是一种自动化获取互联网上信息的技术。它通过编写程序，模拟人类在浏览器中访问网页的行为，自动抓取网页上的数据。爬虫可以用于各种应用场景，如搜索引擎的网页索引、数据采集、舆情监控等。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情