无屏蔽搜索引擎（哪些搜索引擎不会屏蔽）

本篇文章给大家谈谈无屏蔽搜索引擎，以及哪些搜索引擎不会屏蔽对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：有哪些搜索引擎是国内屏蔽不了的

没有。

只要是在中国国内引擎都是会被屏蔽的。国内对黄赌毒把控比较严格，一旦发现违法违规类，都会被屏蔽掉。

所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出指定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等，同时可添加其他一系列辅助模块，以为用户创造更好的网络使用环境。

没有受到限制的搜索引擎有哪些

没有受到限制的搜索引擎可分为三种：全文搜索引擎（Full Text Search

Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。

全文搜索引擎全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、

Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立

的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。

从搜索结果来源

的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，

并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如

Lycos引擎。

目录索引

br目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词

（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open

Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。

br元搜索引擎(META Search

Engine)br元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有

InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接

按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。

除上述三大类引擎外，还有以下几种非主流形式：集合式搜索引擎：如HotBot在2002

年底推出的引擎。该引擎类似META搜索引擎，但区别在于不是同时调用多个引擎进行搜索，而是由用户从提供的4个引擎当中选择，因此叫它“集合式”搜索引

擎更确切些。

门户搜索引擎：如AOL Search、MSN

Search等虽然提供搜索服务，但自身即没有分类目录也没有网页数据库，其搜索结果完全来自其他引擎。 br免费链接列表（Free

For All

Links，简称FFA）：这类网站一般只简单地滚动排列链接条目，少部分有简单的分类目录，不过规模比起Yahoo等目录索引来要小得多。

由于上述网站都为用户提供搜索查询服务，为方便起见，我们通常将其统称为搜索引擎。

搜索引擎基本工作原理

了解搜索引擎的工作原理对我们日常搜索应用和网站提交推广都会有很大帮助。全文搜索引擎

在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜

索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会

自动提取网站的信息和网址加入自己的数据库。

另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数

月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址

并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收

录。

当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网

页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。

目录索引与全文搜索引擎相比，目录索引有许多不同之处。

首先，搜索引擎属于自动网站检索，

而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的

网站。

其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登

录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。（由于登录Yahoo!的难度最大，而它又是商家网络营销必争之地，所以我们会在

后面用专门的篇幅介绍登录Yahoo雅虎的技巧）br此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须

将网站放在一个最合适的目录（Directory）。

最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度

看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息

不合适，他可以随时对其进行调整，当然事先是不会和你商量的。

目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户

在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因

素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。

目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open

Directory目录提供分类查询。而象 Yahoo!

这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜

狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。

搜索引擎的第三定律

brbr搜索引擎走到今天，已经是一个结束过去，开辟未来的时候了。为了说清楚我所讲的第三定律，我们先来回顾一下第一

和第二定律。 br第一定律 相关性定律

br听起来象是一篇学术论文，的确，就连第一，第二定律的提法以前也没有过，但是第一，第二定律的内容确早已在业界和学术界得到了公认。

其实这第一定律是早在互联网出现之前就被学术界广泛研究过的，那就是所谓的相关性定律。这个领域那时叫情报检索，或信息检索，也有叫全文检索

的。

那时的相关性都是基于词频统计的，也就是说，当用户输入检索词时，搜索引擎去找那些检索词在文章（网页）中出现频率较高的，位置

较重要的，再加上一些对检索词本身常用程度的加权，最后排出一个结果来(检索结果页面)

。早期的搜索引擎结果排序都是基于本文的第一定律的，如Infoseek，Excite，Lycos等，它们基本上是沿用了网络时代之前学术界的研究成

果，工业界的主要精力放在处理大访问量和大数据量上，对相关性排序没有突破。

词频统计其实根本没有利用任何跟网络有关的特性，是前网

络时代的技术。然而，网络时代的主要文献是以网页的形式存在的，而几乎每个人都可以随心所欲地在网上发表各种内容，词频相同的两个网页，质量相差可以很

远，可是按照搜索引擎的第一定律，对这两个网页的排序应该是一样的。为了能够派在某些检索结果的前几位，许多网页内容的制作者绞尽脑汁，在其页面上堆砌关

键词，搜索引擎对此防不胜防，苦不堪言。这种情况到了 1996年开始有了改变。

第二定律

人气质量定律 1996年4月，我到赌城拉斯维加斯开一个有关信息检索方面的学术会议，会议的内容就象拉斯维加斯的天气一样，照例比较

枯燥乏味。但远离公司的我，却难得有一个静下心来认真思考问题的机会。就在听一个毫不相干的论文演讲的时候，我突然把科学引文索引的机制跟Web上的超级

链接联系起来了 -

感谢北大，她在我上大三的时候就教授了我科学引文索引的机制，美国恐怕没有一所大学会在你本科的时候教这玩艺儿。

科学引文索引的机

制，说白了就是谁的论文被引用次数多，谁就被认为是权威，论文就是好论文。这个思路移植到网上就是谁的网页被链接次数多，那个网页就被认为是质量高，人气

旺。在加上相应的链接文字分析，就可以用在搜索结果的排序上了。这就引出了搜索引擎的第二定律：人气质量定律。根据这一定律，搜索结果的相关性排序，并不

完全依赖于词频统计，而是更多地依赖于超链分析。

一个突破性的东西，回去以后就很快总结了思路，于96年6月申请了这一

方面的美国专利。1999年

7月6号，美国专利和商标局批准了专利号为5,920,859的，以我为唯一发明人的专利。大约在96年底，斯坦福大学计算机系的两位研究生也想到了同样

的解决方法，他们后来创立了一个叫Google的搜索引擎，Google的网站上至今仍然说他们的这项技术是Patent-pending

(专利申请中) ，不知道美国专利局是不是还会再批这样的专利。Anyway,

超链分析的方法98年以后逐渐被各大搜索引擎所接受，由于链接是网络内容的一个根本特性，这时候的搜索引擎才开始真正利用网络时代的检索技

术。

2000年起网络泡沫迅速破灭，各大搜索引擎要么遭人收购，要么推迟上市，所有使用人气质量定律的搜索引擎公司都未能

幸免。那么，搜索引擎的出路到底在哪儿？ 第三定律

自信心定律人气质量定律解决的还是一个技术层面的问题，然而搜索引擎从诞生的那一天起，从来就不是一个纯技术现像，它融合了技术，文

化，市场等各个层面的因素。解决搜索引擎公司的生存和发展问题需要搜索引擎的第三定律--自信心定律。

1998年的时候，没有太多的

人拿一家远在硅谷500英里以外，刚刚成立的（现已更名为Overture）的公司当回事儿。它不过是买了一个搜索引擎的技术服

务，然后再向那些网站的拥有者们拍卖他们网站在GoTo检索结果中的排名，谁付的钱多不会屏蔽关键字的搜索引擎，谁的网站就排在前面，而且付费是根据网民点击该网站的情况来计算

的，仅仅在搜索结果中出现并不需要付费。这就是自信心定律的最早实践者！根据这一定律，搜索结果的相关性排序，除了词频统计和超链分析之外，更注重的是竞

价拍卖。谁对自己的网站有信心，谁就排在前面。有信心的表现就是愿意为这个排名付钱。需要声明的是，自信心定律也是我自己给这一模式起的名字，以前的文献

中并没有人这样总结过。

今天，在网络业一片萧条，那斯达克风声鹤唳的时候，GoTo却如日中天，市值高达13亿美金，收入高达雅虎总

收入的35%。反观门户网站，有哪一个能从它们的搜索引擎服务中赚出总收入的三分之一呢？究其原因，就是因为GoTo最早实践了搜索引擎的自信心定律。以

前的搜索引擎都是靠CPM来收费的，而CPM是从传统广告业借鉴过来的，没有考虑网络媒体即时性，交互性，易竞价的特点，而竞价排名，点击收费则是为网站

拥有者直接提供销售线索，而不是传统意义上的广告宣传。自信心定律一改过去搜索引擎靠CPM收钱的尴尬局面，开创了真正属于互联网的收费模式。

什么搜索引擎不屏蔽

所有搜索引擎都有自己的规则

你可以描述下你是需要干嘛却被屏蔽了

如何屏蔽搜索引擎？

我们在做网站时，有些目录或者文件不希望搜索引擎蜘蛛搜索到，比如后台，重要页面或文件。那么我们这时该怎么办呢？最简单的方法是修改robots.txt文件和网页中的robots Meta标签。

robots.txt文件是做什么的，robots文件又称robots协议（也称为爬虫协议、爬虫规则、机器人协议等）robots协议是告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots协议不是命令，它只是一个网站国际互联网界通行的道德规范，知名的引擎蜘蛛都会遵守这个协议，只有一些缺乏职业道德的搜索引擎会绕开它。所以修改这个协议也不是万能保险的。

robots.txt文件是一个放置在网站根目录下的记事本文件，当搜索蜘蛛访问网站时，它会先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时不会屏蔽关键字的搜索引擎，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

robots文件屏蔽的写法

下面是一个网站的robots文件的代码样式。

===================================================================================

User-agent: *

Disallow: /plus/ad_js.php

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

===================================================================================

我们来看一下它的意思。

robots文件中应同时包含2个域，“User-agent:”和“Disallow:”，其中User-agent:代表允许、 Disallow: 代表禁止。每条指令独立一行。并且User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。

User-agent:

User-agent:指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：

User-agent: Googlebot

只允许Google的蜘蛛抓取。

User-agent: baiduspider

只允许百度的蜘蛛抓取。

User-agent: *

这个是指允许所有蜘蛛抓取，*为通配符，代表所有。

Disallow:

这个是表示禁止蜘蛛抓取的，以上面的robots文件为例。

Disallow: /plus/ad_js.php

这个是指禁止引擎蜘蛛抓取网站中plus目录中的ad_js.php文件

Disallow: /include

这个是指禁止引擎蜘蛛抓取网站中include整个目录，它和Disallow: /include/不是等同的。

Disallow: /include/

这个是指禁止引擎蜘蛛抓取网站中include目录下面的目录，但include目录中的文件蜘蛛仍然可以抓取。

Disallow: /cgi-bin/*.htm

禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?*

禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$

禁止抓取网页所有的.jpg格式的图片

Allow:

这是允许的意思。

Allow: /include/

这里是允许爬寻include目录下面的目录

Allow: /include

这里是允许爬寻include整个目录

Allow: .htm$

仅允许访问以".htm"为后缀的URL。

Allow: .gif$

允许抓取网页和gif格式图片

Sitemap:

网站地图 告诉爬虫这个页面是网站地图

robot文件的常见用法

例1. 禁止所有搜索引擎访问整个网站。

User-agent: *

Disallow: /

例2.禁止百度蜘蛛访问整个网站。

User-agent: baiduspider

Disallow: /

例3.允许所有搜索引擎访问（也可以建立一个空robots.txt文件或者不建立robots文件）

User-agent: *

Allow:/

User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。

robots Meta标签屏蔽法

robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。

Meta robots标签必须放在head和/head之间，格式：

meta name=”robots” content=”index,follow” /

content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：

index,follow：允许抓取本页，允许跟踪链接。

index,nofollow：允许抓取本页，但禁止跟踪链接。

noindex,follow：禁止抓取本页，但允许跟踪链接。

noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。

以上1和4还有另一种写法：

index,follow可以写成all，如：

meta name=”robots” content=”all” /

noindex,nofollow可以写成none，如：

meta name=”robots” content=”none” /

需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。

如何挽救被搜索引擎屏蔽的网站

几乎所有的主要搜索引擎，比如百度、Yahoo、搜狗等，都在相关的网站管理员指南中注明：主要网站及时清除作弊内容，是可以申请搜索引擎解除屏蔽站点的。

一般的申请解除的方式为电子邮件，电子邮件解除申请中一般要求注明以下几点：

①需解除的网址；

②作弊方式；

③被惩罚的起始时间；

④作弊行为是否已经清除。

尽管目前为止，通过这种方式解除惩罚的几率非常之小。大部分被解除的都是那些一直坚持高质量站点内容建设、真正受欢迎的站点、无意中涉及作弊的站点。也因为大部分站点，在清除作弊行为后，并没有被搜索引擎解除作弊。因而，搜索引擎也受到了很多网站管理员的指责。认为各站点公布的解除方式不过是虚设而已。

不管如何，在早期，与几乎没有搜索引擎声明只要解除作弊行为就有机会重新被搜索接受的的状况相比，目前的搜索引擎已经人性化多了。

如何清除作弊行为

要清楚作弊行为，首先必须认真阅读搜索引擎的相关规则。如果无法深刻把握搜索引擎的判罚尺度，则最好是选择专业的机构，对站点进行诊断，找出所有可能涉嫌作弊的地方。根据诊断结果，对于作弊行为或涉嫌作弊过渡针对搜索引擎而忽略用户体验的地方，进行改进。

但一定要注意，并非所有的作弊行为都是可以清除的。一般而言，如果是网站本身作弊，比如堆砌关键词等是可以很容易清除的。但对于群发链接，链接工厂等方面是很难清除的。因为我们几乎没有办法控制其他站点的行为。

在提交这个“检讨信”之后，要等多长时间才能得到处理呢？这个时间的长短要取决于搜索引擎来受理你的请求，还要花多长时间来检查你出现过的错误是否还在。因此时间大概在通过你的审查后的6-8个星期，而且最有可能是在各大搜索引擎的大规模更新之后。具有问题严重的网站可能等待的时间要比较长。轻度的问题，这个可能只要2-3周。

另外，如果你有多个网站被禁，那么你最好一次提交一个网站(域名)。

如果你不能发现网站被禁的确切原因，请找一个专业的SEO顾问来帮助分析。在你的请求信中，如果你提及你的网站得到了一个操守良好的SEO公司，搜索引擎会比较相信你的改正结果，加速你的恢复。

结语：如果等了一段时间通过以上方法都不能解决，那么趁早更换网站域名以及空间重新来过，这样至少能为你节省大部分时间来重整旗鼓。

姜文博客：

手机搜索引擎怎么避免被屏蔽

很简单，打开你的搜索引擎打开设置，找到隐私设置，在里面就可以关闭那些推荐的东西了。

无屏蔽搜索引擎的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于哪些搜索引擎不会屏蔽、无屏蔽搜索引擎的信息别忘了在本站进行查找喔。