建站百科Website News

当前位置:首页 »robots.txt文件必须使用吗?(放在哪里)

robots.txt文件必须使用吗?(放在哪里)

来源:互联网整理 日期:2019-09-01 12:00:06 访问量:
摘要:robots信息搜索引擎机器人在互联网上每个页面链接到达,抓取网页。有没有当你访问一个网站上的搜索引擎机器人,它会首先检查该网站的根目录下一个名为机器人。robots文本文件必须放置在网站的根目录。在子目录robots.txt文件的搜索引擎无法抓取到,所以不会起到任何作用。如:https://www.lpyun.net/robots.txt 有效https://www.lpyun.net/blog

robots信息搜索引擎机器人在互联网上每个页面链接到达,抓取网页。有没有当你访问一个网站上的搜索引擎机器人,它会首先检查该网站的根目录下一个名为机器人。

robots文本文件必须放置在网站的根目录。

在子目录robots.txt文件的搜索引擎无法抓取到,所以不会起到任何作用。

如:

https://www.lpyun.net/robots.txt 有效

https://www.lpyun.net/blog/robots.txt 无效

如果你无法控制robots.txt,那么你可以通过在一个子目录页面中使用标签阻止被索引的网页。

robots.txt文件必须使用吗?(放在哪里)

robots.txt文件必须使用吗?

从搜索引擎优化的角度来看,robots.txt文件必须设置,因为:

1。网站上经常出现这种情况:不同的链接指向相似的网络内容。这不符合搜索引擎优化的“网页内容各向异性原则”。robots.txt文件可以用来阻止二级链接。

2。所有不符合搜索引擎友好性要求的链接都需要在网站修改或网址重写优化期间被阻止。robots.txt文件删除旧链接符合搜索引擎友好性。

3,有些页面没有关键词,屏蔽效果更好。

4。一般来说,最好在站点中筛选出搜索结果页面。

扫描左侧二维码
关注猎凡微信公众号

上海猎凡网络科技有限公司  Copyright 2016-2019  www.seobr.com  All rights reserved.

Email:245858536@qq.com    邮政编码:710016    沪ICP备16023398号-8

联系地址:上海市嘉定区沪宜公路5358号1层J427室    客服热线:15900558865

上海网站建设、自助建站制作公司-猎凡科技,已为众多企业提供网站建设网站制作响应式自助建站手机网站建设虚拟主机云主机服务器租用等建站解决方案。