Categories


Tags


robots里这样写,就能避免蜘蛛爬这个“index.htm”这个首页?

我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?

User-agent: *

Disallow: /index.htm

11-30.

我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查

我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。

写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。

当然,如果只是应付备案短暂需求,,就只能这样处理。

后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。

来源:搜外网


Public @ 2019-12-16 16:09:25

企业商家怎么做百度地图标注、优化排名、推广引流和营销?【实操方法】

要在百度地图上标注企业商家,优化排名,推广引流和营销,可以采取以下实操方法: 1. 完善企业商家信息:在百度地图商家平台注册并填写完整的企业商家信息,包括企业名称、地址、电话、营业时间等。 2. 添加关键词标签:在企业商家信息中添加与企业相关的关键词标签,可以帮助提升在百度地图的搜索排名。 3. 地图标注:使用百度地图商家平台提供的标注工具,在地图上准确标注企业的实际位置。可以通过该标注提供

Public @ 2023-07-21 21:50:32

新网站怎么让百度快一点收录?

以下是增加新网站收录速度的几个方法: 1. 提交网站地图:创建并提交一个网站地图到百度站长工具,这可以帮助百度更快地了解您的网站结构和内容。 2. 增加质量高的外链:获取来自其他高质量网站的链接会提高您的网站的信誉和可信度,这有助于引起百度爬虫的注意。 3. 发布高质量的内容:百度爬虫偏爱原创、高质量、实用的内容,因此请确保您的网站上的内容能够满足这些要求。 4. 频繁更新网站:百度爬虫更

Public @ 2023-06-05 11:00:20

阻止个人信息在搜索引擎中出现

个人信息一旦在网上发布,很有可能会被百度搜索引擎抓取,特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中,以下方式可以帮助您阻止个人信息在搜索结果中出现。如果您是在其他网站上发布的内容:1、在社交网站中(例如人人网,开心网等),您可以针对个人信息设置浏览权限,例如只有朋友或者自己可以浏览;如果您不愿让陌生人看到某些照片或信息,则应该慎重考虑是否公开发布这些内

Public @ 2016-01-12 16:08:57

百度站长平台robots工具升级公告

亲爱的网站管理员,很高兴的告诉大家,百度站长平台robots工具全新升级,升级后能够实时查看网站在百度中已生效的的robots文件,并支持对robots进行语法及逻辑校验,有助于站长更清晰的管理网站的robots文件,避免错误的封禁搜索引擎。功能亮点:1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新:升级后的robots能够查看网站已生效的robots文件,同时会展现网站最新的

Public @ 2016-06-12 16:09:01

更多您感兴趣的搜索

0.108356s