Categories


Tags


360搜索对Robots协议的支持

360搜索支持Robots协议的主要命令,以下为具体说明:

1. user-agent

360搜索各产品的爬虫user-agent为:

- 网页搜索 360Spider

- 图片搜索 360Spider-Image

- 视频搜索 360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。


Public @ 2019-06-30 16:09:34

nofollow标签的作用有重大变化

几个小时前,Google官方博客发了个帖子:Evolving “nofollow” – new ways to identify the nature of links (演变中的nofollow – 判断链接性质的新方法),公布从今天开始,nofollow标签的作用和Google处理nofollow的方法有了重大变化。nofollow标签的历史经典的nofollow标签作用和使用方法以前的帖子写

Public @ 2020-07-01 16:08:47

网站导航如何SEO优化?

要对网站导航进行SEO优化,可以考虑以下几个方面: 1. 网站导航结构优化:确保网站导航的结构清晰简洁,方便用户使用,同时也方便搜索引擎爬取和索引。 2. 关键词优化:在网站导航中使用相关的关键词,这有助于搜索引擎了解网站的主题和内容。 3. 内部链接优化:在网站导航中添加适当的内部链接,可以帮助用户和搜索引擎更好地浏览和索引网站的不同页面。 4. 用户体验优化:要确保网站导航友好易用,提

Public @ 2023-08-01 06:50:23

robots使用技巧

1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下,因此在ro

Public @ 2009-05-16 16:09:17

更多您感兴趣的搜索

0.447139s