robot 禁止抓取图片
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
问：当内容里出现AAB这样的关键词时，锚文本是给AAB、还是AA或AB?我们设置的规则是给AAB，即当长词和短词都是关键词时，锚文本给长词。问：同一个关键词在内容里出现多次会怎么样？一个内容里同一个关键词锚文本仅加第一次，同一个URL也只做一次锚文本。问：如果自动添加的锚文本不满意怎么办？在功能设置里，可以选择自动添加锚文本，或手动添加。问：定时发布的内容锚文本是怎么安排？内容选择定时发布、草稿箱
请在 Sitemap 中只列出一种格式的网址。包含多种格式的网址可能会导致抓取工具无法完整地抓取网站。
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
360搜索支持Robots协议的主要命令，以下为具体说明：1. user-agent360搜索各产品的爬虫user-agent为：- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。
