robot 禁止抓取图片
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
| sitemap是什么？● 网站地图/链接集合，把网站所有的URL放在一个文件内，方便搜索引擎爬取到。| 如何制作sitemap？● 小型网站采用txt格式的sitemap● 大中型网站采用xml格式的sitemap● 工具：老虎sitemap| 制作sitemap注意事项1. 文件格式为TXT或xml，普通企业官网TXT即可，大型网站可使用xml；2. 按时间倒序排列；3. 每周更新，最好每天
不一定。在XML格式中，“priority”标签可以用于指定网页的权重或重要性，但具体影响结果排名的因素还有很多其他因素，如关键词匹配度、网页内容质量、链接质量等。因此，“priority”标签只是其中的一个因素，不一定会对结果排名产生直接影响。
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。对于Google来说，使用robots也未必能阻止Google将网址编入索
