Categories

Tags

网站抓取了一些不存在的目录跟页面?

1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置

 Public @ 2023-02-24 22:36:31

第一个问题：这个插件显示出来是什么样子？

Zac 管理员 提问于 4年 之前插件名称：DW Question & Answer安装日期：2018年10月16日类似Quora、知乎的问答社区。原插件为英文，自己在核心文件中直接汉化。希望插件不要更新太频繁。本问题为测试各项功能、排版等。Zac 管理员 回复于 4年 之前貌似非注册用户不能vote?5 个回答最佳回答Zac 管理员 回答于 4年 之前点赞功能只有注册用户才能使用，这个功

 Public @ 2015-06-23 15:54:08

怎么样的两个页面算相同的页面？

两个页面可以被认为是相同的页面，只要它们具有相同的内容和布局。以下是一些常见的判断依据： 1. URL相同：如果两个页面的URL完全相同，那么它们很可能是相同的页面。 2. 内容相同：如果两个页面的文本、图片、视频等内容完全相同，那么它们可以被认为是相同的页面。 3. 布局相同：如果两个页面的布局（包括导航栏、侧边栏、内容区域等）完全相同，那么它们可以被认为是相同的页面。 4. 功能相同：

 Public @ 2023-07-31 03:50:22

按照百度标题规范白皮书修改被降权了？

翼翼 提问于 3年 之前前两天百度出了一份关于标题的指南，一些符号建议修改，我按照那个修改了，只是动了符号，其他没动，结果快照更新就降权了，这个要怎么处理？4 个回答Zac 管理员 回答于 3年 之前我觉得被降权应该不会是因为按照百度规范修改标题造成的，很可能是标题的文字写得不太好，比如有堆积关键词之类的，因而被降权，时间上只是个巧合。建议检查标题的其它方面，关键词堆积、误导、过长等等。真的觉得没

 Public @ 2013-02-14 16:04:23

更多您感兴趣的搜索

0.422161s