蜘蛛爬行相当于遍历Web的有向图。一个简单而结构良好的网站 是它喜欢的,并试图确保蜘蛛的可读性。
(1)树结构的更佳 结构是“主页 - 频道 - 详细信息页面”;
(2)平面主页到详细页面的级别尽可能小,既友好又好。
(3)网格保证每个页面至少有一个文本链接指向,可以使网站尽可能全面捕获,内链结构也可以对排序产生积极影响。
(4)导航为每个页面添加导航以方便用户知道路径。
(5)子域名和目录选择我认为有大量网站管理员对此表示怀疑。我们认为,当内容较小且内容相关性较高时,建议以目录的形式实现,这有利于权重的继承和收敛。当内容很大并且与主站的相关性稍差时,建议以子域的形式实现它。
2,简洁美观的网址规则
(1) 网站中的相同内容页面仅对应于 的URL。过多形式的网址会分散网页的重量,目标网址可能会在系统中被过滤;
(2)尽可能减少动态参数,确保网址尽可能短;
(3)美观使用户和机器能够通过URL确定页面内容的主题;
我们建议使用以下形式的url:url尽可能短且易于阅读,以便用户可以快速理解,例如,使用拼音作为目录名称;系统中相同的内容只产生一个与之对应的 url,删除无意义的参数;如果网址无法保证 性,请尝试将不同形式的url301设为目标网址;防止用户将错误的备用域名301输入主域名。
3,其他注意事项
(1)不要忽视不幸的机器人文件。默认情况下,某些系统漫游器会被搜索引擎阻止。创建网站后,您可以及时查看和编写相应的机器人文件。在网站的日常维护期间,您还应注意定期检查。
(2)建立站点地图文件和死链接文件,并通过网站管理员平台及时提交;
(3)一些电子商务网站存在地理跳跃问题。建议货物缺货并统一为一页。如果页面中没有商品,由于蜘蛛出口有网站建设上海限,如果此区域没网站建设上海有商品,请不要返回无效页面。性别将导致正常页面不公开。
(4)合理使用网站管理员平台提供的机器人,站点地图,索引,爬行压力,死链提交和网站修订等工具。