行业动态非实时的静态化

2025-03-11 22:16:44 0

非实时的静态化。智能识别爬虫机器人返回定期更新的缓存页面的非实时静态化SEO 原理。

具体分为：①在项目部署或者在设定的一段时间后，对页面进行后台的获取、遍历，通过配置文件设定的遍历深度开始对首页进行深度的链接获取以及转义，将各个链接对应的页面交给下一步处理，直到所有遍历结束;②对遍历的页面进行SEO 处理，生成或更新静态HTML 缓存放入静态页面池，即配置文件设置的缓存路径，并在遍历结束后及时对无效链接的缓存进行清理;③网络请求首先通过拦截器(SEOFilter)，拦截器根据HTTP 请求的请求头中包含的“User-Agent”等参数判断此请求是否为爬虫机器人的请求，如果不是则返回正常的页面用于AngularJS 内部渲染显示，反之则通过URL 转义查询并返回对应的SEO 缓存页面给爬虫机器人用于抓取关键字。

由于此策略是非实时的，所以它适用于较为稳定且对于搜索引擎的实时性要求不高的网站。例如政府办公网站，它每日更新的内容不多且不会频繁地修改页面内容，则可以每日对服务器的静态页面进行更新，即可满足每日更新搜索引擎词条的需求。