在 google search console 查看数据发现,我的网站花野猫的数字花园,最近收录的数量一直在降。
查看未索引的网站列表,试图提交任何页面时,总是连 live test 都不成功,提示 Page cannot be indexed: Not available due to a site-wide issue
查看具体原因是 Page fetch Failed: Robots.txt unreachable 。有的地方是中文提示:抓取错误: Robots.txt 无法访问
我有几个疑问:可是正常就算没有 robots.txt ,也应该爬取的呀。。。
https://search.google.com/test/rich-results?url=https%3A%2F%2Fhuayemao.run%2F
又在 settings 里面看 robots.txt 的状态,和 host 的健康状态。
发现4月18号就不行了。
nginx access.log 里面查不到谷歌的请求。
服务部署在阿里云上,没有使用WAF,就只用了一台裸的 ECS,在阿里云提工单,工程师也没法解决。我怀疑是海外 ip 访问被屏蔽。用的阿里云网站运维检测平台 这个工具查到海外服务器也是能正常请求到的。
我是触犯了什么天条吗?我该怎么办?

