恭喜楼主。不容易啊

@registerrr 哦！很有道理！谢谢！

@putaozhenhaochi 可能 qb 是 qqbot 的缩写吧 😂

@terranboy 我看它的 Crawled page 记录里显示的 html 是有把我特地给它准备的文章页和翻页隐藏超链接都渲染出来的，而且它确实有跟着这些超链接去爬我的文章页。所以我目前还没做 SSR 。之后研究下考虑弄一下 SSR 。
但是主要是它这个莫名其妙去穷举我没给过的页码的行为，太浪费时间了……

@qqjt
@Charrlles
谷歌是判定我的这些页面为软 404 （ Duplicate without user-selected canonical ）的。但是我纠结的地方在于，它浪费太多时间在穷举我的这些页码上面了。而我每页的内容，就是那些文章链接什么的，它只爬了很小一部分。而且它这个穷举目前根本没有停下来的意思。
目前，正经内容它只爬了 800 页左右，而这些穷举的 404 页面它爬了 5000 页了。而且我不知道它这样是在干嘛，如果爬完 10000 以内的页面，它是不是还回去爬大于 10000 的页面？因为谷歌对每个网站的爬取是有每日频次限制的，它这样浪费时间穷举，以前一个月就可以索引完整个网站，现在都过去半个月了，正经的内容才 800 页。整个网站爬完估计要花一年时间……

@westoy 但是谷歌的 search console 上是显示是它自己爬的。它现在已经穷举了 5000 多页了。爬取结果都是 Duplicate without user-selected canonical 。然后最神奇最离谱的地方在于，理论上来说它应该告诉我它是从哪里知道我这个网址所以才来爬的。但是这些页面的 Referring page 全部都是页面自己。比如 ?page=10000 的 Referring page 就是 ?page=10000 ，一模一样一字不差。
我从来没见过这么离谱的事情……如果不是因为这个 Referring page 全部都是页面自己，我还真不会怀疑到谷歌的爬虫逻辑上……

@lichao 做了呀。这个肯定是做了。但是它有自己的想法。

@sphawkcn 谢谢回复。那我还是放点广告上去试试吧 😥

@jenlors 是啊我这个也是 75%流量来自移动端。电脑只有 20%。但是我有做移动端适配，所以其实影响不大吧。
之前 fackbook 火起来的时候他们那个社区功能确实对我这种网站打击还挺大的。但是现在 fackbook 已经凉了。
现在火的那些 ins ，tictok 反而对我这种付费订阅的没有什么影响。
感觉好像就今年突然一瞬间大家都变穷了不愿意付费了？

@sphawkcn 抱歉啊因为是那种抓住细分需求新市场的聚合网站，本身没有技术壁垒，所以暂时不能放出来。我本身也是拿自己之前其他几个网站演进下来的框架套了一下就发布了。所以其实就是属于早期靠信息差后期靠用户累积和社区孵化的那种小众网站。
但从付费用户反馈来看是和前几个网站的效果差不多的。而且付费用户也愿意帮我在他们的社群做推广。但转化率已经大不如三年前的网站那么好看了。所以想问下有没有做付费订阅网站的同行也遇到这个状况。是不是现在不放广告就没有活路了。

楼主可以看下之前讨论的结果： https://www.v2ex.com/t/553344

我就说这帖子既视感怎么这么强：/t/553344

@shieppp 你要么教全套，要么别撺掇人家犯罪。干坏不留下证据没那么简单的，要是产生事故被抓到恶性行为把柄即使离职都是会被追究法律责任的。楼主是前端，想干坏不留痕迹怕是很难。埋雷这种操作也只有后端和运维能干了。

真正的匿名网站你们 Google 都搜不到的。搜得到的你还想匿名？