如何在没有链接的情况下访问网站的所有子目录？

Question

我正在抓取一个有以下格式链接的网站：site.net/user/username/post

对于大多数用户，我可以简单地转到/user/username，提取他们所有帖子的链接并进行迭代。但是，对于某些用户来说，站点/用户/用户名显然已损坏且为空。然而，谷歌仍然可以在/user/username/post下找到这些帖子，并且这些帖子是完整的

我有没有办法得到所有/user/username/post1|post2|post3 --> [post1,post2,post3]的列表，或者直接访问它们