"Python网页抓取-动态加载页面"

Question

我正在使用python scrapy框架（接受其他libs的建议）来抓取机票网站，但是当请求页面时，它不会返回全部内容。你知道吗

这个页面有一些POST请求，它们的响应是价格，但是这个查询需要几秒钟，所以我没有得到完整的HTML。你知道吗

查询前页：

<div id="prices">
</div>

查询后的页面：

<div id="prices">
    <div id="price">
        Flight price with info
    </div>
    <div id="price">
        Flight price with info
    </div>
    <div id="price">
        Flight price with info
    </div>
</div>

我不确定是否可以伪造POST请求并获得json响应，因为存在一些API端点保护。你知道吗

当我完全加载时，如何在查询后获得页面？你知道吗