HTTP架构师通常使用许多复杂的机制将多个子模块组合成一个HTTP服务器。网站云服务器。如今,网络爬虫已经形成了四种基本模式。如果已经编写了生成动态内容的Python代码,并且选择了支持WSGI的API或框架,那么HTTP服务应该如何在线部署?
第一步是运行一个Python编写的服务器,一个web爬虫,在服务器的代码中可以直接调用WSGI接口。最受欢迎的服务器是绿色独角兽(Gunicorn),但也有其他纯Python服务器可以在生产环境中使用。
第二,配置mod_wsgi并运行Apache,在单独的WSFIDaemonProcess中运行Python代码,通过mod_wsgi启动守护进程。
第三步:在后端运行类似Gunicorn的Python HTTP服务器(或者任何支持所选异步框架的服务器),然后在前端运行一个既能返回静态文件,又能反向代理Python编写的动态资源服务的Web服务器。
第四步是在前端运行一个纯反向代理(比如清漆),反向代理后端运行Apache或者nginx,后端运行Python编写的HTTP服务器。这是一个三层架构。这些反向代理可以分布在不同的地理位置,以便最靠近客户端的反向代理上的缓存资源可以返回给发送请求的客户端。
长期以来,这四种架构的选择主要是基于CPPython三个运行时的特点,即解释器占用内存大,解释器运行慢,全局解释器锁(GIL)禁止多个线程同时运行Python字节码。但同时,内存中只能加载一定数量的Python实例。IPIDEA提供HTTP代理、HTTPS代理、Socks5代理等。住宅代理响应迅速,保证了用户信息的安全。有不懂的请咨询梦飞服务器了解。