Nginx+Python 怎么搞才好
介绍NGINX和Python如何配合使用
Python以易用，有趣而出名，它让软件开发变得简单，据说运行性能也高于其他脚本语言（PHP最新版本PHP 7的性能好像可以与Python一较高下）
每一个人都希望自己的网站或应用可以运行得更快。但是每一个网站在大流量和流量激增时都容易遇到性能问题，甚至当机，业务繁忙时，这种情况会更加糟糕。其实无论流量是稳定增长，还是陡峭增长，所有网站都面临性能和当机的困扰。
NGINX和NGINX插件的出现就是为了解决这个问题。他们通过三种不同的方式来改善网站性能：
1、web服务 – 最初开发NGINX是为了解决 C10K 问题 – 可以轻松支撑10,000或更多的并发连接。使用NGINX为你的Python应用提供web服务，可以让你的网站运行更快，即便在小流量的情况下也有效果。当你的用户成千上万时，确定无疑，它可以提供更高的性能，更少的崩溃，以及更少的当机时间。你也可以使用NGINX提供静态文件缓存或者微缓存服务，一个独立的NGINX反向代理也是很好的选择（见下一段）。
2、反向代理– 你可以在应用服务的前端用NGINX做反向代理。NGINX接收Web请求并分发到你的应用服务。这个“怪招”可以让你的网站运行得更快，减少当机，消费更少的服务资源，而且可以提高安全性。你也可以在反向代理服务器上缓存静态资源（非常高效），添加静态内容的微缓存，以减少应用自身的负载，等等。
3、为多个应用服务提供动态均衡 – 通过布署反向代理服务。通过多应用服务并行运行和NGINX或者NGINX插件来做流量负载均衡。通过这种布署，根据流量需要，增长稳定性和运行时间需要，你可以很轻松地在线扩展网站性能。如果你需要让给定用户的会话在同一个服务上，你只需要配置负载均衡以支持会话持久化。
不管是为你的Python应用提供网站服务，还是做反向代理服务，还是做负载均衡，或者三者都用，NGINX和NGINX插件都会给你带来优势。
这是本系列（由两部分组成）中的第一篇文章，将会介绍五个提升Python应用性能的技巧，包括如何使用NGINX或NGINX插件提供web服务，如何实现静态文件的缓存，如何为动态内容做微缓存。在第二部分，我们将介绍如果用NGINX或NGINX插件提供反向代理服务，以及如何为多个应用服务提供负载均衡。
技巧 1– 定位Python性能瓶颈
有两种截然不同的情况会让你的Python应用遇到性能问题– 第一，每天有海量用户；第二，高负载。大部分网站长都不需要担心性能问题，因为他们的负载很小，根据我们的拙见，他们应该努力降低响应时间。将响应时间控制在毫秒级是一个非常困难且不被关注的工作。但可以让我们的用户体验更好，业绩更优秀。
但是这篇博文和剩下的第二部分，将关注每个人都确实关注的场景：当网站繁忙时可能会出现的性能问题，如性能大幅下降和当机。还有黑客模拟大量用户攻击造成的流量激增，同时提高网站性能也是处理攻击的重要步骤。
像Apache HTTP Server这样的系统会为每个用户分配一定数量的内存，随着用户的不断增加，物理内存不堪重负。服务器开始使用磁盘的交换分区，性能直线下降，性能问题和当机接踵而至。这篇博文中所介绍的迁移到NGINX，有助于解决这一问题。
Python特别容易出现内存相关的性能问题，因为与其他脚本语言相比，Python通常是使用更多的内存来执行任务（所以执行速度快）。所以在相同条件下，与用其他语言写的应用相比，你的Python应用更容易在少量用户的情况下而“绊倒”。
优化你的应用对解决问题会有所帮助，但要解决流量相关的性能问题，这通常不是最好最快的方式。这篇博文及剩下的第二部分，将介绍一种最好并且最快的方式。在实施这些措施之后，再采取一切方法优化你的应用，或者使用微服务架构重写。
技巧 2 – 选择单服务或者微服务布署
小网站在单个服务器上就可以运行得很好。大的网站需要多个服务器。但如果你处于中间地带–或者你的网站从一个小网站变成一个大网站– 你可以做一些有趣的选择。
如果你使用单机布署，大流量和浏览激增会给你带来很大的风险。你的扩展手段非常有限，无外乎优化你的应用，把web服务切换到NGINX,使用一个更大更快的服务器，或者使用内容分发网络（CDN）。所有这些可选项的实施都耗时耗钱，而且在实施过程中还有引入bug的风险。
另外一个很显然的风险是单机布署存在单点故障问题 – 很多问题可以导致你的站点挂掉，而且没有快速简单的解决方案。
使用NGINX做为应用的代理服务
如果你把服务切换成NGINX并且使用单机布署，你可以自由地选择使用开源的NGINX或者NGINX插件。NGINX包括企业级支持和一些扩展功能。像实时活动监测这样的扩展功能是支持单机布署的。如果做为反向代理，采用分布式布署，你可以使用其他NGINX插件，如负载均衡和会话持久化。
有很多事情都要考虑周详，除非你确定你的网站在未来很长时间内都是一个小网站，不需要关心当机问题，否则，你要明白，单机布署存在很多风险。分布式布署比较易于扩展 – 单点故障可以通过工程解决，性能可以按需调整，可以快速扩充服务器能力。
技巧 3 – 使用NGINX替换你的Web服务
在Web时代的早期，Apache就是web服务的同义词。但NGINX自2000年出现以来，迅速流行开来；现在已经是排名第一的web服务，被1,000, 10,000多个网站和世界上最繁忙的100,000多个网站使用。
NGINX最初是为了解决C10K问题而开发 – 在给定内存预算下支持10,000+并发。其他web服务需要为每个连接分配内存块，所以他们会耗尽物理内存，当数以千记的用户在同一时间访问一个网站，它会变慢甚至崩溃。NGINX处理器可以单独处理一个请求，也可以优雅地扩展，同时处理多个用户。（这可以很好地解决额外问题，后面会详述。）
一个高层NGINX架构图如下所示。
NGINX 架构, 选自开源应用架构第二卷
在上图，一个Python应用服务被布署在后端的应用服务块中，如图所示，它通过FastCGI被访问。NGINX不“知道”怎么运行Python,所以它需要一个网关连结需要的环境。FastCGI是一个被PHP，Pyhton和其他语言广泛使用的接口。
但是，连结Python和NGINX的流行方案是网络服务网关接口(WSGI)。WSGI工作在多线程和多进程环境下，所以他兼容本文所提到的所有布署选项。
如果你将web服务迁移到NGINX，这里有一些有用的软件：
Configuring gunicorn – “Green Unicorn”是一个流行的WSGI服务，配合NGINX使用。
Configuring uWSGI – 另一个流行的WSGI服务,配合NGINX使用. uWSGI包含NGINX指令支持。
Using uWSGI, NGINX, and Django – 一个流行的Python web框架。
下面的代码片断将向你展示如何配置NGINX和uWSGI – 这个案例中的工程使用Python框架Django。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
http
{
...
upstream
django {
server
127.0.0.1:29000;
}
server
{
listen
80;
server_name
myapp.example.com;
root
/var/www/myapp/html;
location
/ {
index
index.html;
}
location
/static/
{
alias
/var/django/projects/myapp/static/;
}
location
/main {
include
/etc/nginx/uwsgi_params;
uwsgi_pass
django;
uwsgi_param
Host $host;
uwsgi_param
X-Real-IP $remote_addr;
uwsgi_param
X-Forwarded-For $proxy_add_x_forwarded_for;
uwsgi_param
X-Forwarded-Proto $http_x_forwarded_proto;
}
}
}
技巧 4 – 实现静态文件缓存
缓存静态内容包括：为不经常变更的文件保存副本 – 不经常是指数小时或者永远 – 副本保存在其他位置而不是应用服务中。典型的静态内容是网页中经常用到的JPEG图片。
缓存静态文件是提升应用性能的常用手段，经常被用到：
1、用户浏览器
2、互联网提供商 – 从公司网络到互联网提供商(ISP)
3、web服务, 也就是本文所讲的
在web服务端实现静态文件缓存有两个好处：
1、为用户提供快速服务 – NGINX 专门为静态文件缓存做过优化，对静态内容请求的处理比应用服务要快。
2、减少应用服务负载– 应用服务不需要处理已经缓存的静态文件，已经由web服务接管。
缓存静态文件在单服务器上也可以很好的实现，但底层硬件资源仍然是由web服务和应用服务所共享。如果web服务要处理频率的静态文件访问 – 甚至是海量 – 应用服务可以使用的硬件资源就会变少，一些功能可能就会变慢。
如果要支持浏览器缓存，需要正确设置静态文件的头部信息。如HTTPCache Control（特别是它的max age设置），Expires，和Entity标记。如果想深入了解，参见NGINX Plus的管理员指南：使用NGINX为uWSGI和Django提供应用网关
下面的NGINX配置代码用来缓存静态文件，包括JPEG文件，GIF文件，PNG文件，MP4文件，Powerpoint文件，和一些其他文件，请把替换成你自己的网址。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
server
{
#
substitute your web server's URL for
""
server_name
;
root
/var/www/example.com/htdocs;
index
index.php;
access_log
/var/log/nginx/example.com.access.log;
error_log
/var/log/nginx/example.com.error.log;
location
/ {
try_files
$uri $uri/ /index.php?$args;
}
location
~ \.php$ {
try_files
$uri =404;
include
fastcgi_params;
#
substitute the socket, or address and port, of your Python server
fastcgi_pass
unix:/var/run/php5-fpm.sock;
#fastcgi_pass
127.0.0.1:9000;
}
location
~* .(ogg|ogv|svg|svgz|eot|otf|woff|mp4|ttf|css|rss|atom|js|jpg
|jpeg|gif|png|ico|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|tar|mid
|midi|wav|bmp|rtf)$
{
expires
max;
log_not_found
off;
access_log
off;
}
}
技巧 5 – 实现微服务
微缓存可以很明显的大幅提升Python， PHP和一些其他语言开发的应用服务性能，根据是否适合缓存，可以把网页分成三类：
静态文件 – 这类文件适合缓存，见技巧4所述。
动态，非个性化页面 – 因为它们需要刷新，这些文件通常不适合做缓存。例如未登录前的电商用户所看到的页面（见下一点） – 可用商品和推荐相似商品经常要发生改变，所以必须生成新页面。但是，如果有另外一个用户，在10毫秒之后发送同样请求，将前一用户看到的网页缓存并发送给后一用户就变得合情合理。
动态，个性化页面 –这些不适合缓存，因为它们是针对具体用户的，同一个用户不希望两次看到同一个个性化页面。例如一个电商用户登录后的页面不应该展示给另外一个用户。
静态文件和非个化性动态内容可以缓存
微缓存适用于上面提到的第二类页面–动态，非个性化页面。“微”是指很短的时间。如果你的网站在一秒内要多次生成同一个页面，如果你把这个页面只缓存一秒，并不影响该页面的刷新。但这个短暂的缓存可以极大的降低应用服务的负载，特别是流量较大时。将原来在一个缓存区间内，同一内容生成10，或者20，甚至100次，调整为只生成一次并缓存，为其他用户提供缓存内容。
这个效果是很神奇的。一个服务如果一秒钟要处理大量请求会变得很慢，但如果只处理一个请求，就会变得很快。（包括任何个性化页面）。我们自己的Owen Garrett有一篇博客对微服务的优势做了详情介绍，里面还有配置代码。主要要修改的地方是把代理缓存过期时间设为一秒，只需要几行配置代码就可以搞定。
1
2
3
4
5
6
proxy_cache_path
/tmp/cache keys_zone=cache:10m levels=1:2
inactive=600s max_size=100m;
server
{
proxy_cache
cache;
proxy_cache_valid
200
1s;
...
}
更多配置样例，参见Tyler Hicks Wright关于Python和uWSGI如何使用NGINX的博客。
总结
在第一部分，我们回顾了一下在单机环境下提高Python应用性能的解决方案，还有缓存的使用，在单机情况下缓存可以应用于反向代理服务器或者独立缓存服务（缓存比独立服务性能更好）。在下一部分，我们将会介绍分布式环境下的性能提升方案。
如果你想在应用中使用更多的NGINX Plus特性，如实时事件监测，在线修改配置，你可以马上开通30天免费试用，或者联系我们，可以获得一个真实例子。
python网络爬虫可以干啥
《Python3爬虫入门到精通课程视频【附软件与资料】【34课时】--崔庆才》百度网盘资源免费下载
链接:
?pwd=zxcv 提取码:zxcv
Python3爬虫入门到精通课程视频【附软件与资料】【34课时】--崔庆才|章节5： 分布式篇|章节4： 框架篇|章节3： 实战篇|章节2： 基础篇|章节1： 环境配置|Python3爬虫课程资料代码.zip|2018-Python3网络爬虫开发实战-崔庆才.pdf|课时06：Python爬虫常用库的安装.zip|课时05：Python多版本共存配置.zip|课时04：MySQL的安装.zip|课时03：Redis环境配置.zip|课时02：MongoDB环境配置.zip|课时01：Python3+Pip环境配置.zip|课时13：Selenium详解.zip
python urllib2进行网页源代码扒取时，出现urllib2.HTTPError: HTTP Error 250: Forbidden问题
HTTP请求的Headers包含浏览器的信息、所使用的语言、请求的主机、COOKIE等信息。
其中最重要的两项是浏览器的信息User-Agent，如果请求中没有User-Agent，网站会认为不是人在浏览器的请求，是恶意攻击
对于需要登录的网站，请求中往往需要COOKIE来验证用户，来获取打开某些网站的权限。
使用firefox浏览器的开发者工具箱网络选项，可以很容易获取User-Agent等头信息
一个简单的例子，如何在请求中加入headers
headers = {"User-Agent": "Mozilla/5.0 Firefox/35.0",
"Cookie": "BDUSS=AAAAAAAAAAAAAAAAAAAAAAAA",}
request = urllib2.Request(url, postData, headers=headers)
response = urllib2.urlopen(request)
为什么都说爬虫PYTHON好
选择Python作为实现爬虫的语言，其主要考虑因素在于：
(1) 抓取网页本身的接口
相比其他动态脚本语言(如Perl、Shell)，Python的urllib2包提供了较为完整的访问网页文档的API;相比与其他静态编程语言(如Java、C#、C++)，Python抓取网页文档的接口更简洁。
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这时我们需要模拟User Agent的行为构造合适的请求，譬如模拟用户登录、模拟Session/Cookie的存储和设置。在Python里都有非常优秀的第三方包帮你搞定，如Requests或Mechanize。
(2) 网页抓取后的处理
抓取的网页通常需要处理，比如过滤Html标签，提取文本等。Python的Beautiful Soup提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用Python能够干得最快、最干净，正如这句“Life is short，you need Python”。
(3) 开发效率高
因为爬虫的具体代码根据网站不同而修改的，而Python这种灵活的脚本语言特别适合这种任务。
(4) 上手快
网络上Python的教学资源很多，便于大家学习，出现问题也很容易找到相关资料。另外，Python还有强大的成熟爬虫框架的支持，比如Scrapy。
有哪些 Python 经典书籍
《深度学习入门》（[ 日］ 斋藤康毅）电子书网盘下载免费在线阅读
资源链接：
链接:
?pwd=bhct 提取码: bhct
书名：深度学习入门
作者：[ 日］ 斋藤康毅
译者：陆宇杰
豆瓣评分：9.4
出版社：人民邮电出版社
出版年份：2018-7
页数：285
内容简介：本书是深度学习真正意义上的入门书，深入浅出地剖析了深度学习的原理和相关技术。书中使用Python3，尽量不依赖外部库或工具，从基本的数学知识出发，带领读者从零创建一个经典的深度学习网络，使读者在此过程中逐步理解深度学习。书中不仅介绍了深度学习和神经网络的概念、特征等基础知识，对误差反向传播法、卷积神经网络等也有深入讲解，此外还介绍了深度学习相关的实用技巧，自动驾驶、图像生成、强化学习等方面的应用，以及为什么加深层可以提高识别精度等“为什么”的问题。
作者简介：
斋藤康毅
东京工业大学毕业，并完成东京大学研究生院课程。现从事计算机视觉与机器学习相关的研究和开发工作。是Introducing Python、Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版译者。
译者简介：
陆宇杰
众安科技NLP算法工程师。主要研究方向为自然语言处理及其应用，对图像识别、机器学习、深度学习等领域有密切关注。Python爱好者。
python能爬国外的网站吗
不能。爬网站属于爬墙，是计算机中的专业语言，是一种违法行为，因此python不能爬国外的网站。Python是一种跨平台的计算机程序设计语言，是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
0条大神的评论