正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史记录

« 前一个 版本 6 当前 »

目的

实现对Linux下WEB服务器Nginx的编译、安装及配置，为Linux下Nginx运维提供技术参考。

nginx简介

Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。

参考资源

http://tengine.taobao.org/documentation_cn.html

Tengine设置及编译

前期准备

参考0007-CentOS7/8 系统安装标准配置初始环境

yum -y install gcc gcc-c++ autoconf libjpeglibjpeg-devel libpng libpng-devel freetype freetype-devel \
libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel {color} bzip2 bzip2-devel \
ncursesncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5  krb5-devel libidnlibidn-devel \
openssl openssl-devel make patch pcre-devel
cd /root
wget http://tengine.taobao.org/download/tengine-1.5.2.tar.gz
tar zxvf tengine-1.5.2.tar.gz

编译Tengine

因为Tengine是开源项目，因此也可以用以下的方式获取它的最新源码，如下所示。

yum install git pcre pcre-devel
git clone git://github.com/alibaba/tengine.git
cd tengine
./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf \ 
--pid-path=/var/run/nginx/nginx.pid --error-log-path=/var/log/nginx/nginx.log \ 
--http-log-path=/var/log/nginx/nginx-http.log
make
make install

设置Tengine应用环境

编译安装后系统会安编译参数生成相应的配置文件，可以使用以下的vim配置脚本实现编辑nginx.conf配置文件的语法加亮功能。

wget http://www.vim.org/scripts/download_script.php?src_id=19394
mkdir -p ~/.vim/syntax/
cp nginx.vim ./.vim/syntax/
vi .vim/syntax/filetype.vim
au BufRead,BufNewFile /etc/nginx/,/usr/local/nginx/conf/ if &ft == '' | setfiletype nginx | endif

设置完成后可以通过nginx –v或 –V查看它的版本以及加载的模块。

 添加nginx启动脚本

正常编译方式下nginx没有启动脚本，可通过添加以下启动文件将其列为系统启动服务。

vim /etc/init.d/nginx
chmod +x /etc/init.d/nginx
chkconfig –-add nginx
chkcnfig –-level 35 nginx on 


#!/bin/sh
# nginx - this script starts and stops the nginx daemin#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# pidfile: /var/run/nginx/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
lockfile=/var/lock/subsys/nginx
start() {
  [ -x $nginx ] || exit 5
  [ -f $NGINX_CONF_FILE ] || exit 6
  echo -n $"Starting $prog: "
  daemon $nginx -c $NGINX_CONF_FILE
  retval=$?
  echo
  [ $retval -eq 0 ] && touch $lockfile
  return $retval
}
stop() {
  echo -n $"Stopping $prog: "
  killproc $prog -QUIT
  retval=$?
  echo
  [ $retval -eq 0 ] && rm -f $lockfile
  return $retval
}
restart() {
  configtest || return $?
  stop
  start
}
reload() {
  configtest || return $?
  echo -n $"Reloading $prog: "
  killproc $nginx -HUP
  RETVAL=$?
  echo
}
force_reload() {
  restart
}
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
  status $prog
}

rh_status_q() {
  rh_status >/dev/null 2>&1
}

case "$1" in
start)
  rh_status_q && exit 0
  $1
;;
stop)
  rh_status_q || exit 0 
  $1
;;
restart|configtest)
  $1
  ;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac

php支持

nginx可以通过php-fpm增加php支持。默认情况下，CentOS的官方资源是没有php-fpm的, 但我们可以从Remi的RPM资源中获得，它依赖于EPEL资源。

安装php-fpm

yum install php-fpm
chkconfig --level 345 php-fpm on 
service php-fpm start

设置nginx（Fastcgi）

首先增加php支持，如下图所示。
然后在后续php项目中完成以下设置。

location ~ \.php$ {
root /var/www/html;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;

测试php

在document root目录下建立下列PHP测试文件。

vim /var/www/html/info.php

打开测试文件所在的文件，成功的情况如下图所示。

升级php

yum --enablerepo=remi,remi-php71 install php-fpm php-common
yum --enablerepo=remi,remi-php71 install php-opcache php-pecl-apcu php-cli php-pear php-pdo \
php-mysqlnd php-pgsql php-pecl-mongodb php-pecl-redis php-pecl-memcache php-pecl-memcached php-gd php-mbstring php-mcrypt php-xml

php支持（PHP-CGI）

location ~ \.php { 
  try_files $uri =404;
  fastcgi_split_path_info ^(.\.php)(/.)$;
  include fastcgi_params;
  fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
  fastcgi_param SCRIPT_NAME $fastcgi_script_name;
  fastcgi_index index.php;
  fastcgi_pass 127.0.0.1:9004;
}
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|flv|ico)$ { 
  expires 30d;
  access_log off;
}
location ~ .*\.(js|css)?$ { 
  expires 7d;
  access_log off;
}

在主机上运行fastcgi

php-cgi -b 127.0.0.1:9004

java支持

nginx可以通过tomcat增加jsp支持。默认情况下，CentOS可能已经安装java运行库JDK（http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html），可以通过下面的方式将其升级为最新版本。

安装jdk

先按上面的地址下载新版本的JDK文件，要注意查看系统对应的版本（区分32位和64位）然后输入以下指令进行安装配置，如下所示：

tar zxvf jdk-7u45-linux-x64.tar.gz
mv /root/jdk1.7.0_45/ /usr/local/jdk
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib


update-alternatives --install /usr/bin/java java /usr/local/jdk/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/local/jdk/bin/javac 300
update-alternatives --config java
update-alternatives --config javac


java –version

安装tomcat

从以下的地址下载tomcat组件（http://tomcat.apache.org/download-70.cgi），选择core版本就可以了。

wget http://apache.dataguru.cn/tomcat/tomcat-7/v7.0.47/bin/apache-tomcat-7.0.47.tar.gz
tar zxvf apache-tomcat-7.0.47.tar.gz
mv apache-tomcat-7.0.47 /usr/local/tomcat
/usr/local/tomcat/bin/startup.sh
ps aux |grep tomcat
netstat –tlnp
vim /usr/local/tomcat/conf/server.xml
<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />
<Host name="localhost" appBase="/var/www/html"
unpackWARs="true" autoDeploy="true">

#根目录，页面文件要放在/var/www/html/ROOT下面

mkdir /var/www/html/ROOT
vim /var/www/html/ROOT/index.jsp

Hello,tomcat home!

vim /usr/local/tomcat/conf/web.xml

设置nginx

可以通过代理转发的方式实现和tomcat的整合，通过设定只要扩展名为.jsp的请求就转发至8080的tomcat进行处理。

vim /etc/nginx/proxy.conf
proxy_redirect          off; 
proxy_set_header        Host $host; 
proxy_set_header        X-Real-IP $remote_addr; #获取真实IP#
proxy_set_header       X-Forwarded-For   $proxy_add_x_forwarded_for; #获取代理者的真实ip 
client_max_body_size    10m; 
client_body_buffer_size 128k; 
proxy_connect_timeout   90; 
proxy_send_timeout      90; 
proxy_read_timeout      90; 
proxy_buffer_size       4k; 
proxy_buffers           4 32k; 
proxy_busy_buffers_size 64k; 
proxy_temp_file_write_size 64k;
vim /etc/nginx/nginx.conf
location ~ *.jsp$ {
root ./ROOT;
index index.jsp;
proxy_pass http://127.0.0.1:8080;
}

测试

先重启tcomcat和nginx并新建html测试文件，如下所示。

vim /var/www/html/index.html
the port:80
kill `ps aux |grep tomcat |awk '/\[0-9\]/\{print $2\}' | head -n1`
/usr/local/tomcat/bin/startup.sh
service nginx restart

访问者地理信息记录

Nginx可以通过配置使用http_geoip_module模块来记录、使用访问者的信息，或是根据这些信息有选择的提供服务。

配置地理数据文件

wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz
tar zxvf GeoIP.tar.gz
cd GeoIP-1.4.8/
./configure
make
make install

如果在编译时出现"Libtool library used but `LIBTOOL' is undefined"的错误提示，这是因为 libGeoIP 自带了一个很旧的 ltmain.sh，这个文件导致成的 libtool 也很旧，这个 libtool 忽略了在 link 时调用它时传给它的 -arch 参数，导致生成的 .dylib 不是 UB 的，从而导致最后的 link 失败。解决方法如下：

yum install libtool
aclocal
libtoolize –force

http_geoip_module模块会创建一些ngx_http_geoip_module变量，这些编码是基于客户端IP的，它会与MaxMind GeoIP文件进行匹配查询。默认情况下这些文件需要另外下载安装。

wget http://geolite.maxminx.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
gzip -d GeoIP.dat.gz
gzip -d GeoLiteCity.dat.gz
mkdir /usr/local/nginx/geoip
mv /root/*.dat ./

配置nginx模块

Nginx的默认安装并不包括http_geoip_module模块，需要在安装nginx时指定—with-http-geoip_module选项。下图是未加载该模块的情况：

可以通下以下的指令新增模块，和全新安装nginx的方式相比，不需要执行make install只需在make成功后将nginx执行文件复制到原始的安装路径下就可以了。成功后的结果如下图所示：

./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --pid-path=/var/run/nginx/nginx.pid \
 --error-log-path=/var/log/nginx/nginx.log --http-log-path=/var/log/nginx/nginx-http.log --with-http_geoip_module
make
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.orig
cp /root/tengine/obj/nginx /usr/local/nginx/sbin/


vim /etc/nginx/nginx.conf
geoip_country /usr/local/nginx/geoip/GeoIP.dat;
geoip_city /usr/local/nginx/geoip/GeoLiteCity.dat;


fastcgi_param GEOIP_COUNTRY_CODE3 $geoip_country_code3;
fastcgi_param GEOIP_COUNTRY_NAME $geoip_country_name;
fastcgi_param GEOIP_CITY_COUNTRY_CODE $geoip_city_country_code;
fastcgi_param GEOIP_CITY_COUNTRY_CODE3 $geoip_city_country_code3;
fastcgi_param GEOIP_CITY_COUNTRY_NAME $geoip_city_country_name;
fastcgi_param GEOIP_REGION $geoip_region;
fastcgi_param GEOIP_CITY $geoip_city;
fastcgi_param GEOIP_POSTAL_CODE $geoip_city_continent_code;
fastcgi_param GEOIP_LATITUDE $geoip_latitude;
fastcgi_param GEOIP_LONGITUDE $geoip_longitude;
include fastcgi_params;

测试地理信息

建立以下的php测试文件检测IP所在的地区

vim /var/www/html/geoip.php
<html>
<head>
<title>What is my IP address - determine or retrieve my IP address </title>
</head>
<body>
<?php
if (getenv(HTTP_X_FORWARDED_FOR)){
$pipaddress = getenv(HTTP_X_FORWARDED_FOR);
$ipaddress = getenv(REMOTE_ADDR);
echo "You Proxy IP address is :".$pipaddress."(via $ipaddress)";
} else {
$ipaddress = getenv(REMOTE_ADDR);
echo "Your IP address is :$ipaddress";
}
$country = getenv(GEOIP_COUNTRY_NAME);
$country_code = getenv(GEOIP_COUNTRY_CODE);
echo "<br/>Your country :$country($country_code)";
?>
</body>
</html>


vim /var/www/html/geoip_city.php
<html>
<head>
<title>What is my IP address - determine or retrieve my IP address</title>
</head>
<body>
<?php
if (getenv (HTTP_X_FORWARDED_FOR)) {
$pipaddress = getenv(HTTP_X_FORWARDED_FOR);
$ipaddress = getenv(REMOTE_ADDR);
echo"<br>Your Proxy IP address is :".$pipaddress."(via $ipaddress)";
} else {
$ipaddress = getenv (REMOTE_ADDR);
echo"<br>Your IP address is : $ipaddress";
}
$geoip_city_country_code = getenv(GEOIP_CITY_COUNTRY_CODE);
$geoip_city_country_code3 = getenv(GEOIP_CITY_COUNTRY_CODE3);
$geoip_city_country_name = getenv(GEOIP_CITY_COUNTRY_NAME);
$geoip_region = getenv(GEOIP_REGION);
$geoip_city = getenv(GEOIP_CITY);
$geoip_postal_code = getenv(GEOIP_POSTAL_CODE);
$geoip_city_continent_code = getenv(GEOIP_CITY_CONTTINENT_CODE);
$geoip_latitude = getenv(GEOIP_LATITUDE);
$geoip_longitude = getenv(GEOIP_LONGITUDE);
echo"<br>Country:$geoip_city_country_name ($geoip_city_country_code3,$geoip_city_country_code)";
echo"<br>Region:$geoip_region";
echo"<br>City:$geoip_city";
echo"<br>Postal code:$geoip_postal_code";
echo"<br>City continent code:$geoip_city_continent_code";
echo"<br>Geoip latitude:$geoip_latitude";
echo"<br>Geoip longitude:$geoip_longitude";
?>
</body>

Nginx负载均衡

最近新上了一个营销项目（和微信结合），后台用的是Tomcat。开始上线的时候因为人数不多感觉没太多问题，随着正式环境的发布，开人有人反映服务器页面无法打开，连入tomcat查看时发现连接数已满且CPU也用到了极限，初始的架构如下图所示，其使用1台tomcat和一台数据库服务器。

该业务系统主要用于微信营销，顾客在微信上下单购买（抢）对应的商品，抢购成功后该商品（券）会自动生成条形码保存在该用户的注册信息中。用户凭券到实体店完成支付和取货操作。因为涉及券核销的问题（支付完成后即时核销），因此该业务无法放在云端（核销的数据和实体店销售数据需即时交互），最终只能通过本地的方案来解决。

首先考虑到的是将网上的连接通过负载均衡的方式分散来减轻服务器的压力，这方面可以使用nginx代理来实现；其次需要解决的问题是session，对比了几种方案发现nginx内置的ip_hash策略可以解决该问题，最终网络的架构变成了下图所示，在该方案中增加了4台服务器，其中一台nginx负载转发，另外四台为新增的tomcat服务。

安装配置nginx

Nginx的安装配置十分简单，我这里实际用的是tengine版本，具体的安装方法可以参考"[ nginx配置指南之一|http://waringid.blog.51cto.com/65148/1438852]"。这里需要注意的是它的编译参数，记得它的配置文件和日志文件的存放位置。

优化系统资源

文件限制

Linux系统中文件的打开个数及单用户最多拥有的进程数是有限制的，可以通过"ulimit -n"或"ulimit -u"来查看，详细的设置可以参考"ORACLE 11G在Linux下的标准安装方法（上）"。先修改/etc/security/limit.conf中的限制，如下图所示。

内核优化

内核中涉及的TCP相关的选项在大并发连接的情况下也需要做相应的调整否则可以出"TCP: time wait bucket table overflow" 的错误提示。具体修改/etc/sysctl.conf文件，如有特殊要求请结合实际情况修改。具体如下所示：
tcp_max_tw_buckets　 系统在同时所处理的最大 timewait sockets 数目。如果超过此数的话﹐time-wait socket 会被立即删除并且显示警告信息。

ip_local_port_range　 用于向外连接的端口范围。

netdev_max_backlog　 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目，对重负载服务器而言，该值需要调高一点。

tcp_max_orphans　处理不属于任何进程的套接字数量，不属于任程进程的进程就是"孤儿（orphans）进程"，在快速、大量的连接中这种进程会很多因此要适当的设置该参数，也可以用来防御简单的DoS攻击。

tcp_max_syn_backlog　用于记录尚未收到客户端确认信息的连接请求的最大值。

优化Nginx

使用epoll

linux下的必须模型，适用于2.6以后的内核版本，如下图所示：
优化代理配置

需要注意的是"proxy_max_temp_file_size"，它主要用来设置临时文件的最大值。当被请求的文件内容大于代理缓存的大小时，该文件会被存储到这个临时文件，但是如果被请求文件的内容大于这个值的时候，那么将会从上游的服务器（被代理的服务器）上直接同步传递，而不再使用代理缓存。该指令的默认值为1GB，如果设置为0，那么意味着禁止使用临时文件。

配置Nginx

Nginx配置如下所示，其中upstream backend配置的是后端的tomcat应用，ip_hash表示启用该策略，用户的目的是为了解决后端session不一致的问题（在nginx前端还有CDN或是局域网的环境中须慎用）。

server段配置的是转发的路径和端口，需要注意"proxy_set_header Host $host:8162;"的写法。如果该变量后没有加8162端口则实际的转发会导致页面无法正常显示。其后的两条语句可以参考nginx日志的记录内容，主要用来记录外网实际的访问请求。

log_format字段用来生成指定的日志格式文件，相应的变量对应日志文件中的访问记录，可以对照下图来查看。

Nginx安全限制

随着业务的增加，网络连接的流量越来越大，合理的控制访问请求及连接数非常重要，否则仍会出现失去响应的情况。

增加IP限制功能

最简单也最容易实现的的方式是Nginx自带的IP访问控制，由模块ngx_http_limit_conn_module和来ngx_http_limit_req_module实现，通过它们可以实现对IP地址连接数及服务器访问请求数的控制。

要限制连接，必须先有一个容器对连接进行计数，在http段加入如下代码："zone=" 给它一个名字，可以随便叫，这个名字要跟下面的 limit_conn 一致，$binary_remote_addr = 用二进制来储存客户端的地址，1m 可以储存 32000 个并发会话。

限制请求数的方式和限制连接数类似，其中"rate=10r/s"表示一秒中处理的请求为10个，如果需要限制为每分钟不超过30个则表示为"rate=30r/m"；一个具体的设定如下所示：

http {
limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;
limit_conn_zone $binary_remote_addr zone=two:10m;
}

在server段中加入以下内容，其中"burst=5"表示同时允许超过频率限制的请求数不多于5个；"limit_conn two 15"表示对于同一IP的连接数限制为15个。

limit_req zone=one burst=5;
limit_conn two 15;

增加ngx_lua模块

ngx_lua_waf是一个基于ngx_lua的web应用防火墙，主要防止sql注入，本地包含，部分溢出，fuzzing测试，xss,SSRF等web攻击；防止svn/备份之类文件泄漏；防止ApacheBench之类压力测试工具的攻击；屏蔽常见的扫描黑客工具，扫描器；屏蔽异常的网络请求；屏蔽图片附件类目录php执行权限；防止webshell上传。

git clone http://luajit.org/git/luajit-2.0.git
make
make install ln -sv /usr/local/lib/libluajit-5.1.so.2.0.3 /lib64/libluajit-5.1.so.2
wget https://github.com/simpl/ngx_devel_kit/archive/v0.2.19.tar.gz –-no-check-certificate
tar zxvf v0.2.19.tar.gz
wget https://github.com/openresty/lua-nginx-module/archive/v0.9.13.tar.gz --no-check-certificate


./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --pid-path=/var/run/nginx/nginx.pid \
--error-log-path=/var/log/nginx/nginx.log --http-log-path=/var/log/nginx/nginx-http.log \
--add-module=/root/ngx_devel_kit-0.2.19/ --add-module=/root/lua-nginx-module-0.9.13/ --with-ld-opt="-Wl,-rpath,$LUAJIT_LIB"
make –j2
service nginx stop
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.orig
cp ./objs/nginx /usr/local/nginx/sbin/nginx
service nginx start


wget https://github.com/loveshell/ngx_lua_waf/archive/master.zip --no-check-certificate
unzip master
mv ngx_lua_waf-master/ /etc/nginx/waf
mkdir -p /var/log/nginx/hack
chmod -R 755 /var/log/nginx/hack/

增加modsecurity模块

modsecurity原本是Apache上的一款开源waf，可以有效的增强web安全性，目前已经支持nginx和IIS，配合nginx的灵活和高效，可以打造成生产级的WAF，是保护和审核web安全的利器。

git clone https://github.com/SpiderLabs/ModSecurity.git
cd ModSecurity/
./autogen.sh
./configure --enable-standalone-module --disable-mlogc
make
cd tengine/
./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --pid-path=/var/run/nginx/nginx.pid \
--error-log-path=/var/log/nginx/nginx.log --http-log-path=/var/log/nginx/nginx-http.log \
--add-module=/root/ngx_devel_kit-0.2.19/ --add-module=/root/lua-nginx-module-0.9.13/ \
--add-module=/root/ModSecurity/nginx/modsecurity/ --with-ld-opt=" -Wl,-rpath,$LUAJIT_LIB"
make

modsecurity倾向于过滤和阻止web危险，之所以强大就在于规则，OWASP提供的规则是于社区志愿者维护的，被称为核心规则CRS（corerules）,规则可靠强大，当然也可以自定义规则来满足各种需求。

git clone https://github.com/SpiderLabs/owasp-modsecurity-crs
cp -R owasp-modsecurity-crs /etc/nginx/
cp /etc/nginx/owasp-modsecurity-crs/ modsecurity_crs_10_setup.conf.example /etc/nginx/owasp-modsecurity-crs/ modsecurity_crs_10_setup.conf
cd ModSecurity/
cp modsecurity.conf-recommended /etc/nginx/modsecurity.conf
cp unicode.mapping /etc/nginx
vim modsecurity.conf
SecRuleEngine on
nclude owasp-modsecurity-crs/modsecurity_crs_10_setup.conf
Include owasp-modsecurity-crs/base_rules/modsecurity_crs_41_sql_injection_attacks.conf
Include owasp-modsecurity-crs/base_rules/modsecurity_crs_41_xss_attacks.conf
Include owasp-modsecurity-crs/base_rules/modsecurity_crs_40_generic_attacks.conf
Include owasp-modsecurity-crs/experimental_rules/modsecurity_crs_11_dos_protection.conf
Include owasp-modsecurity-crs/experimental_rules/modsecurity_crs_11_brute_force.conf
Include owasp-modsecurity-crs/optional_rules/modsecurity_crs_16_session_hijacking.conf

在需要启用modsecurity的主机的location下面加入下面两行即可:

ModSecurityEnabled on; 
ModSecurityConfig modsecurity.conf;

参考文章
http://www.52os.net/articles/nginx-use-modsecurity-module-as-waf.html
https://github.com/SpiderLabs/ModSecurity/wiki/Reference-Manual#Installation_for_NGINX
http://drops.wooyun.org/tips/2614
http://drops.wooyun.org/tips/3804
http://drops.wooyun.org/tips/734
http://www.freebuf.com/articles/web/18084.html
http://www.freebuf.com/articles/web/16806.html

增加fail2ban防止非法IP

fail2ban是一款日志扫描软件，它可以从日志中扫描异常记录结合相应的识别规则并通过iptables封禁恶意的用户IP防止进一步的攻击。关于fail2ban的详细配置参考”1104-fail2ban防止WEB攻击“。

安装fail2ban非常简单，直接通过yum install fail2ban就可以完成安装，它的配置文件是/etc/fail2ban/jail.conf，所有的过滤策略则保存在/etc/fail2ban/filter.d/下。jail.conf的配置内容如下图所示：

我们可以先对照nginx的日志查看，之前的nginx中已经对IP和服务请求数做了限制，对于同一IP多次超过原有的请求限制的情况，我们可以使用fail2ban定义的规则（例如600秒内超过5次则封禁该IP2小时）。当然也可以根据实际情况自定义策略。

首先分析nginx的日志记录，需注意过滤策略要和日志中的内容匹配，如下图所示。

完成后重启fail2ban服务，你可以看到fail2ban的日志中封禁及解封IP的信息，如下图所示。
也可以通过fail2ban-client指令查看指定策略的应用情况或使用"fail2ban-client -D"查看配置文件的相关内容。

查看nginx状态

通过Nginx转发的方式实现负载均衡，除了可以通过分析访问日志记录的方式来统计转发次数外还可以使用nginx自带的状态统计功能来实现。它依赖于nginx的"ngx_http_stub_status_module"模块，请确保该模块在当前版本中存在。
启用它的方式很简单，具体配置如下图所示。
配置完成并重新加载nginx服务后可以通过浏览器访问目标服务器的8000端口来查看转发状态，如下图所示。
active connections：23 ＃nginx 正处理的活动连接数 23个。

server accepts handled requestsnginx启动到现在共处理了 24个连接 ,

nginx启动到现在共成功创建24 次握手 ,请求丢失数=(握手-连接),可以看出，我们没丢请求总共处理了50 次请求。

Reading ：nginx 读取到客户端的 Header 信息数。

Writing ： nginx 返回给客户端的 Header 信息数。

Waiting ： Nginx 已经处理完正在等候下一次请求指令的驻留连接。开启 keep-alive 的情况下，这个值等于 active – (reading + writing)。

自动切换

keepalived简介

Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

高可用架构

服务器

地址

Master

192.168.0.142

Slave

192.168.0.143

Vip

192.168.0.144

软件安装

# yum install -y keepalived
# keepalived –v

Keepalived v1.2.24 (11/09,2016)

nginx监控脚本

#!/bin/bash
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
/bin/systemctl start nginx
sleep 2
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
/bin/systemctl stop keepalived
/usr/bin/python /usr/sbin/sendsms.py 13788888888 "vip转移" "192.168.0.142出现故障"
/usr/bin/python /usr/sbin/sendsms.py 13688888888 "vip转移" "192.168.0.142出现故障"
fi
fi

 keepalived.conf

! Configuration File for keepalived
global_defs {
notification_email {
#zhouxiao@example.com
#itsection@example.com
}
#notification_email_from itsection@example.com
#smtp_server mail.example.com
#smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script "/etc/keepalived/check_nginx.sh"
interval 2
weight -5
fall 3
rise 2
}
vrrp_instance VI_1 {
state MASTER
interface eno1
mcast_src_ip 192.168.0.142
virtual_router_id 60
priority 100
advert_int 2
authentication {
auth_type PASS
auth_pass 1111
} 
virtual_ipaddress {
192.168.0.144
}
track_script {
chk_nginx
}
}

测试

当前vip 192.168.0.144 在192.168.0.142 master服务器上，访问http://192.168.0.144 是能正常访问的。
直接在master192.168.0.142把keepalived关闭，看是否能直接转移到192.168.0.143？可以看到vip 192.168.0.144已经在master上消失。同时看到vip 192.168.0.144 成功的转移到slave上

使用情况

访问量

Pv: 即页面浏览量，或点击量;通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。
Uv: 指访问某个站点或点击某条新闻的不同IP地址的人数。

Pv

13778368

Uv

19741

日志数据量

日期

大小

mpos.access_2017-05-04.log

1.0G

mpos.access_2017-05-05.log

991M

mpos.access_2017-05-06.log

989M

mpos.access_2017-05-07.log

965M

mpos.access_2017-05-08.log

935M

mpos.access_2017-05-09.log

938M

mpos.access_2017-05-10.log

914M

日志格式

log_format mpos '$time_local - $remote_addr - $upstream_addr - $upstream_status';

由于考虑到访问日志的大小，精简提取几个重要参数

Time_local:访问时间

Remote_addr:外网访问地址

Upstream_addr:反向内网地址

Upstream_status:页面状态码

连接数

类型

最新

最小

平均

最大

ESTAB

379

49

223.77

917

Fin_wait1

230

27

136.29

10.19K

Fin_wait2

1

1

3.39

105

Last_ack

51

15

53

131

Listen

14

14

14

14

Syn_recv

5

1

5.62

18

Timewait

367

84

524.19

1.39K

服务器性能情况

类型

最新

最小

平均

最大

Cpu idle time

98.96%

93.15%

99.37%

99.98%

Cpu user time

0.72%

0.0031%

0.33%

6.56%

Cpu system time

0.3%

0.01%

0.28%

0.6%

Cpu iowait time

0.0084%

0.0021%

0.004099%

0.44%

Cpu nice time

0%

0%

0.000013%

0.02%

Cpu interrupt time

0%

0%

0%

0

Cpu softirq time

0.01%

0%

0.01%

0.04%

Cpu steal time

0%

0%

0%

0%

类型

最新

最小

平均

最大

Available memory

13.59G

13.53G

13.69G

14.12G

Total memory

14.86G

14.86G

14.86G

14.86G

Total swap space

8G

8G

8G

8G

参数及表格

http编译参数

选项

说明

--with-http_ssl_module

如果需要对流量进行加密，那么可以使用这个选项，需要OpenSSl库

--with-http_realip_module

如果nginx在七层负载均衡或其他设备之后（NAT模式），需要启用该功能

--with-http_addition_module

输出过滤器，使你能够在请求经过一个location前或后时在该location本身添加内容

--with-http_xslt_module

用于处理XML响应转换，基于一个或多个XSLT格式，需要libxml2和libxslt库

--with-http_image_filter_module

图像过滤使用，在将图像投递到客户之前进行处理，需要libgd库

--with-http_geoip_module

能够设置各种变量以便在配置文件中的区段中使用，基于地理位置查找客户端IP地址，需要Maxmind GeoIP库和相应的预编译数据库文件

--with-http_sub_module

实现替代过滤，在响应中用一个字符串替代另一个字符串

--with-http_random_index_module

如果想提供一个目录中随机选择文件的索引文件，那么需要启用该模块

--with-http_secure_link_module

将一个散列值链接到一个URL中，因此，只有使用正确的密码能够及时链接

--with-http_stub_status_module

收集NGINX自身信息，输出的状态信息可使用RRDtool类的工具绘制图形

全局配置参数

参数

说明

user

配置worker进程的用户和组

worker_processes

指定进程的数量，该参数的值建议与CPU的核一致

error_log

错误日志文件，第二个参数指定日志的级别，包括：debug\info\notice\warn\error\crit\alert\emerg

worker_connections

配置一个工作进程能接受的最大连接数。

HTTP的server部分参数

http客户端指令

说明

chunked_transfer_encoding

在发送给客户端的响应中，该指令允许禁用http/1.1标准的块传输编码

client_body_buffer_size

为了阻止临时文件写到磁盘，可以通过该指令为客户端请求设置缓存大小，默认的缓存大小为两个内存页面

client_body_in_file_only

用于调试或是进一步处理客户端请求体。设置为on时强制将客户端请求体写入磁盘

client_body_in_single_buffer

为了减少复制的操作，使用该指令强制nginx将整个客户端请求体保存到单个缓存中

  • 无标签