2009年10月14日

自动将Apache Rewrite伪静态规则转换为Nginx Rewrite

以前介绍过Nginx的Rewrite配置这篇文章，今天无意间发现了，这个自动转换程序。

http://www.anilcetin.com/convert-apache-htaccess-to-nginx/

此地址里面的内容包含可以完成上面说的略做修改的功能。就是把.htaccess中的规则自动转换成nginx下面可用的规则。

  • » 阅读全文...
    • Tags: ,,,.
    2009年01月9日

    Apache升级到了Nginx的几个注意点

    最近把整站从apache升级到了nginx，客户的站点大概有30台服务器大部分架构位tomcat+apache，只有一个php页面
    一下是我升级遇到的几个问题的注意点

    1.
    当我们去访问服务器上的一个目录时候，他不会自动加上一个/ ，浏览器会给出改页无法打开的错误，这个时候浏览器去取的地址实际上是upstream中所写的地址和端口或如果没有使用upstream时 当使用localhost做servername时候 浏览器会去访问http://127.0.0.1/dir。
    解决办法
    在每个虚拟主机的server定义中加上
    if (-d $request_filename) {
                               rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
                    }
    注意 root字段的定义也一定要出现在server中 如果server中没有定义root 错误还将存在
    例子：
    server {
                    listen                800;
                    server_name www.1.com;
                    root   /opt/1-index;   //这边定义了 就会在目录访问的时候加上/  如果这边没有定义这个 上面的url重写依然不会生效
                    include                vhost/alias.conf;
                    include                vhost/proxy.conf;
                    if (-d $request_filename) {
                               rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
                    }
                    error_page   405 =200 @405;
                    location @405 {
                    proxy_pass      http://PROXY_STATIC;
                    }
                    location / {
                            root   /opt/1-index;        //只在这边定义是没有用的，这边甚至可以不做定义
                            rewrite ^/(\d+)\.home$ /index.html?userId=$1 last;
                            index  index.html index.htm;
                    }                       

    2.url重写的注意事项：
    原有的url支持正则  重写的url不支持正则
    rewrite ^/(\d+)\.home$ /index.html?userId=$1 last;
    这个重写中 ^/(\d+)\.home$ 这部分支持正则
    而/index.html?userId=$1
    不要用正则 也不匹配正则 /index.html?*userId=$1 这样他就会去找.html?*userId=$1这个url 然后给你个404 not found

    3.post方式去访问静态文件
    Apache、IIS、Nginx等绝大多数web服务器，都不允许静态文件响应POST请求，否则会返回“HTTP/1.1 405 Method not allowed”错误。（但是之前程序在apache上跑 没问题）
    如果有这个需求呢 就要做如下配置了
    error_page   405 =200 @405;
                    location @405 {
                    proxy_pass      http://PROXY_STATIC;
            #        root /usr/local/nginx/html;
                    }
    把所有405错误重定向成200 然后吧所有405错误的请求全部交给一个代理去执行
    或者写上本地路径,因为我的路径比较多 所以重定向请求到一台web服务器上了

    4.。关于防盗链
    1.com的需求是 不是从本来来的请求给除一个403
    因为在虚拟主机里配置毫无作用 可能是我们用的是虚拟目录的缘故
    所以我们直接对目录做的防盗链
    在alias里
    别名配置
                    location /res/ {
                    alias   /opt/Src/;
                    valid_referers none blocked server_names *.1.com ;
                    if ($invalid_referer) {
            return 403;
                    }
            }

    5，关于动态请求转发
    location  ~ ^/login/(.*\.do)$ {
                    proxy_pass      http://login ;
            proxy_set_header  X-Real-IP  $remote_addr;
    }
    ~ ^/login/(.*\.do)$ 这个表示 凡是匹配/login/ 下 .do的都转发到一个upstream池里处理 这里的$符号并不起多大作用 只要是有.do的他会全部转 并不是以.do结尾的才转

    6.关于php上传文件大小的问题
    只改php里的配置是没有用的
    需要更改的地方还有nginx的配置

    client_max_body_size 10M;
    他的默认值是1M;

    以上就是基本的注意点

    (本文转载自CU论坛)

  • » 阅读全文...
    • Tags: ,.
    2008年07月14日

    Apache和PHP网页的编码问题分析

    谈到Apache的编码我们就要涉及到3个东西

    http标记语言中的<META http-equiv="content-type" content="text/html; charset=xxx">标签
    PHP中的header("content-type:text/html; charset=xxx");函数
    Apache配置文件httpd.conf中的AddDefaultCharset

    一、<META http-equiv="content-type" content="text/html; charset=xxx">标签
    按顺序来，先说这个<META>标签，这个标签有很多功能的，具体请点这里。


    我今天想说只是上面提到的那种形式。解释一下<META http-equiv="content-type" content="text/html; charset=utf-8">，意思是对这个网页进行声明，让浏览器对整个页面的内容采用xxx编码，xxx可以为GB2312，GBK，UTF-8（和MySQL不同，MySQL是UTF8）等等。因此，大部分页面可以采用这种方式来告诉浏览器显示这个页面的时候采用什么编码，这样才不会造成编码错误而产生乱码。但是有的时候我们会发现有了这句还是不行，不管xxx是哪一种，浏览器采用的始终都是一种编码，这个情况我后面会谈到。

    请注意，<meta>是属于html信息的，仅仅是一个声明，它起作用表明服务器已经把HTML信息传到了浏览器。

    二、header("content-type:text/html; charset=xxx");
    这个函数header()的作用是把括号里面的信息发到http标头。关于此函数具体用法请点击这里。
    如果括号里面的内容为文中所说那样，那作用和<META>标签基本相同，大家对照第一个看发现字符都差不多的。但是不同的是如果有这段函数，浏览器就会永远采用你所要求的xxx编码，绝对不会不听话，因此这个函数是很有用的。为什么会这样呢？那就得说说HTTPS标头和HTML信息的差别了：
    引用:
    https标头是服务器以HTTP协议传送HTML信息到浏览器前所送出的字串。
    因为meta标签是属于html信息的，所以header()发送的内容先到达浏览器，通俗点就是header()的优先级高于meta（不知道可不可以这样讲）。加入一个php页面既有header("content-type:text/html; charset=xxx")，又有<META http-equiv="content-type" content="text/html; charset=xxx">，浏览器就只认前者http标头而不认meta了。当然这个函数只能在php页面内使用。
    同样也留有一个问题，为什么前者就绝对起作用，而后者有时候就不行呢？这就是接下来要谈的Apache的原因了。

    三、AddDefaultCharset
    Apache根目录的conf文件夹里，有整个Apache的配置文档httpd.conf。具体如何配置apache请点击这里（[url=thread-2674-1-1.html]windows[/url]，[url=thread-1381-1-1.html]linux[/url]）。
    用文本编辑器打开httpd.conf，第708行（不同版本可能不同）有AddDefaultCharset xxx，xxx为编码名称。这行代码的意思：设置整个服务器内的网页文件https标头里的字符集为你默认的xxx字符集。有这行，就相当于给每个文件都加了一行header("content-type:text/html; charset=xxx")。这下就明白为什么明明meta设置了是utf-8，可浏览器始终采用gb2312的原因。
    如果网页里有header("content-type:text/html; charset=xxx")，就把默认的字符集改为你设置的字符集，所以这个函数永远有用。如果把AddDefaultCharset xxx前面加个“#”，注释掉这句，而且页面里不含header("content-type…")，那这个时候就轮到meta标签起作用了。

    总结：
    来个排序

    header("content-type:text/html; charset=xxx")
    AddDefaultCharset xxx
    <META http-equiv="content-type" content="text/html; charset=xxx">
    如果你是web程序员，给你的每个页面都加个header("content-type:text/html; charset=xxx")，保证它在任何服务器都能正确显示，可移植性强。

    至于那句AddDefaultCharset xxx，要不要注释就仁者见仁了。反正我是注释掉了，不过我写页子也要写header()，便于放到不同的服务器上能正常显示。

  • » 阅读全文...
    • Tags: ,,.
    2007年11月14日

    Lighttpd+Squid+Apache搭建高效率Web服务器

    架构原理
    Apache通常是开源界的首选Web服务器，因为它的强大和可靠，已经具有了品牌效应，可以适用于绝大部分的应用场合。但是它的强大有时候却显得笨重，配置文件得让人望而生畏，高并发情况下效率不太高。而轻量级的Web服务器Lighttpd却是后起之秀，其静态文件的响应能力远高于Apache，据说是Apache的2-3倍。Lighttpd的高性能和易用性，足以打动我们，在它能够胜任的领域，尽量用它。Lighttpd对PHP的支持也很好，还可以通过Fastcgi方式支持其他的语言，比如Python。

    毕竟Lighttpd是轻量级的服务器，功能上不能跟Apache比，某些应用无法胜任。比如Lighttpd还不支持缓存，而现在的绝大部分站点都是用程序生成动态内容，没有缓存的话即使程序的效率再高也很难满足大访问量的需求，而且让程序不停的去做同一件事情也实在没有意义。首先，Web程序是需要做缓存处理的，即把反复使用的数据做缓存。即使这样也还不够，单单是启动Web处理程序的代价就不少，缓存最后生成的静态页面是必不可少的。而做这个是 Squid的强项，它本是做代理的，支持高效的缓存，可以用来给站点做反向代理加速。把Squid放在Apache或者Lighttpd的前端来缓存 Web服务器生成的动态内容，而Web应用程序只需要适当地设置页面实效时间即可。

    即使是大部分内容动态生成的网站，仍免不了会有一些静态元素，比如图片、JS脚本、CSS等等，将Squid放在Apache或者Lighttp前端后，反而会使性能下降，毕竟处理HTTP请求是Web服务器的强项。而且已经存在于文件系统中的静态内容再在Squid中缓存一下，浪费内存和硬盘空间。因此可以考虑将Lighttpd再放在Squid的前面，构成 Lighttpd+Squid+Apache的一条处理链，Lighttpd在最前面，专门用来处理静态内容的请求，把动态内容请求通过proxy模块转发给Squid，如果Squid中有该请求的内容且没有过期，则直接返回给Lighttpd。新请求或者过期的页面请求交由Apache中Web程序来处理。经过Lighttpd和Squid的两级过滤，Apache需要处理的请求将大大减少，减少了Web应用程序的压力。同时这样的构架，便于把不同的处理分散到多台计算机上进行，由Lighttpd在前面统一把关。

    在这种架构下，每一级都是可以进行单独优化的，比如Lighttpd可以采用异步IO方式，Squid可以启用内存来缓存，Apache可以启用MPM 等，并且每一级都可以使用多台机器来均衡负载，伸缩性很好。

    实例讲解
    下面以daviesliu.net和rainbud.net域下面的几个站点为例来介绍一下此方案的具体做法。daviesliu.net域下有几个用 mod_python实现的blog站点，几个php的站点，一个mod_python的小程序，以后可能还会架设几个PHP和Django的站点。而服务器非常弱，CPU为Celeron 500，内存为PC 100 384M，因此比较关注Web服务器的效率。这几个站点都是采用虚拟主机方式，开在同一台机器的同一个端口上。

    Lighttpd服务于80端口，Squid运行在3128端口，Apache运行在81端口。

    Lighttpd的配置
    多个域名采用/var/www/domain/subdomain 的目录结构，用evhost模块配置document-root如下：

    evhost.path-pattern        =  var.basedir + "/%0/%3/"

    FtpSearch中有Perl脚本，需要启用CGI支持，它是用来做ftp站内搜索的，缓存的意义不大，直接由lighttpd的mod_cgi处理：

    $HTTP["url"] =~ "^/cgi-bin/" { # only allow cgi's in this directory
        dir-listing.activate = "disable"    # disable directory listings
        cgi.assign = ( ".pl"   =>  "/usr/bin/perl", ".cgi"  =>  "/usr/bin/perl" )
    }

    bbs使用的是phpBB，访问量不大，可以放在lighttpd(fastcgi)或者apache(mod_php)下，暂时使用 lighttpd，设置所有.php的页面请求有fastcgi处理：

    fastcgi.server = ( ".php" =>  ( (  "host"  => "127.0.0.1", "port"=> 1026,  "bin-path"  =>  "/usr/bin/php-cgi"  )  ) )

    blog.daviesliu.net 和 blog.rainbud.net 是用mod_python编写的blogxp程序，所有静态内容都有扩展名，而动态内容没有扩展名。blogxp是用python程序生成XML格式的数据再交由mod_xslt转换成HTML页面，只能放在Apache下运行。该站点采用典型Lighttpd+Squid+Apache方式处理：

    $HTTP["host"] =~ "^blog" {
        $HTTP["url"] !~ "." {     
            proxy.server = ( "" => ( "localhost" => ( "host"=> "127.0.0.1", "port"=> 3128 ) ) )  #3128端口为
        }
    }

    share中有静态页面，也有用mod_python处理的请求，在/cgi/下：

    $HTTP["host"] =~ "^share" {
        proxy.server = (
            "/cgi" => ( "localhost" => ( "host"=> "127.0.0.1", "port"=> 3128 )  ) 
        )
    }

    Squid的配置
    只允许本地访问：

    http_port   3128
    http_access allow localhost
    http_access deny all

    启用反向代理：

     httpd_accel_host 127.0.0.1
     httpd_accel_port 81                   #apache的端口
     httpd_accel_single_host on
     httpd_accel_with_proxy on          #启用缓存
     httpd_accel_uses_host_header on #启用虚拟主机支持

    此方向代理支持该主机上的所有域名。

    Apache的配置
    配置/etc/conf.d/apache2，让其加载mod_python、mod_xslt、mod_php模块：

    APACHE2_OPTS="-D PYTHON -D XSLT -D PHP5"

    所有网站的根目录：

    <Directory "/var/www">
       AllowOverride All     #允许.htaccess覆盖
        Order allow,deny
        Allow from all
    </Directory>

    基于域名的虚拟主机：

    <VirtualHost *:81>
    ServerName blog.daviesliu.net
    DocumentRoot /var/www/daviesliu.net/blog
    </VirtualHost>

    这里明显没有lighttpd的evhost配置方便。

    blog.daviesliu.net下的.htaccess设置(便于开发，不用重启Apache):

    SetHandler mod_python
    PythonHandler blogxp.publisher
    PythonDebug On
    PythonAutoReload On

    <FilesMatch ".">
        SetHandler None        #静态文件直接由Apache处理
    </FilesMatch>

    <IfModule mod_xslt.c>
        AddType text/xsl .xsl  #防止对xsl文件进行转化
        AddOutputFilterByType mod_xslt text/xml
        XSLTCache off
        XSLTProcess on
    </IfModule>
    Header set Pragma "cache"
    Header set Cache-Control "cache"

    在blogxp.publisher里面，还需要设置返回的文档类型和过期时间：

        req.content_type = "text/xml"
        req.headers_out['Expires'] = formatdate( time.time() + 60 * 5 )

    经过这样的配置，所有站点都可以通过80、3128、81三个端口进行正常访问，80端口用作对外的访问，以减少负荷。81端口可以用作开发时的调试，没有缓存的困扰。

    性能测试
    由于时间和精力有限，下面只用ab2做一个并不规范的性能对比测试(每项都测多次取平均)，评价指标为每秒钟的请求数。
    测试命令,以测试lighttpd上并发10个请求 scripts/prototype.js 为例：

    ab2 -n 1000 -c 10 http://blog.daviesliu.net:80/scripts/prototype.js

    静态内容：prototype.js (27kB)

    Con
     Lighttpd(:80)
     Squid(:3128)
     Apache(:81)
     
    1
     380
     210
     240
     
    10
     410
     215
     240
     
    100
     380
     160
     230
     
    可见在静态内容上，Lighttpd表现强劲，而Squid在没有配内存缓存的情况下比另两个Web服务器的性能要差些。

    动态页面：/rss (31kB)

    Con
     Lighttpd(:80)
     Squid(:3128)
     Apache(:81)
     
    1
     103
     210
     6.17
     
    10
     110
     200
     6.04
     
    100
     100
     100
     6.24
     

     

    在动态内容上，Squid的作用非常明显，而Lighttpd受限于Squid的效率，并且还要低一大截。如果是有多台Squid来做均衡的话，Lighttpd的功效才能发挥出来。
    在单机且静态内容很少的情况下，可以不用Lighttpd而将Squid置于最前面。

  • » 阅读全文...
    • Tags: ,,,.