PHP解決網(wǎng)站大數(shù)據(jù)大流量與高并發(fā)

1：硬件方面

普通的一個(gè)p4的服務(wù)器每天最多能支持大約10萬(wàn)左右的IP，如果訪(fǎng)問(wèn)量超過(guò)10W那么需要專(zhuān)用的服務(wù)器才能解決，如果硬件不給力 軟件怎么優(yōu)化都是于事無(wú)補(bǔ)的。主要影響服務(wù)器的速度有：網(wǎng)絡(luò)-硬盤(pán)讀寫(xiě)速度-內(nèi)存大小-cpu處理速度。

2：軟件方面

第一個(gè)要說(shuō)的就是數(shù)據(jù)庫(kù)，首先要有一個(gè)很好的架構(gòu)，查詢(xún)盡量不用* 避免相關(guān)子查詢(xún) 給經(jīng)常查詢(xún)的添加索引 用排序來(lái)取代非順序存取，如果條件允許 ，一般MySQL服務(wù)器最好安裝在Linux操作系統(tǒng)中 。關(guān)于apache和nginx在高并發(fā)的情況下推薦使用nginx，ginx是Apache服務(wù)器不錯(cuò)的替代品。nginx內(nèi)存消耗少 官方測(cè)試能夠支撐5萬(wàn)并發(fā)連接，在實(shí)際生產(chǎn)環(huán)境中跑到2～3萬(wàn)并發(fā)連接數(shù)。php方面不需要的模塊盡量關(guān)閉，使用memcached，Memcached 是一個(gè)高性能的分布式內(nèi)存對(duì)象緩存系統(tǒng)，不使用數(shù)據(jù)庫(kù)直接從內(nèi)存當(dāng)中調(diào)數(shù)據(jù)，這樣大大提升了速度，iiS或Apache啟用GZIP壓縮優(yōu)化網(wǎng)站，壓縮網(wǎng)站內(nèi)容大大節(jié)省網(wǎng)站流量。

第二，禁止外部的盜鏈。

外部網(wǎng)站的圖片或者文件盜鏈往往會(huì)帶來(lái)大量的負(fù)載壓力，因此應(yīng)該嚴(yán)格限制外部對(duì)于自身的圖片或者文件盜鏈，好在目前可以簡(jiǎn)單地通過(guò)refer來(lái)控制盜鏈，Apache自己就可以通過(guò)配置來(lái)禁止盜鏈，IIS也有一些第三方的ISAPI可以實(shí)現(xiàn)同樣的功能。當(dāng)然，偽造refer也可以通過(guò)代碼來(lái)實(shí)現(xiàn)盜鏈，不過(guò)目前蓄意偽造refer盜鏈的還不多，可以先不去考慮，或者使用非技術(shù)手段來(lái)解決，比如在圖片上增加水印。

第三，控制大文件的下載。

大文件的下載會(huì)占用很大的流量，并且對(duì)于非SCSI硬盤(pán)來(lái)說(shuō)，大量文件下載會(huì)消耗CPU，使得網(wǎng)站響應(yīng)能力下降。因此，盡量不要提供超過(guò)2M的大文件下載，如果需要提供，建議將大文件放在另外一臺(tái)服務(wù)器上。

第四，使用不同主機(jī)分流主要流量

將文件放在不同的主機(jī)上，提供不同的鏡像供用戶(hù)下載。比如如果覺(jué)得RSS文件占用流量大，那么使用FeedBurner或者FeedSky等服務(wù)將RSS輸出放在其他主機(jī)上，這樣別人訪(fǎng)問(wèn)的流量壓力就大多集中在FeedBurner的主機(jī)上，RSS就不占用太多資源了

第五，使用不同主機(jī)分流主要流量

將文件放在不同的主機(jī)上，提供不同的鏡像供用戶(hù)下載。比如如果覺(jué)得RSS文件占用流量大，那么使用FeedBurner或者FeedSky等服務(wù)將RSS輸出放在其他主機(jī)上，這樣別人訪(fǎng)問(wèn)的流量壓力就大多集中在FeedBurner的主機(jī)上，RSS就不占用太多資源了。

第六，使用流量分析統(tǒng)計(jì)軟件。

在網(wǎng)站上安裝一個(gè)流量分析統(tǒng)計(jì)軟件，可以即時(shí)知道哪些地方耗費(fèi)了大量流量，哪些頁(yè)面需要再進(jìn)行優(yōu)化，因此，解決流量問(wèn)題還需要進(jìn)行精確的統(tǒng)計(jì)分析才可以。比如：Google Analytics(Google分析)。高并發(fā)和高負(fù)載的約束條件：硬件、部署、操作系統(tǒng)、Web 服務(wù)器、PHP、MySQL、測(cè)試部署：服務(wù)器分離、數(shù)據(jù)庫(kù)集群和庫(kù)表散列、鏡像、負(fù)載均衡負(fù)載均衡分類(lèi)：

1. DNS輪循

2. 代理服務(wù)器負(fù)載均衡

3. 地址轉(zhuǎn)換網(wǎng)關(guān)負(fù)載均衡

4. NAT負(fù)載均衡

5. 反向代理負(fù)載均衡

6. 混合型負(fù)載均衡

部署方案1：

適用范圍：

靜態(tài)內(nèi)容為主體的網(wǎng)站和應(yīng)用系統(tǒng);對(duì)系統(tǒng)安全要求較高的網(wǎng)站和應(yīng)用系統(tǒng)。

Main Server：

主服務(wù)器承載程序的主體運(yùn)行壓力，處理網(wǎng)站或應(yīng)用系統(tǒng)中的動(dòng)態(tài)請(qǐng)求;將靜態(tài)頁(yè)面推送至多個(gè)發(fā)布服務(wù)器;將附件文件推送至文件服務(wù)器;安全要求較高，以靜態(tài)為主的網(wǎng)站，可將服務(wù)器置于內(nèi)網(wǎng)屏蔽外網(wǎng)的訪(fǎng)問(wèn)。

DB Server：

數(shù)據(jù)庫(kù)服務(wù)器承載數(shù)據(jù)庫(kù)讀寫(xiě)壓力;只與主服務(wù)器進(jìn)行數(shù)據(jù)量交換，屏蔽外網(wǎng)訪(fǎng)問(wèn)。

File/Video Server：

文件/視頻服務(wù)器承載系統(tǒng)中占用系統(tǒng)資源和帶寬資源較大的數(shù)據(jù)流;作為大附件的存儲(chǔ)和讀寫(xiě)倉(cāng)庫(kù);作為視頻服務(wù)器將具備視頻自動(dòng)處理能力。

發(fā)布服務(wù)器組：

只負(fù)責(zé)靜態(tài)頁(yè)面的發(fā)布，承載絕大多數(shù)的Web請(qǐng)求;通過(guò)Nginx進(jìn)行負(fù)載均衡部署。

部署方案2：

適用范圍：

以動(dòng)態(tài)交互內(nèi)容為主體的網(wǎng)站或應(yīng)用系統(tǒng);負(fù)載壓力較大，且預(yù)算比較充足的網(wǎng)站或應(yīng)用系統(tǒng);

Web服務(wù)器組：

Web服務(wù)無(wú)主從關(guān)系，屬平行冗余設(shè)計(jì);通過(guò)前端負(fù)載均衡設(shè)備或Nginx反向代理實(shí)現(xiàn)負(fù)載均衡;劃分專(zhuān)用文件服務(wù)器/視頻服務(wù)器有效分離輕/重總線(xiàn);每臺(tái)Web服務(wù)器可通過(guò)DEC可實(shí)現(xiàn)連接所有數(shù)據(jù)庫(kù)，同時(shí)劃分主從。

數(shù)據(jù)庫(kù)服務(wù)器組：

相對(duì)均衡的承載數(shù)據(jù)庫(kù)讀寫(xiě)壓力;通過(guò)數(shù)據(jù)庫(kù)物理文件的映射實(shí)現(xiàn)多數(shù)據(jù)庫(kù)的數(shù)據(jù)同步。共享磁盤(pán)/磁盤(pán)陣列將用于數(shù)據(jù)物理文件的統(tǒng)一讀寫(xiě)用于大型附件的存儲(chǔ)倉(cāng)庫(kù)通過(guò)自身物理磁盤(pán)的均衡和冗余，確保整體系統(tǒng)的IO效率和數(shù)據(jù)安全;

方案特性：

通過(guò)前端負(fù)載均衡，合理分配Web壓力;通過(guò)文件/視頻服務(wù)器與常規(guī)Web服務(wù)器的分離，合理分配輕重?cái)?shù)據(jù)流;通過(guò)數(shù)據(jù)庫(kù)服務(wù)器組，合理分配數(shù)據(jù)庫(kù)IO壓力;每臺(tái)Web服務(wù)器通常只連接一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，通過(guò)DEC的心跳檢測(cè)，可在極短時(shí)間內(nèi)自動(dòng)切換至冗余數(shù)據(jù)庫(kù)服務(wù)器;磁盤(pán)陣列的引入，大幅提升系統(tǒng)IO效率的同時(shí)，極大增強(qiáng)了數(shù)據(jù)安全性。

Web服務(wù)器：

Web服務(wù)器很大一部分資源占用來(lái)自于處理Web請(qǐng)求，通常情況下這也就是Apache產(chǎn)生的壓力，在高并發(fā)連接的情況下，Nginx是Apache服務(wù)器不錯(cuò)的替代品。Nginx (“engine x”) 是俄羅斯人編寫(xiě)的一款高性能的 HTTP 和反向代理服務(wù)器。在國(guó)內(nèi)，已經(jīng)有新浪、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛(ài)詞霸、校內(nèi)網(wǎng)、YUPOO相冊(cè)、豆瓣、迅雷看看等多家網(wǎng)站、 頻道使用 Nginx 服務(wù)器。

Nginx的優(yōu)勢(shì)：

高并發(fā)連接：官方測(cè)試能夠支撐5萬(wàn)并發(fā)連接，在實(shí)際生產(chǎn)環(huán)境中跑到2～3萬(wàn)并發(fā)連接數(shù)。

內(nèi)存消耗少：在3萬(wàn)并發(fā)連接下，開(kāi)啟的10個(gè)Nginx 進(jìn)程才消耗150M內(nèi)存(15M*10=150M)。

內(nèi)置的健康檢查功能：如果 Nginx Proxy 后端的某臺(tái) Web 服務(wù)器宕機(jī)了，不會(huì)影響前端訪(fǎng)問(wèn)。

策略：相對(duì)于老牌的Apache，我們選擇Lighttpd和Nginx這些具有更小的資源占用率和更高的負(fù)載能力的web服務(wù)器。

Mysql：

MySQL本身具備了很強(qiáng)的負(fù)載能力，MySQL優(yōu)化是一項(xiàng)很復(fù)雜的工作，因?yàn)檫@最終需要對(duì)系統(tǒng)優(yōu)化的很好理解。大家都知道數(shù)據(jù)庫(kù)工作就是大量的、 短時(shí)的查詢(xún)和讀寫(xiě)，除了程序開(kāi)發(fā)時(shí)需要注意建立索引、提高查詢(xún)效率等軟件開(kāi)發(fā)技巧之外，從硬件設(shè)施的角度影響MySQL執(zhí)行效率最主要來(lái)自于磁盤(pán)搜索、磁盤(pán)IO水平、CPU周期、內(nèi)存帶寬。

根據(jù)服務(wù)器上的硬件和軟件條件進(jìn)行MySQl優(yōu)化。MySQL優(yōu)化的核心在于系統(tǒng)資源的分配，這不等于無(wú)限制的給MySQL分配更多的資源。在MySQL配置文件中我們介紹幾個(gè)最值得關(guān)注的參數(shù)：

改變索引緩沖區(qū)長(zhǎng)度(key_buffer)

改變表長(zhǎng)(read_buffer_size)

設(shè)定打開(kāi)表的數(shù)目的最大值(table_cache)

對(duì)緩長(zhǎng)查詢(xún)?cè)O(shè)定一個(gè)時(shí)間限制(long_query_time)

如果條件允許 ，一般MySQL服務(wù)器最好安裝在Linux操作系統(tǒng)中，而不是安裝在FreeBSD中。

策略： MySQL優(yōu)化需要根據(jù)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)讀寫(xiě)特性和服務(wù)器硬件配置，制定不同的優(yōu)化方案，并且可以根據(jù)需要部署MySQL的主從結(jié)構(gòu)。

PHP：

1、加載盡可能少的模塊;

2、如果是在windows平臺(tái)下，盡可能使用IIS或者Nginx來(lái)替代我們平常用的Apache;

3、安裝加速器(都是通過(guò)緩存php代碼預(yù)編譯的結(jié)果和數(shù)據(jù)庫(kù)結(jié)果來(lái)提高php代碼的執(zhí)行速度)

eAccelerator，eAccelerator是一個(gè)自由開(kāi)放源碼php加速器，優(yōu)化和動(dòng)態(tài)內(nèi)容緩存，提高了性能php腳本的緩存性能，使得PHP腳本在編譯的狀態(tài)下，對(duì)服務(wù)器的開(kāi)銷(xiāo)幾乎完全消除。

Apc：

Alternative PHP Cache(APC)是 PHP 的一個(gè)免費(fèi)公開(kāi)的優(yōu)化代碼緩存。它用來(lái)提供免費(fèi)，公開(kāi)并且強(qiáng)健的架構(gòu)來(lái)緩存和優(yōu)化 PHP 的中間代碼。

memcache：

memcache是由Danga Interactive開(kāi)發(fā)的，高性能的，分布式的內(nèi)存對(duì)象緩存系統(tǒng)，用于在動(dòng)態(tài)應(yīng)用中減少數(shù)據(jù)庫(kù)負(fù)載，提升訪(fǎng)問(wèn)速度。主要機(jī)制是通過(guò)在內(nèi)存里維護(hù)一個(gè)統(tǒng) 一的巨大的hash表，Memcache能夠用來(lái)存儲(chǔ)各種格式的數(shù)據(jù)，包括圖像、視頻、文件以及數(shù)據(jù)庫(kù)檢索的結(jié)果等

Xcache： 國(guó)人開(kāi)發(fā)的緩存器，

策略： 為PHP安裝加速器。

代理服務(wù)器(緩存服務(wù)器)：

Squid Cache(簡(jiǎn)稱(chēng)為Squid)是一個(gè)流行的自由軟件(GNU通用公共許可證)的代理服務(wù)器和Web緩存服務(wù)器。Squid有廣泛的用途，從作為網(wǎng)頁(yè)服務(wù)器的前置cache服務(wù)器緩存相關(guān)請(qǐng)求來(lái)提高Web服務(wù)器的速度，到為一組人共享網(wǎng)絡(luò)資源而緩存萬(wàn)維網(wǎng)，域名系統(tǒng)和其他網(wǎng)絡(luò)搜索，到通過(guò)過(guò)濾流量幫助網(wǎng)絡(luò)安全，到局域網(wǎng)通過(guò)代理網(wǎng)。Squid主要設(shè)計(jì)用于在Unix一類(lèi)系統(tǒng)運(yùn)行。

策略： 安裝Squid 反向代理服務(wù)器，能夠大幅度提高服務(wù)器效率。

壓力測(cè)試：

壓力測(cè)試是一種基本的質(zhì)量保證行為，它是每個(gè)重要軟件測(cè)試工作的一部分。壓力測(cè)試的基本思路很簡(jiǎn)單：不是在常規(guī)條件下運(yùn)行手動(dòng)或自動(dòng)測(cè)試，而是在計(jì)算機(jī)數(shù)量較少或系統(tǒng)資源匱乏的條件下運(yùn)行測(cè)試。通常要進(jìn)行壓力測(cè)試的資源包括內(nèi)部?jī)?nèi)存、CPU 可用性、磁盤(pán)空間和網(wǎng)絡(luò)帶寬等。一般用并發(fā)來(lái)做壓力測(cè)試。

壓力測(cè)試工具：webbench，ApacheBench等

漏洞測(cè)試：

在我們的系統(tǒng)中漏洞主要包括：sql注入漏洞，xss跨站腳本攻擊等。安全方面還包括系統(tǒng)軟件，如操作系統(tǒng)漏洞，mysql、apache等的漏洞，一般可以通過(guò)升級(jí)來(lái)解決。

**漏洞測(cè)試工具：**Acunetix Web Vulnerability Scanner（文章來(lái)源于網(wǎng)絡(luò)）