A/B測試和多變量測試是最常用的兩種網(wǎng)站測試方法。理解兩者之間的差別、它們的優(yōu)缺點以及何時使用它們很重要。兩種測試方法的核心差別是，多變量測試允許你同時測試多個元素，比A/B測試更簡單、更快速。
 
（1) A/B測試

A/B測試是最簡單的網(wǎng)站測試類型.通常也最容易設(shè)置。因此，許多網(wǎng)站測試新手都首先學(xué)習(xí)和使用它。這種基本測試形式在任何測試工具(不管何種級別)中都可以運行下面是在優(yōu)化工作中使用用A/B測試的優(yōu)點和缺點。

優(yōu)點:這類測試對于測試專業(yè)知識較少的人，或者只需要一次測試頁面上的一個元素以比較兩個不同頁面變量的性能時很理想。對于運行基本的重復(fù)測試，了解多變量測試中的獲勝元素是否真正勝過控制版本的情況也很理想。因為這種測試通常不太復(fù)雜，所以獲得明顯的測試結(jié)果并確定勝者所需要的流量比多變量測試少。

缺點:如果你測試一個包含不同元素(例如，不同的標(biāo)題、圖片以及行動號召)的的全新頁面，將其與當(dāng)前版本比較，就無法確定新頁面的哪些元素對轉(zhuǎn)化的影響最大。這是為這種測試只能測量整個頁面的性能，而不是頁面某個部分。進(jìn)行這種測試還可能導(dǎo)致推出對轉(zhuǎn)化略有負(fù)面影響的元素。測試頁面上許多元素可能花費很多的時間.，因為每個頁面元素在理想狀況下需要單獨的A/B測試。

大部分在線營銷人員都從使用這種更簡單的測試形式開始，然后再進(jìn)化到更復(fù)雜的測試類型，如多變量測試(下面將做說明)。圖2.8展示了一個例子，兩個不同風(fēng)格的頁面在A/B測試中進(jìn)行比較，它們的模塊布局、橫幅和圖片都不同 。



(2) 多變量測試

多變量測試(Multi Variate Test.MVT)設(shè)計用于以更快的速度和更好的易用性同時測試多個頁面元素。

為了幫助你更快地測試多變量測試中元素的數(shù)百種不同組合，大部分測試工具使用田口統(tǒng)計方法(也稱作部分因子測試)來提出代表性的測試內(nèi)容組合樣本，而不是測試所有組合。

有些工具(如Google網(wǎng)站優(yōu)化器)實際上同時測試所有不同的組合(叫做全部因子測試)，但是這需要非常高的流量和較長的周期才能獲得顯著的測試結(jié)果。有些工具可以選擇使用這兩類多變量方法。

下面是在優(yōu)化工作中使用MVT的優(yōu)點和缺點：

優(yōu)點:這些測試非常適合于在一個頁面或者一系列頁面上同時測試許多元素。這種測試的另一個主要優(yōu)點是能夠確定哪些元素對提升轉(zhuǎn)化有最大的貢獻(xiàn)，從而幫助你了解未來需要測試的頁面元素
 
缺點:因為需要許多不同的測試組合，所以多變量測試通?；跍y試版本組合(稱稱為配方 Recipe)的采樣(部分因子).這可能導(dǎo)致你遺漏某些可能最佳的元素組合。有些專家甚至懷疑使用部分因子方法測試的有效性，但幸運的是，有些方法能夠克服這一問題。另一個問題是獲得結(jié)果所需的流量水平往往高于AB測試，特別是在一次測試4個以上的頁面元素時。

圖2.9展示了可以在網(wǎng)站設(shè)計多變量測試中同時測試的兩個頁面元素組合(每個模塊用不同的字母標(biāo)注).測試可以找出表現(xiàn)最佳的元素組合 。