Testowanie A/B

8.05.2008  |  Autor: Przemysław Żyła

You are already familiar with one of the most important indicators in the statistics – eCPM – and with the basic information on channels. Now it’s time for practice which means A/B testing.

A/B testing is a method that enables us to compare the effectiveness of two ad forms. Thanks to it we can test layout effectiveness and the effectiveness of our thematic category choice.

It is best to use an example to picture the concept of A/B testing. Imagine that you want to test the effectiveness of ad forms with and without visible URL. Below you can see ad forms the effectiveness of which we are going to test:

Widoczny URL

Niewidoczny URL

We could paste the first ad for a week and than the other one for a week and check the effectiveness of those forms. However, this method would have some disadvantages, e.g. we have to remember to change the form at a certain time. Ad choice can differ, we have no guarantee that we would have enough impressions within the testing period. That is why we are going to use A/B testing.

How to start A/B testing

In the beginning we create 2 channels. Remember to name them in a way that won’t let you confuse them in the future. In our example I have created the following channels:

  • URL
  • No URL

Then we create ad forms for each channel. I have pasted them above.

Now, when we have the right ads we have to find a way to display them alternatingly. If our site has 5000 impressions we want each ad to show up 2500 times.

To get this result let’s use a simple code. You can find it here:

<script type=”text/javascript”>
var random_number = Math.random();
if (random_number < .5){
//1st ad code
} else {
//2nd ad code
}
</script>

You can find a different code based on PHP on the Webmaster Tutorials website. They work the same so you can use both.

How to analyse A/B testing statistics

After a sufficient period (remember that the bigger the sample – number of impressions – the better) we can compare the statistics of both channels using advanced reports. And to compare the data we will use our knowledge on eCPM – I send you back to the source.

Poznaliśmy już jeden z najważniejszych wskaźników w statystykach czyli eCPM oraz podstawowe informacje o kanałach. Teraz czas na wykorzystanie tej wiedzy w praktyce, czyli testowanie A/B.

Testowanie A/B jest metodą, dzięki której możemy porównać efektywność dwóch form reklamowych. Dzięki tej metodzie możemy testować efektywność wyglądu reklam oraz doboru kategorii tematycznych.

Aby dobrze zobrazować idee testowania A/B najlepiej posłużyć się przykładem. Wyobraźmy sobie, że chcemy przetestować skuteczność form reklamowych z widocznym adresem URL i bez niego. Formy, których skuteczność chcemy zbadać zamieszczam poniżej:

Widoczny URL

Niewidoczny URL

Moglibyśmy wkleić kod pierwszej reklamy na tydzień, a potem kod drugiej reklamy na kolejny tydzień i w ten sposób badać skuteczność tych dwóch form reklamowych. Jednak to rozwiązanie ma kilka minusów, np. musimy pamiętać, aby zmienić formę na stronie w określonym czasie, dobór reklam w przeciągu badania może być inny, nie mamy gwarancji, że w ciągu każdego okresu nastąpi odpowiednio duża liczba odsłon. Dlatego wykorzystamy testowanie A/B.

Jak zacząć testowanie A/B

Na początku tworzymy dwa kanały. Pamiętajcie, aby nazwać je tak aby ich później nie pomylić. W naszym przykładzie utworzyłem kanały:

  • URL
  • Bez URL

Następnie dla każdego kanału tworzymy odpowiednie formy reklamowe, które wkleiłem powyżej.

Teraz, skoro mamy już odpowiednie reklamy do wklejenia na stronę trzeba znaleźć sposób, aby reklamy wyświetlały się na przemian – w przypadku, kiedy nasza strona ma 5000 odsłon chcemy aby każda z form pokazała się po 2500 razy.

Aby osiągnąć ten efekt wykorzystamy prosty skrypt, który wklejam poniżej:



Trochę inny skrypt, oparty o PHP jest na stronie Webmaster Tutorials. Działają one w ten sam sposób, więc można używać je zamiennie.

Jak badać statystyki testowania A/B

Po odpowiednio długim czasie (pamiętajcie, że im większa próba, czuli liczba odsłon każdej reklamy tym lepiej) wykorzystując zaawansowane raporty możemy porównać efektywność tych form wyświetlając statystyki utworzonych kanałów. A do porównania posłużymy się już zdobytą wiedzą o eCPM – odsyłam do źródła.

Dodaj komentarz

nasze marki: