Higher in GoogleHigher in Google
A/B testing: testing without fooling yourself
An A/B test is simple in design: half your visitors see version A, the other half version B, and you measure which produces more enquiries. The difficulty is not in setting it up but in knowing when you may conclude anything.
In short
- Why most tests prove nothing. Three mistakes almost everyone makes.
- What you need. Four conditions, and the first is not negotiable.
- What to test with little traffic. For most businesses the realistic route.
DPS MediaWritten by DPS Media · Published 4 September 2026
Want this for your business?We build the site, the visibility and the follow-up as one system.Book a call
Why most tests prove nothing
Three mistakes almost everyone makes.
Stopping too early. After three days B is ahead and you switch it on. At small numbers that is simply chance; the same test could have pointed the other way next week. Anyone stopping the moment they see a winner is measuring their own impatience.
Too few visitors. To show a ten percent difference reliably you need hundreds of conversions per version, not hundreds of visitors. Most service businesses do not reach that on one page in months.
Changing two things at once. A new heading and a new button and a different photo. If B wins, you do not know why, and so you cannot apply it to other pages.
What you need
Four conditions, and the first is not negotiable.
A correct conversion measurement
Without reliable measuring conversions you are testing nothing. If you measure the button instead of the submission, you are measuring button clicks and not enquiries. That is the most common reason a test names the wrong winner.
Enough conversions, not enough visitors
Work out beforehand how many you need. At fifty enquiries a month on a page you can only demonstrate large differences, and even then after months. That is no reason not to test, but it is a reason to adjust your expectations.
A fixed duration
Decide in advance how long the test runs, and stick to it. At least two full weeks, so all days of the week count. Sunday traffic behaves differently from Tuesday, and a five-day test therefore measures something other than you think.
A hypothesis
Not two versions because you can, but an expectation: I think people drop out because the price is not visible, so I add a from-price. If it wins, you have learned something you can apply on ten other pages.
What to test with little traffic
For most businesses the realistic route.
Do not test on your website but in your advertising. There you have enough impressions within two weeks, and Google rotates the variants against each other automatically. Testing ad copy is the cheapest way of learning what appeals to your audience.
What you learn there you then apply to your pages. If the promise within 7 working days works better in your ads than craftsmanship since 2005, you know which message to put on your landing page that converts, without having to test that page.
And test big things, not button colours. At a hundred visitors a month you will never demonstrate that green beats blue. You will demonstrate that a page with prices works better than one without, because that kind of difference is large enough to become visible.
What to know before you start
Two traps with nothing to do with statistics.
Testing on your site can cost you speed. Many testing tools load a script that first hides the page and only then shows the right version. That is exactly the kind of delay that ruins your Core Web Vitals, and then you measure the effect of your test plus the effect of a slower page.
And it must not produce two different pages for Google. Use a tool that swaps on the same page, or work with two addresses where one has a canonical to the other. Otherwise you add duplicate content to your problems.
What to do with a result
Even when B wins.
Implement the winner and note what you learned in one line: which assumption, which outcome, how certain. After ten tests you have a short list of what works in your market, and that is the real result of testing, not that one button.
And be honest when there is no difference. That is a valid result. In roughly half of well-designed tests the change makes no difference, and that is usable information: you no longer have to spend time on it.
What AI contributes here
Making variants and reading the result honestly.
Making five variants of a heading or an ad text that genuinely differ is work a model is fast at. That avoids the classic situation where you test two versions that really say the same thing and therefore never produce a difference.
More important is the arithmetic: calculating how many conversions you need, tracking whether you are there and warning when a difference still falls within the noise. That is exactly where people fool themselves. What the model cannot invent: which assumption is worth testing. That comes from your conversations with customers.
What you can do today
Half an hour, and you know whether testing makes sense.
Check how many conversions your main page produces per month. If it is fewer than thirty, testing on that page is pointless and you are better off testing your ad copy. If it is hundreds, there is genuinely something to gain.
Then formulate a hypothesis from your own experience: what is the question customers most often ask on the phone before saying yes? Put the answer to that question prominently on the page. That is usually not worth a test but simply an improvement you implement straight away.
Testing belongs to the last stretch of climbing higher in Google: by the time you have enough visitors to prove something, the rest is usually in order.
More from the knowledge base
All 27 articles in this series →Higher in Google
Higher in GoogleSearch intent: why the wrong page never wins
Higher in GoogleLong tail keywords: why winning small pays more
Higher in GoogleGoogle Keyword Planner: how to read it properly
Higher in GoogleCompetitor analysis: working out why the other one wins
Higher in GoogleCore Web Vitals: what the three metrics really mean
Higher in GoogleSchema markup: what structured data does and does not give you
Higher in GoogleCanonical and duplicate content: the same page on five addresses
Higher in GoogleRobots.txt and sitemap: the two files that decide what Google sees
Higher in GoogleRebuilding your website without losing rankings
Higher in GoogleTitle and meta description: the two lines that get clicked
Higher in GoogleGoogle core update: what to do when you suddenly drop
Higher in GoogleMaking a content calendar: from stray ideas to a plan
Higher in GoogleFeatured snippets: the answer box above position one
Higher in GoogleE-E-A-T: why Google does or does not trust you
Higher in GoogleEarning backlinks: getting links without buying them
Higher in GoogleSEO audit: checking your site in a fixed order
Higher in GoogleNegative Google reviews: what you can and cannot do
Higher in GooglePosts on your Google Business Profile: what they do and do not do
Higher in GoogleGoogle Tag Manager: what it is and when you need it
Higher in GoogleMeasuring conversions: measure what you want to know, not what is easy
Higher in GoogleConsent and tracking: measuring within the rules
Higher in GoogleSEO reporting: which figures to follow and which to ignore
Higher in GoogleQuality score: why you pay more than your competitor
Higher in GoogleAdvertising on Bing: the second search engine nobody includes
Higher in GoogleA landing page that converts: where your ad money lands
Testimonials
We Build Your
Online Backbone
A website is the foundation. But a foundation on its own does not keep a business standing: you also need to be found, you need ads that bring in the right people and systems that catch every enquiry instead of letting it slip.
We build that whole frame. The website or webshop, the SEO and Google Ads around it, and the automation behind it: from CRM and quotes to following up on every request. Separately those parts bring little: a fine site without visitors, or visitors nobody follows up. Together they become a business that brings in customers every day.
What entrepreneurs think of that, you can read here.
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Dat traject loopt nog, maar we hebben nu al drie sollicitanten binnengekregen. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top. Ze denken goed mee, reageren snel en leveren gewoon goed werk. Zeker een aanrader als je je bedrijf wilt automatiseren, online beter zichtbaar wilt worden en processen slimmer wilt inrichten!
Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had. Professioneel, betrouwbaar en heel fijn om mee samen te werken. Absoluut een aanrader!
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super bedrijf. Mijn hele website heb ik bij hun laten bouwen. Heel aardige mensen, top service.
De samenwerking tussen Aanvraagmachine.nl en DPS Media is vanaf de start een mega succes. DPS helpt hun klanten om maximaal online te groeien en voor een select aantal klanten bouwen we daar vanuit Aanvraagmachine.nl een complete extra leadmachine naast. Dikkie en Simon zijn beide niet weg te slaan als het gaat om hun klanten, denken continu mee en willen vooral resultaat zien. Korte lijnen, snel schakelen en geen onnodig gedoe.
Top service! Snelle website die precies past bij de klantreis van mijn bedrijf.
Super blij met het resultaat! Dankje Dikkie voor alles en tot snel.
De mannen van DPS hebben een mooie website voor mij gebouwd. Korte lijnen en snelle acties maken werken met DPS Media een feestje.
Blij met het eindresultaat. Hele goede service. Ze denken met je mee, een echte aanrader. We zijn nu 3 maanden verder en ik haal al klanten uit mijn website. Het moet nog meer worden, maar daar zijn we mee bezig!
Zeer tevreden jongens!
Wat ons is overkomen was onmenselijk, maar daar was gelukkig DPS Media. Ze hoorden ons verhaal en kwamen direct met de juiste oplossingen. We worden gehoord en wat een geweldige website hebben we nu. Bedankt Dikkie en Simon voor jullie inzet.
DPS Media heeft mijn nieuwe website gemaakt en geheel naar tevredenheid. Zeer professioneel en persoonlijk in hun manier van zaken doen. Kortom: een aanrader!
Via Instagram ben ik in contact gekomen met DPS Media. Na een prettig kennismakingsgesprek hebben zij mijn wensen goed in kaart gebracht en zijn ze gestart met het bouwen van mijn website. Het resultaat is precies zoals ik het voor ogen had. Ik ben zeer tevreden over de service, communicatie en het eindresultaat.
Ook ik kreeg een e-mail, eerst vond ik dit raar. Maar na een video-afspraak en een conceptontwerp te hebben gezien ben ik met ze in zee gegaan. Na een week was de site klaar. Alles ging per WhatsApp of bellen. Goede communicatie, kort en bondig, daar hou ik van. Vragen werden beantwoord. Ik ben super tevreden, helemaal naar mijn smaak.
Ik had een verouderde website van 10 jaar geleden. Dikkie deed mij een voorstel voor een gratis conceptontwerp, dat zag er goed uit en toen ben ik in zee gegaan met dit bedrijf. Momenteel bouwen ze nog een website voor mij. Bedankt mannen.
Ik kreeg een mailtje binnen van dit bedrijf, ze vroegen of ik een gratis conceptontwerp wilde zien voor mijn website. Ik vond dat natuurlijk prima, uiteindelijk heb ik de website gekocht en die voldoet prima. Top service Dikkie!
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Dat traject loopt nog, maar we hebben nu al drie sollicitanten binnengekregen. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top. Ze denken goed mee, reageren snel en leveren gewoon goed werk. Zeker een aanrader als je je bedrijf wilt automatiseren, online beter zichtbaar wilt worden en processen slimmer wilt inrichten!
Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had. Professioneel, betrouwbaar en heel fijn om mee samen te werken. Absoluut een aanrader!
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super bedrijf. Mijn hele website heb ik bij hun laten bouwen. Heel aardige mensen, top service.
De samenwerking tussen Aanvraagmachine.nl en DPS Media is vanaf de start een mega succes. DPS helpt hun klanten om maximaal online te groeien en voor een select aantal klanten bouwen we daar vanuit Aanvraagmachine.nl een complete extra leadmachine naast. Dikkie en Simon zijn beide niet weg te slaan als het gaat om hun klanten, denken continu mee en willen vooral resultaat zien. Korte lijnen, snel schakelen en geen onnodig gedoe.
Top service! Snelle website die precies past bij de klantreis van mijn bedrijf.
Super blij met het resultaat! Dankje Dikkie voor alles en tot snel.
De mannen van DPS hebben een mooie website voor mij gebouwd. Korte lijnen en snelle acties maken werken met DPS Media een feestje.
Blij met het eindresultaat. Hele goede service. Ze denken met je mee, een echte aanrader. We zijn nu 3 maanden verder en ik haal al klanten uit mijn website. Het moet nog meer worden, maar daar zijn we mee bezig!
Zeer tevreden jongens!
Wat ons is overkomen was onmenselijk, maar daar was gelukkig DPS Media. Ze hoorden ons verhaal en kwamen direct met de juiste oplossingen. We worden gehoord en wat een geweldige website hebben we nu. Bedankt Dikkie en Simon voor jullie inzet.
DPS Media heeft mijn nieuwe website gemaakt en geheel naar tevredenheid. Zeer professioneel en persoonlijk in hun manier van zaken doen. Kortom: een aanrader!
Via Instagram ben ik in contact gekomen met DPS Media. Na een prettig kennismakingsgesprek hebben zij mijn wensen goed in kaart gebracht en zijn ze gestart met het bouwen van mijn website. Het resultaat is precies zoals ik het voor ogen had. Ik ben zeer tevreden over de service, communicatie en het eindresultaat.
Ook ik kreeg een e-mail, eerst vond ik dit raar. Maar na een video-afspraak en een conceptontwerp te hebben gezien ben ik met ze in zee gegaan. Na een week was de site klaar. Alles ging per WhatsApp of bellen. Goede communicatie, kort en bondig, daar hou ik van. Vragen werden beantwoord. Ik ben super tevreden, helemaal naar mijn smaak.
Ik had een verouderde website van 10 jaar geleden. Dikkie deed mij een voorstel voor een gratis conceptontwerp, dat zag er goed uit en toen ben ik in zee gegaan met dit bedrijf. Momenteel bouwen ze nog een website voor mij. Bedankt mannen.
Ik kreeg een mailtje binnen van dit bedrijf, ze vroegen of ik een gratis conceptontwerp wilde zien voor mijn website. Ik vond dat natuurlijk prima, uiteindelijk heb ik de website gekocht en die voldoet prima. Top service Dikkie!
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top.
Meer dan tevreden! Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had.
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Geweldig bedrijf, heeft met de techniek van nu (AI) mijn website voorzien van geweldige punten. Zeer fijne gasten om mee te werken.
Wij zijn ontzettend blij met onze website! Ze hebben echt supergoed hun best gedaan om precies te maken wat wij voor ogen hadden. Ze schakelen supersnel, luisteren goed naar onze wensen en denken echt met ons mee. Heel fijn om zo samen te werken, absoluut een aanrader!
Zeer tevreden over de samenwerking met DPS Media. Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super service, best bedrijf en aardige mensen.
De mannen hebben ons voorzien van een mooie site EN veel aanvragen!
Perfecte en nette websites van DPS. Door de lijnen kort te houden bouwt DPS een mooie site die je zelf kan reviewen met opmerkingen en toevoegingen.
DPS Media is een mooi jong bedrijf dat voor mijn bedrijf BHV Weesp een mooie website heeft gemaakt. Daarnaast zijn de mannen erg welwillend met aanpassingen die ik wens. Via een eigen WhatsApp-groep hebben we korte lijnen.
Website naar tevredenheid gebouwd. Snelle en goede service.
Deze mensen weten wat ze doen en zijn daar goed in. Communicatie verloopt soepel en snel.
DPS Media heeft mijn nieuwe website geheel naar tevredenheid gemaakt. Een fijne samenwerking en een passend voorstel voor mijn bedrijfsomvang. Professioneel en persoonlijk in hun manier van zaken doen. Echt een aanrader!
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top.
Meer dan tevreden! Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had.
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Geweldig bedrijf, heeft met de techniek van nu (AI) mijn website voorzien van geweldige punten. Zeer fijne gasten om mee te werken.
Wij zijn ontzettend blij met onze website! Ze hebben echt supergoed hun best gedaan om precies te maken wat wij voor ogen hadden. Ze schakelen supersnel, luisteren goed naar onze wensen en denken echt met ons mee. Heel fijn om zo samen te werken, absoluut een aanrader!
Zeer tevreden over de samenwerking met DPS Media. Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super service, best bedrijf en aardige mensen.
De mannen hebben ons voorzien van een mooie site EN veel aanvragen!
Perfecte en nette websites van DPS. Door de lijnen kort te houden bouwt DPS een mooie site die je zelf kan reviewen met opmerkingen en toevoegingen.
DPS Media is een mooi jong bedrijf dat voor mijn bedrijf BHV Weesp een mooie website heeft gemaakt. Daarnaast zijn de mannen erg welwillend met aanpassingen die ik wens. Via een eigen WhatsApp-groep hebben we korte lijnen.
Website naar tevredenheid gebouwd. Snelle en goede service.
Deze mensen weten wat ze doen en zijn daar goed in. Communicatie verloopt soepel en snel.
DPS Media heeft mijn nieuwe website geheel naar tevredenheid gemaakt. Een fijne samenwerking en een passend voorstel voor mijn bedrijfsomvang. Professioneel en persoonlijk in hun manier van zaken doen. Echt een aanrader!
Follow us
on social media