Higher in GoogleHigher in Google
Robots.txt and sitemap: the two files that decide what Google sees
We meet them as a source of trouble on nearly every existing site we take over. Usually not because something complicated is in there, but because something was once put in and never taken out.
In short
- What each file does. They look alike and do completely different things.
- The four classic mistakes. These are the ones we meet most.
- Blocking is not hiding. The distinction that causes the most damage.
DPS MediaWritten by DPS Media · Published 4 September 2026
Want this for your business?We build the site, the visibility and the follow-up as one system.Book a call
What each file does
They look alike and do completely different things.
Robots.txt is a no-entry sign
It sits at your main address with /robots.txt appended and says which folders and pages search engines may not visit. It is voluntary: polite search engines obey it, malicious parties do not. So never use it to keep something secret.
The sitemap is a road map
A file with all the addresses you consider important, usually sitemap.xml. It is no guarantee that pages get included, but it helps Google find what it would otherwise miss: new pages, pages deep in your structure, pages few things link to.
In your robots.txt you add a line at the bottom pointing to your sitemap. That is the link between the two and it is missing surprisingly often.
The four classic mistakes
These are the ones we meet most.
The block from the build phase
During the build a developer locks the whole site. At launch that gets forgotten. Your site is there, it is beautiful, and Google is not allowed to look at it. This is the most expensive line of text in existence and it costs you months.
Blocking your stylesheets and scripts
People used to close off technical folders to save crawl budget. Google now renders your page the way a browser does, so without those files it sees a broken page and judges it as such.
A sitemap that is wrong
Addresses that no longer exist, addresses with http while your site runs on https, or a sitemap left at last year's page count. Google works through it, finds errors and starts taking it less seriously.
Pages in the sitemap you excluded yourself
Your thank-you page is set to no-index and sits in your sitemap at the same time. Those are two contradictory signals. Pick one: a page you do not want in the results does not belong in your sitemap.
Blocking is not hiding
The distinction that causes the most damage.
If you block a page in robots.txt, Google may not visit it. But it can still include it in the results if something else links to it, with a bare line underneath instead of your description. Blocking is therefore not the same as keeping out.
If you genuinely want a page out of the results, put a no-index instruction in the page itself. And then you must not block it in robots.txt, because Google cannot read that instruction. That is the classic contradiction: people do both, and the effect is exactly reversed.
What does belong in them
For an ordinary site this is enough.
In robots.txt: access for all search engines, a block on your admin area and on the result pages of your own search function, and a reference to your sitemap. Most sites need no more, and more is usually a risk.
In your sitemap: only addresses that exist, use https, return a 200 status and that you want in the results. No redirects, no pages that point elsewhere with a canonical, no thank-you pages. If you run an English and a Dutch version, include the language references so Google knows which page belongs to which.
How to check it
Three minutes, two addresses.
Type your domain with /robots.txt appended and read what is there. If you see a line forbidding everything, you know enough. Then type your domain with /sitemap.xml and count whether the number of addresses roughly matches your site.
In Search Console you can submit your sitemap and then see how many addresses were read and how many were included. A big difference means something in there Google does not want, and that is usually duplicate content or a redirect.
During a move or rebuild
This is where it most often goes wrong.
On a new site the build-phase block is often still on at launch. Put checking robots.txt as the first item on your delivery list. We do that as standard, along with a check that every page has a canonical and that the sitemap matches the real page count.
When rebuilding your website without losing rankings, the old sitemap should stay up for a while so Google walks the old addresses and finds your redirects. Only remove it once Search Console shows the new addresses have been included.
What AI contributes here
Checking, every single time.
Verifying on every delivery that each address in the sitemap really exists, that no redirects are in there, that no pages are missing and that robots.txt blocks nothing needed, is dull and therefore error-prone work. We run it automatically before every deploy, and it stops exactly the faults you would only notice three weeks later.
What a model cannot decide: which pages you deliberately want out of the results. A quote page with agreed prices for one client does not belong in there, but only you know that. Write down that kind of choice, or it simply comes back on the next build.
What you can do today
Five minutes, and you know whether you have a problem.
Open your robots.txt. If there is a line forbidding all search engines the whole site, that is the answer to every question you have about not being found. If there is nothing, that is fine; no robots.txt is better than a wrong one.
Then look in Search Console under page indexing at the number of included pages and compare it with the number in your sitemap. If there is a big gap, run an SEO audit on the missing pages. In nine cases out of ten the cause is duplicate content or a setting somebody once switched on.
These two files sit right at the front of the order: while something is wrong here, all your other work on climbing higher in Google has no effect.
More from the knowledge base
All 27 articles in this series →Higher in Google
Higher in GoogleSearch intent: why the wrong page never wins
Higher in GoogleLong tail keywords: why winning small pays more
Higher in GoogleGoogle Keyword Planner: how to read it properly
Higher in GoogleCompetitor analysis: working out why the other one wins
Higher in GoogleCore Web Vitals: what the three metrics really mean
Higher in GoogleSchema markup: what structured data does and does not give you
Higher in GoogleCanonical and duplicate content: the same page on five addresses
Higher in GoogleRebuilding your website without losing rankings
Higher in GoogleTitle and meta description: the two lines that get clicked
Higher in GoogleGoogle core update: what to do when you suddenly drop
Higher in GoogleMaking a content calendar: from stray ideas to a plan
Higher in GoogleFeatured snippets: the answer box above position one
Higher in GoogleE-E-A-T: why Google does or does not trust you
Higher in GoogleEarning backlinks: getting links without buying them
Higher in GoogleSEO audit: checking your site in a fixed order
Higher in GoogleNegative Google reviews: what you can and cannot do
Higher in GooglePosts on your Google Business Profile: what they do and do not do
Higher in GoogleGoogle Tag Manager: what it is and when you need it
Higher in GoogleMeasuring conversions: measure what you want to know, not what is easy
Higher in GoogleConsent and tracking: measuring within the rules
Higher in GoogleSEO reporting: which figures to follow and which to ignore
Higher in GoogleQuality score: why you pay more than your competitor
Higher in GoogleAdvertising on Bing: the second search engine nobody includes
Higher in GoogleA/B testing: testing without fooling yourself
Higher in GoogleA landing page that converts: where your ad money lands
Testimonials
We Build Your
Online Backbone
A website is the foundation. But a foundation on its own does not keep a business standing: you also need to be found, you need ads that bring in the right people and systems that catch every enquiry instead of letting it slip.
We build that whole frame. The website or webshop, the SEO and Google Ads around it, and the automation behind it: from CRM and quotes to following up on every request. Separately those parts bring little: a fine site without visitors, or visitors nobody follows up. Together they become a business that brings in customers every day.
What entrepreneurs think of that, you can read here.
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Dat traject loopt nog, maar we hebben nu al drie sollicitanten binnengekregen. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top. Ze denken goed mee, reageren snel en leveren gewoon goed werk. Zeker een aanrader als je je bedrijf wilt automatiseren, online beter zichtbaar wilt worden en processen slimmer wilt inrichten!
Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had. Professioneel, betrouwbaar en heel fijn om mee samen te werken. Absoluut een aanrader!
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super bedrijf. Mijn hele website heb ik bij hun laten bouwen. Heel aardige mensen, top service.
De samenwerking tussen Aanvraagmachine.nl en DPS Media is vanaf de start een mega succes. DPS helpt hun klanten om maximaal online te groeien en voor een select aantal klanten bouwen we daar vanuit Aanvraagmachine.nl een complete extra leadmachine naast. Dikkie en Simon zijn beide niet weg te slaan als het gaat om hun klanten, denken continu mee en willen vooral resultaat zien. Korte lijnen, snel schakelen en geen onnodig gedoe.
Top service! Snelle website die precies past bij de klantreis van mijn bedrijf.
Super blij met het resultaat! Dankje Dikkie voor alles en tot snel.
De mannen van DPS hebben een mooie website voor mij gebouwd. Korte lijnen en snelle acties maken werken met DPS Media een feestje.
Blij met het eindresultaat. Hele goede service. Ze denken met je mee, een echte aanrader. We zijn nu 3 maanden verder en ik haal al klanten uit mijn website. Het moet nog meer worden, maar daar zijn we mee bezig!
Zeer tevreden jongens!
Wat ons is overkomen was onmenselijk, maar daar was gelukkig DPS Media. Ze hoorden ons verhaal en kwamen direct met de juiste oplossingen. We worden gehoord en wat een geweldige website hebben we nu. Bedankt Dikkie en Simon voor jullie inzet.
DPS Media heeft mijn nieuwe website gemaakt en geheel naar tevredenheid. Zeer professioneel en persoonlijk in hun manier van zaken doen. Kortom: een aanrader!
Via Instagram ben ik in contact gekomen met DPS Media. Na een prettig kennismakingsgesprek hebben zij mijn wensen goed in kaart gebracht en zijn ze gestart met het bouwen van mijn website. Het resultaat is precies zoals ik het voor ogen had. Ik ben zeer tevreden over de service, communicatie en het eindresultaat.
Ook ik kreeg een e-mail, eerst vond ik dit raar. Maar na een video-afspraak en een conceptontwerp te hebben gezien ben ik met ze in zee gegaan. Na een week was de site klaar. Alles ging per WhatsApp of bellen. Goede communicatie, kort en bondig, daar hou ik van. Vragen werden beantwoord. Ik ben super tevreden, helemaal naar mijn smaak.
Ik had een verouderde website van 10 jaar geleden. Dikkie deed mij een voorstel voor een gratis conceptontwerp, dat zag er goed uit en toen ben ik in zee gegaan met dit bedrijf. Momenteel bouwen ze nog een website voor mij. Bedankt mannen.
Ik kreeg een mailtje binnen van dit bedrijf, ze vroegen of ik een gratis conceptontwerp wilde zien voor mijn website. Ik vond dat natuurlijk prima, uiteindelijk heb ik de website gekocht en die voldoet prima. Top service Dikkie!
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Dat traject loopt nog, maar we hebben nu al drie sollicitanten binnengekregen. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top. Ze denken goed mee, reageren snel en leveren gewoon goed werk. Zeker een aanrader als je je bedrijf wilt automatiseren, online beter zichtbaar wilt worden en processen slimmer wilt inrichten!
Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had. Professioneel, betrouwbaar en heel fijn om mee samen te werken. Absoluut een aanrader!
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super bedrijf. Mijn hele website heb ik bij hun laten bouwen. Heel aardige mensen, top service.
De samenwerking tussen Aanvraagmachine.nl en DPS Media is vanaf de start een mega succes. DPS helpt hun klanten om maximaal online te groeien en voor een select aantal klanten bouwen we daar vanuit Aanvraagmachine.nl een complete extra leadmachine naast. Dikkie en Simon zijn beide niet weg te slaan als het gaat om hun klanten, denken continu mee en willen vooral resultaat zien. Korte lijnen, snel schakelen en geen onnodig gedoe.
Top service! Snelle website die precies past bij de klantreis van mijn bedrijf.
Super blij met het resultaat! Dankje Dikkie voor alles en tot snel.
De mannen van DPS hebben een mooie website voor mij gebouwd. Korte lijnen en snelle acties maken werken met DPS Media een feestje.
Blij met het eindresultaat. Hele goede service. Ze denken met je mee, een echte aanrader. We zijn nu 3 maanden verder en ik haal al klanten uit mijn website. Het moet nog meer worden, maar daar zijn we mee bezig!
Zeer tevreden jongens!
Wat ons is overkomen was onmenselijk, maar daar was gelukkig DPS Media. Ze hoorden ons verhaal en kwamen direct met de juiste oplossingen. We worden gehoord en wat een geweldige website hebben we nu. Bedankt Dikkie en Simon voor jullie inzet.
DPS Media heeft mijn nieuwe website gemaakt en geheel naar tevredenheid. Zeer professioneel en persoonlijk in hun manier van zaken doen. Kortom: een aanrader!
Via Instagram ben ik in contact gekomen met DPS Media. Na een prettig kennismakingsgesprek hebben zij mijn wensen goed in kaart gebracht en zijn ze gestart met het bouwen van mijn website. Het resultaat is precies zoals ik het voor ogen had. Ik ben zeer tevreden over de service, communicatie en het eindresultaat.
Ook ik kreeg een e-mail, eerst vond ik dit raar. Maar na een video-afspraak en een conceptontwerp te hebben gezien ben ik met ze in zee gegaan. Na een week was de site klaar. Alles ging per WhatsApp of bellen. Goede communicatie, kort en bondig, daar hou ik van. Vragen werden beantwoord. Ik ben super tevreden, helemaal naar mijn smaak.
Ik had een verouderde website van 10 jaar geleden. Dikkie deed mij een voorstel voor een gratis conceptontwerp, dat zag er goed uit en toen ben ik in zee gegaan met dit bedrijf. Momenteel bouwen ze nog een website voor mij. Bedankt mannen.
Ik kreeg een mailtje binnen van dit bedrijf, ze vroegen of ik een gratis conceptontwerp wilde zien voor mijn website. Ik vond dat natuurlijk prima, uiteindelijk heb ik de website gekocht en die voldoet prima. Top service Dikkie!
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top.
Meer dan tevreden! Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had.
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Geweldig bedrijf, heeft met de techniek van nu (AI) mijn website voorzien van geweldige punten. Zeer fijne gasten om mee te werken.
Wij zijn ontzettend blij met onze website! Ze hebben echt supergoed hun best gedaan om precies te maken wat wij voor ogen hadden. Ze schakelen supersnel, luisteren goed naar onze wensen en denken echt met ons mee. Heel fijn om zo samen te werken, absoluut een aanrader!
Zeer tevreden over de samenwerking met DPS Media. Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super service, best bedrijf en aardige mensen.
De mannen hebben ons voorzien van een mooie site EN veel aanvragen!
Perfecte en nette websites van DPS. Door de lijnen kort te houden bouwt DPS een mooie site die je zelf kan reviewen met opmerkingen en toevoegingen.
DPS Media is een mooi jong bedrijf dat voor mijn bedrijf BHV Weesp een mooie website heeft gemaakt. Daarnaast zijn de mannen erg welwillend met aanpassingen die ik wens. Via een eigen WhatsApp-groep hebben we korte lijnen.
Website naar tevredenheid gebouwd. Snelle en goede service.
Deze mensen weten wat ze doen en zijn daar goed in. Communicatie verloopt soepel en snel.
DPS Media heeft mijn nieuwe website geheel naar tevredenheid gemaakt. Een fijne samenwerking en een passend voorstel voor mijn bedrijfsomvang. Professioneel en persoonlijk in hun manier van zaken doen. Echt een aanrader!
Ik ben ontzettend tevreden over de samenwerking. Ze hebben met behulp van AI een groot deel van mijn systeem geautomatiseerd, waardoor ik inmiddels meerdere uren per maand bespaar. Daarnaast hebben ze ons geholpen met de werving van personeel. Ook hebben ze mijn website compleet vernieuwd en mijn Google Bedrijfsprofiel opgezet en ingericht. Alles wordt professioneel aangepakt en de service is echt top.
Meer dan tevreden! Vanaf het eerste contact ben ik ontzettend goed geholpen. De communicatie is snel, duidelijk en persoonlijk. De website is precies geworden zoals ik voor ogen had en ook de Google-marketing heeft echt gebracht wat ik nodig had.
Ik ben een blije ondernemer. De zaken gaan goed. Bedankt Dikkie en Simon.
Binnen 1,5 week waren we live. We zijn nu 3,5 maand verder en hebben deze maand 43 offertes binnengehaald. Ik kan het gewoon niet geloven. Zoveel geprobeerd, zoveel partijen gehad, dit was mijn laatste adem. Dankjewel DPS.
Ik ben zeer verrast wat de kracht van AI kan betekenen voor je bedrijf! Scheelt me 20 uur per maand aan administratie. Ook zeer verrast met het resultaat dat uit SEA is gekomen en de jongens draaien het met AI. Dikkie bedankt voor een goede samenwerking en een hele lange, haha.
Geweldig bedrijf, heeft met de techniek van nu (AI) mijn website voorzien van geweldige punten. Zeer fijne gasten om mee te werken.
Wij zijn ontzettend blij met onze website! Ze hebben echt supergoed hun best gedaan om precies te maken wat wij voor ogen hadden. Ze schakelen supersnel, luisteren goed naar onze wensen en denken echt met ons mee. Heel fijn om zo samen te werken, absoluut een aanrader!
Zeer tevreden over de samenwerking met DPS Media. Simon en Dikkie denken goed mee, zijn prettig in de communicatie en komen professioneel en betrouwbaar over. Wij werken met DPS Media onder andere voor onze online marketing en SEA-campagnes. We merken dat er actief wordt meegedacht over hoe we beter vindbaar kunnen worden en hoe we meer relevante aanvragen via Google kunnen binnenhalen. Wat ik vooral waardeer is de persoonlijke aanpak, snelle communicatie en het feit dat er niet alleen naar advertenties wordt gekeken, maar ook naar het resultaat voor ons bedrijf.
Super service, best bedrijf en aardige mensen.
De mannen hebben ons voorzien van een mooie site EN veel aanvragen!
Perfecte en nette websites van DPS. Door de lijnen kort te houden bouwt DPS een mooie site die je zelf kan reviewen met opmerkingen en toevoegingen.
DPS Media is een mooi jong bedrijf dat voor mijn bedrijf BHV Weesp een mooie website heeft gemaakt. Daarnaast zijn de mannen erg welwillend met aanpassingen die ik wens. Via een eigen WhatsApp-groep hebben we korte lijnen.
Website naar tevredenheid gebouwd. Snelle en goede service.
Deze mensen weten wat ze doen en zijn daar goed in. Communicatie verloopt soepel en snel.
DPS Media heeft mijn nieuwe website geheel naar tevredenheid gemaakt. Een fijne samenwerking en een passend voorstel voor mijn bedrijfsomvang. Professioneel en persoonlijk in hun manier van zaken doen. Echt een aanrader!
Follow us
on social media