Ilmainen SEO-auditointi
Tarkista sivustosi hakukoneoptimointi: tekninen SEO, metatiedot, nopeus, mobiili, linkit ja AI-luettavuus. Pisteet 12 osa-alueelta ja korjausehdotukset tärkeysjärjestyksessä.
Estääkö sivustosi tekoälyt?
Jos sivustosi robots.txt estää tekoälyjen botit, tekoäly ei voi lukea sivujasi eikä viitata niihin vastauksissaan. Esto voi olla peräisin vanhasta asetuksesta tai lisäosasta, eikä sivuston omistaja välttämättä tiedä siitä.
- Tulos sekunneissa
- Ei sähköpostia
- 14 tekoälybottia
Mitä tarkistus kertoo
Pääsy on ensimmäinen askel.
Tarkistus lukee sivustosi julkisen robots.txt-tiedoston ja näyttää liikennevalona jokaisen tunnetun tekoälybotin kohdalla, pääseekö se sivuillesi.
Kaikki botit eivät ole samanarvoisia. Osa kerää aineistoa mallien koulutukseen, osa hakee lähteitä vastauksiin juuri sillä hetkellä, kun joku kysyy. Jälkimmäisten estäminen tarkoittaa, ettei tekoäly voi suositella sinua lähdeviitteellä.
- Live-haun botit – esimerkiksi ChatGPT-User, Claude-User ja Perplexity-User hakevat lähteitä vastauksiin reaaliajassa.
- Hakuindeksien botit – esimerkiksi OAI-SearchBot ja PerplexityBot rakentavat tekoälyhakujen hakemistoa.
- Koulutusaineiston botit – esimerkiksi GPTBot, ClaudeBot ja Google-Extended keräävät aineistoa mallien koulutukseen.
- Muut tunnetut botit – esimerkiksi Meta-ExternalAgent ja Bytespider.
Robots.txt ja tekoälybotit
Robots.txt on tekstitiedosto sivustosi juuressa, esimerkiksi yritys.fi/robots.txt. Siinä kerrotaan boteille, mitä sivuston osia ne saavat lukea. Hakukoneet ja tunnetut tekoälybotit noudattavat sitä, joten yksi rivi voi päättää, näkeekö ChatGPT tai Perplexity sivujasi lainkaan.
Jokainen ohjeryhmä alkaa User-agent-rivillä, joka nimeää botin, ja sitä seuraavat Disallow- ja Allow-rivit. Tähti * tarkoittaa kaikkia botteja.
Esimerkki: hakuun kyllä, koulutukseen ei
Tämä robots.txt päästää kaikki botit sivustolle mutta estää kaksi koulutusaineistoa keräävää bottia. Tekoälyt voivat silti hakea sivujasi vastauksiin ja viitata niihin.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://yritys.fi/sitemap.xmlYleisimmät virheet
- Kaikki estetty kehitysajalta.
User-agent: *jaDisallow: /estävät jokaisen botin. Rivi jää usein voimaan, kun sivusto julkaistaan. WordPressissä sama syntyy asetuksesta "Estä hakukoneita indeksoimasta sivustoa". - Oma ryhmä ohittaa yleiset säännöt. Botti noudattaa vain tarkinta itseään koskevaa ryhmää. Jos tiedostossa on ryhmä
User-agent: GPTBot, GPTBot ei lue*-ryhmän sääntöjä lainkaan. - Lisäosa muuttaa tiedostoa. Tietoturva- ja hakukonelisäosat voivat lisätä estoja, joista sivuston omistaja ei tiedä. WordPress tuottaa robots.txt:n itse, jos sivuston juuressa ei ole omaa tiedostoa.
- Robots.txt sekoitetaan noindexiin. Robots.txt estää lukemisen, mutta ei poista sivua hakutuloksista.
Tekoälybotit, jotka tarkistus tuntee
Nimi on se, joka kirjoitetaan robots.txt:n User-agent-riville.
| User-agent | Kuka ja mihin |
|---|---|
GPTBot | OpenAI (koulutus) |
ChatGPT-User | OpenAI (live-haku) |
OAI-SearchBot | OpenAI (hakuindeksi) |
ClaudeBot | Anthropic (koulutus) |
Claude-User | Anthropic (live-haku) |
anthropic-ai | Anthropic |
PerplexityBot | Perplexity (indeksi) |
Perplexity-User | Perplexity (live-haku) |
meta-externalagent | Meta AI |
Google-Extended | Google (Gemini-koulutus) |
Bytespider | ByteDance |
CCBot | Common Crawl |
Amazonbot | Amazon (Alexa) |
Applebot-Extended | Apple (AI-koulutus) |
Robots.txt on pyyntö, ei lukko: se ohjaa sääntöjä noudattavia botteja mutta ei suojaa sivuja. Jos haluat tietää, suositteleeko tekoäly yritystäsi, kun se pääsee sivuillesi, kokeile GEO-testiä tai lue GEO-optimoinnin opas.
Näin se toimii
Kolme vaihetta.
Syötä verkko-osoitteesi
Ei rekisteröitymistä eikä sähköpostia.
Tarkistus lukee robots.txt:n
Jokaisen botin kohdalla katsotaan, mitkä säännöt koskevat sitä.
Näet tuloksen heti
Vihreä, keltainen tai punainen jokaiselle botille ja selitys siitä, mitä esto tarkoittaa.
Kysyttyä
Usein kysyttyä.
Pitäisikö tekoälybotit päästää sivustolle?
Jos haluat, että tekoäly voi suositella yritystäsi ja viitata sivuihisi, ainakin live-haun ja hakuindeksien botit kannattaa päästää sivustolle. Koulutusaineistoa keräävien bottien estäminen on makuasia, eikä se estä tekoälyä hakemasta sivujasi vastauksiin.
Mistä tiedän, kuka botit on estänyt?
Estot ovat sivustosi robots.txt-tiedostossa. Ne ovat voineet tulla sivuston alkuperäisestä asennuksesta, tietoturva- tai hakukonelisäosasta tai palveluntarjoajan oletusasetuksista. Tarkistus näyttää, mitkä säännöt kutakin bottia koskevat.
Riittääkö, että botit pääsevät sivustolle?
Ei aina. Pääsy tarkoittaa, että tekoäly voi lukea sivujasi, mutta ei sitä, että se suosittelee sinua. Sen näet GEO-testillä.
Mikä on robots.txt?
Robots.txt on sivuston juuressa oleva tekstitiedosto, esimerkiksi yritys.fi/robots.txt. Siinä kerrotaan hakukoneiden ja tekoälyjen boteille, mitä sivuston osia ne saavat lukea. Jokainen ohje alkaa User-agent-rivillä, jota seuraavat Disallow- ja Allow-rivit.
Poistaako robots.txt sivun Googlen hakutuloksista?
Ei. Robots.txt estää lukemisen, ei indeksointia: estetty sivu voi silti näkyä hakutuloksissa, jos muut sivut linkittävät siihen. Sivu poistetaan hakutuloksista noindex-merkinnällä, ja sen pitää olla luettavissa, jotta Google näkee merkinnän.
Vaikuttaako Google-Extendedin estäminen Google-hakuun?
Ei. Google-Extended koskee Googlen tekoälymallien koulutusta, ei hakutuloksia. Googlen hakua ohjaa Googlebot, jota ei kannata estää.
Muut ilmaiset työkalut
Kokeile myös nämä.
GEO-testi: suositteleeko tekoäly yritystäsi?
Testaa näkyvyytesi tekoälyn vastauksissa: tekoäly ehdottaa sivustosi perusteella kysymyksiä, joita asiakkaasi voisivat esittää, ja kilpailijoita vertailuun.
Testi kertoo tämän päivän. Digivahti valvoo joka päivä.
Digivahti Free tarkistaa sivustosi jatkuvasti ja hälyttää, kun jokin muuttuu. Ei luottokorttia, ja ensimmäiset 30 päivää saat koko Digivahti Perus -paketin veloituksetta.