digivahtiWebbiketulta Webbikettu

Estääkö sivustosi tekoälyt?

Jos sivustosi robots.txt estää tekoälyjen botit, tekoäly ei voi lukea sivujasi eikä viitata niihin vastauksissaan. Esto voi olla peräisin vanhasta asetuksesta tai lisäosasta, eikä sivuston omistaja välttämättä tiedä siitä.

  • Tulos sekunneissa
  • Ei sähköpostia
  • 14 tekoälybottia
Mitä tarkistus kertoo

Pääsy on ensimmäinen askel.

Tarkistus lukee sivustosi julkisen robots.txt-tiedoston ja näyttää liikennevalona jokaisen tunnetun tekoälybotin kohdalla, pääseekö se sivuillesi.

Kaikki botit eivät ole samanarvoisia. Osa kerää aineistoa mallien koulutukseen, osa hakee lähteitä vastauksiin juuri sillä hetkellä, kun joku kysyy. Jälkimmäisten estäminen tarkoittaa, ettei tekoäly voi suositella sinua lähdeviitteellä.

  • Live-haun botit – esimerkiksi ChatGPT-User, Claude-User ja Perplexity-User hakevat lähteitä vastauksiin reaaliajassa.
  • Hakuindeksien botit – esimerkiksi OAI-SearchBot ja PerplexityBot rakentavat tekoälyhakujen hakemistoa.
  • Koulutusaineiston botit – esimerkiksi GPTBot, ClaudeBot ja Google-Extended keräävät aineistoa mallien koulutukseen.
  • Muut tunnetut botit – esimerkiksi Meta-ExternalAgent ja Bytespider.
Näin se toimii

Kolme vaihetta.

Syötä verkko-osoitteesi

Ei rekisteröitymistä eikä sähköpostia.

Tarkistus lukee robots.txt:n

Jokaisen botin kohdalla katsotaan, mitkä säännöt koskevat sitä.

Näet tuloksen heti

Vihreä, keltainen tai punainen jokaiselle botille ja selitys siitä, mitä esto tarkoittaa.

Kysyttyä

Usein kysyttyä.

Pitäisikö tekoälybotit päästää sivustolle?

Jos haluat, että tekoäly voi suositella yritystäsi ja viitata sivuihisi, ainakin live-haun ja hakuindeksien botit kannattaa päästää sivustolle. Koulutusaineistoa keräävien bottien estäminen on makuasia, eikä se estä tekoälyä hakemasta sivujasi vastauksiin.

Mistä tiedän, kuka botit on estänyt?

Estot ovat sivustosi robots.txt-tiedostossa. Ne ovat voineet tulla sivuston alkuperäisestä asennuksesta, tietoturva- tai hakukonelisäosasta tai palveluntarjoajan oletusasetuksista. Tarkistus näyttää, mitkä säännöt kutakin bottia koskevat.

Riittääkö, että botit pääsevät sivustolle?

Ei aina. Pääsy tarkoittaa, että tekoäly voi lukea sivujasi, mutta ei sitä, että se suosittelee sinua. Sen näet AI-näkyvyystestillä.

Muut ilmaiset työkalut

Kokeile myös nämä.

Testi kertoo tämän päivän. Digivahti valvoo joka päivä.

Digivahti Free tarkistaa sivustosi jatkuvasti ja hälyttää, kun jokin muuttuu. Ei luottokorttia, ja ensimmäiset 30 päivää saat koko Digivahti Perus -paketin veloituksetta.