Pošalji upitEN
Svi članci

SEO4 min čitanja

5 razloga zašto vas ChatGPT ne vidi — i kako ih popraviti

ChatGPT, Claude i Perplexity ne mogu citirati stranicu koju ne vide. Pet čestih prepreka za AI botove i kako svaku provjeriti i ukloniti u jednom popodnevu.

Mala bijela figura robota iza mutnog stakla ispred laptopa s kodom u tamnoj sobi

Sve više ljudi umjesto Googlea pita ChatGPT, Claude ili Perplexity. Ti alati odgovaraju iz onoga što su njihovi roboti (crawleri) uspjeli pročitati. Ako robot ne može doći do vaše stranice ili u njoj ne vidi tekst, za taj alat vaša tvrtka praktički ne postoji.

Dobra vijest: većina prepreka nije namjerna i popravlja se u jednom popodnevu. Ovo je pet koje se najčešće pojavljuju.

1. Robots.txt zatvara vrata pogrešnim botovima

Datoteka robots.txt govori robotima kamo smiju. Problemi su najčešće tri:

  • Popis „blokiraj AI” prepisan s interneta. Njime ste možda isključili i botove koji vas citiraju u odgovorima, a ne samo one koji skupljaju podatke za treniranje.
  • Opće zabrane poput Disallow: / zaostale s razvojne verzije stranice.
  • Pogrešno razumijevanje grupa. Robot slijedi samo grupu koja ga najtočnije imenuje. Ako postoji blok User-agent: GPTBot, pravila iz bloka User-agent: * za njega više ne vrijede.

OpenAI ima odvojene botove za različite svrhe. OAI-SearchBot puni pretraživanje u ChatGPT-u, a GPTBot skuplja sadržaj za treniranje modela. Postavke su neovisne, pa možete biti vidljivi u odgovorima, a odbiti treniranje:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Sitemap: https://vasa-domena.hr/sitemap.xml

OpenAI navodi da sustavu treba oko 24 sata da primijeti promjenu u robots.txt.

2. CDN ili vatrozid blokira AI botove umjesto vas

Ovo je danas najčešći uzrok za koji vlasnik stranice ne zna. Cloudflare, preko kojeg ide oko petine weba, od srpnja 2025. kod dodavanja nove domene pita želite li pustiti AI robote, a zadana postavka je zabrana. Od 15. rujna 2026. nove domene po zadanom blokiraju botove za treniranje i AI agente na stranicama s oglasima. Botovi za pretraživanje i dalje su dopušteni.

Važna sitnica: ako blokirate treniranje, blokirate i botove koji rade više stvari odjednom (Cloudflare navodi Googlebot, Applebot i Bingbot). Stranica tada nestaje i iz mjesta gdje ste očekivali da je vidljiva.

Popravak: u Cloudflareu otvorite Security → Settings i pregledajte postavke za AI botove. Isto vrijedi za druge CDN-ove i hosting pakete koji imaju gumb „blokiraj botove”.

3. Sadržaj postoji tek nakon JavaScripta

Mnoge moderne stranice šalju praznu HTML ljusku, a tekst iscrta JavaScript u pregledniku. Čovjek to ne primijeti, ali Vercelova analiza pokazala je da ChatGPT-ov i Claudeov robot preuzimaju JavaScript datoteke, ali ih ne izvršavaju. Vide samo ono što je u izvornom HTML-u. Googleov Gemini i Applebot iscrtavaju stranice, pa vas Google može vidjeti dok vas ChatGPT ne vidi.

Provjera: u pregledniku otvorite Prikaz izvora stranice (Ctrl+U) i potražite rečenicu s vrha stranice. Ako je nema, nema je ni za AI.

Popravak: tekst, naslove, cijene i kontakt treba renderirati na poslužitelju (SSR) ili unaprijed (statička generacija). Next.js, Nuxt i Astro to rade sami ako ih tako postavite. Animacije i 3D mogu ostati u JavaScriptu, ali sadržaj ne smije ovisiti o njima.

4. Provjera „jeste li čovjek” na javnim stranicama

CAPTCHA, ekran „provjeravamo vaš preglednik”, agresivan sigurnosni dodatak ili ograničenje broja zahtjeva štite od napadača, ali i robot ih ne može proći. Ista sudbina čeka sadržaj iza prijave i stranice koje se otvaraju tek nakon klika na kolačiće.

Popravak: izazove ostavite za obrasce, prijavu i košaricu, a ne za tekstove i usluge. Ako vatrozid traži popis dopuštenih adresa, OpenAI objavljuje IP raspone svojih botova. Za ostale botove podatke potražite u dokumentaciji pružatelja.

5. Stranica sama kaže „ne”: noindex, greške i sporost

Neke prepreke stoje u samoj stranici:

  • noindex zaostao s razvojne verzije, uključena opcija „Obeshrabri tražilice” u WordPressu ili zaglavlje X-Robots-Tag: noindex koje je dodao poslužitelj.
  • Krivi statusni kodovi: stranica koja vraća 403 ili 500 robotu, preusmjerava na prijavu ili ide kroz lanac od nekoliko preusmjeravanja.
  • Sporost: roboti ne čekaju dugo. Ako poslužitelj odgovara nekoliko sekundi, robot može odustati prije nego dobije sadržaj.

Popravak: pretražite izvor stranice za noindex, u Google Search Consoleu pregledajte izvještaj Stranice i pobrinite se da prvi odgovor poslužitelja stigne za manje od sekunde.

Kako sve provjeriti za deset minuta

Predstavite se kao AI bot i pogledajte što dobivate:

curl -s -o /dev/null -w "%{http_code} %{time_total}s\n" \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://vasa-domena.hr/

Odgovor 200 za manje od sekunde je dobar znak. 403, 503 ili stranica s izazovom znače da je problem u vatrozidu. Ponovite isto s ClaudeBotom i PerplexityBotom.

Ovaj test provjerava samo pravila prema nazivu bota. CDN-ovi stvarne botove prepoznaju i po IP adresi, pa pogledajte i zapis sigurnosnih događaja u Cloudflareu ili logove poslužitelja: dolaze li botovi i što dobivaju.

Za usporedbu, anim.hr na ovaj test GPTBotu, OAI-SearchBotu, ClaudeBotu i PerplexityBotu vraća 200 za manje od 0,2 sekunde, s cijelim tekstom članka u HTML-u.

AI vas ne može preporučiti ako vas ne može pročitati. Prije novog sadržaja provjerite da postojeći uopće dolazi do njih.

Pročitajte i