Szia!
a robots.txt ///Önnek csak akkor van szüksége a robots.txt fájl használatára, ha nem szeretné, hogy a Google vagy más keresőmotorok a webhelyén megjelenő bizonyos tartalmat feltérképezzenek. Ha azt szeretné, hogy a Google a teljes webhelyét feltérképezze, ne hozzon létre robots.txt fájlt (még üreset sem). //
Most nem tudom,hogy a robots.txt -vel nem e árthatok
A robots.txt fájlban szereplő parancsok nem olyan szabályok, amelyeket minden feltérképező robotnak követnie kell, hanem jobb irányelvekként tekinteni rájuk. A Googlebot és más megbízható webes robotok tiszteletben tartják a robots.txt fájl utasításait, de lehet, hogy más robotok nem így tesznek..
Kicsit utána olvasva ..elbizonytalanít.
Milyenek a tapasztalatok?
Témaindító
