Mi a legoptimálisabb beállítás robotok számára (indexelés, követés, stb.)?

Sziasztok!

Már régóta szerettem volna megkérdezni, hogy melyik mit jelent és mi az optimális beállítás?

Van indexelés, van követés:

Nincs indexelés, követés:

Van indexelés, nincs követés:

Nincs indexelés, nincs követés:

A kereső szolgáltatók (Google, Yahoo, Bing, stb) rendszeresen bejárják az interneten fellelhető olyan oldalakat, amelyekről tudnak. (Ezért aztán fontos az site-map is, ami arról tájékoztatja a kereső robotokat, hogy milyen további oldalak tartoznak a honlapodhoz.

A "van indexelés" azt jelzi a robotnak, hogy ezt az oldalt, és ennek a tartalmát vegye fel keresőszolgáltatásba. Míg ha azt jelzed, hogy "nincs indexelés" az azt jelenti a robot számára, hogy ennek az oldalnak a tartalmát ne vegye fel, ne foglalkozzon vele.
A "követés" egy jelzés a robotnak, hogy gyere vissza máskor is, nézd meg van-e újdonság. Ha az adott oldal 3 éve ugyan az, akkor felesleges azzal töltenie az idejét, hogy újraindexeli. Azt azonban nem szeretik, ha "palira veszik" őket, és azt állítod be, hogy persze, gyere, de aztán semmi változtatás.

Így mi értelme lenne a nincs indexelés, követés opciónak? noindex, follow? A follow az oldalból hivatkozó linkek követését jelenti.
pl.
dan-nolan.com/what-is-noindex/

A legbölcsebb - amennyiben van lehetőség - nem választani/beállítani.
Viszont azokra a linkekre, amik "nem kellenek vagy szemét" ráakasztani a noindex,nofollow-ot...

A joomla alapbeállítása a Van indexelés, van követés, de ez nem is jelenik, meg a forrásban, csak, ha ettől eltérő beállítást választunk.

Arra ügyelni kell, hogy a JS, CSS-t engedélyezni kell, mert ez már alapkövetelmény a Google részéről. Az XML oldaltérképet is engedélyezni érdemes a kereső robotok számára, a gyorsabb indexelés érdekében.