Motori di ricerca e siti web, un binomio vincente, ma solamente se si conoscono le strategie giuste per comparire nelle prime posizioni dei risultati di ricerca. Per questo motivo oggi vogliamo aiutarvi a configurare il robots.txt in Joomla, ma cos’è in realtà questo robots? Per i programmatori Joomla nulla di nuovo, ma per i neofiti potrebbe davvero rappresentare qualcosa di nuovo, perciò vediamo come funziona e come si configura.

Partiamo innanzitutto dal significato puro e semplice del termine. I Robots Exclusion Standard sono le regole utilizzate dai crawler, spesso inserite in un file di testo chiamato appunto robots.txt, per applicare delle restrizioni all’analisi praticata dai motori di ricerca. Per funzionare il robots.txt ha bisogno di essere caricato direttamente nella root del dominio che ospita il sito web, in modo da non creare problemi di accesso ai file da parte dei motori di ricerca.

Lo scopo del robots.txt in Joomla è dare quindi delle regole alla scansione da parte dei crawler. Queste regole fondamentali per l’ottima indicizzazione di un motore di ricerca, si basano su due semplici comandi che sono allow e disallow. Grazie all’utilizzo di questi comandi, il consenso (allow) o la negazione (disallow) della lettura di una cartella, si possono aprire o chiudere le porte alla scansione da parte dei crawler. Configurare al meglio il robots.txt vuol dire dunque conoscere e capire quali dovranno essere le cartelle da far scansionare e qualei invece, sarà meglio non far scansionare. Come fare? Facile basta seguire l’indicazione sottostante utile in tutte le situazioni in cui si ha a che fare con un sito web Joomla.

User-agent: *
Disallow: / administrator /
Disallow: / bin /
Disallow: / cache /
Disallow: / cli /
Disallow: / components /
Disallow: / include /
Disallow: / installazione /
Disallow: / lingua /
Disallow: / layout /
Disallow: / biblioteche /
Disallow: / logs /
Disallow: / modules /
Disallow: / plugins /
Disallow: / tmp /