Explicando a função do robots.txt no Google

O arquivo robots.txt é um elemento essencial para a administração de sites, sendo utilizado para controlar o acesso dos web crawlers (robôs de busca) a determinadas páginas de um site. 

Ele faz parte do Protocolo de Exclusão de Robôs (REP - Robots Exclusion Protocol) e desempenha um papel fundamental na otimização do rastreamento e indexação de um site pelos mecanismos de busca, como o Google.

Função do robots.txt no Google

O Google utiliza robôs automatizados, como o Googlebot, para explorar e indexar conteúdo na web. O arquivo robots.txt orienta esses robôs sobre quais páginas eles podem ou não acessar. Isso é particularmente útil para evitar que páginas irrelevantes, duplicadas ou sensíveis sejam indexadas pelos mecanismos de busca.

Como funciona o robots.txt?

O arquivo robots.txt é colocado na raiz do site (www.exemplo.com/robots.txt) e contém regras escritas em um formato simples. Ele segue diretrizes básicas, onde cada linha indica quais partes do site podem ser acessadas pelos robôs de busca. A sintaxe básica inclui:

1. User-agent: Define para quais robôs a regra se aplica (por exemplo, Googlebot).
2. Disallow: Bloqueia o acesso a determinadas páginas ou diretórios.
3. Allow: Especifica exceções dentro de diretórios bloqueados.
4. Sitemap: Indica a localização do sitemap do site.

Exemplo de um arquivo robots.txt:

User-agent: Googlebot
Disallow: /privado/
Allow: /publico/
Sitemap: https://www.exemplo.com/sitemap.xml

Nesse exemplo, o Googlebot não pode acessar a pasta "/privado/", mas pode acessar a pasta "/publico/".

Benefícios do uso do robots.txt

• Evita sobrecarga do servidor: Restringe o acesso a páginas que não precisam ser rastreadas, reduzindo o tráfego desnecessário de robôs.
• Proteção de conteúdo sensível: Impede que páginas como painéis de login ou áreas administrativas sejam indexadas.
• Melhora a eficiência da indexação: Direciona os robôs para as páginas mais relevantes, ajudando no SEO (Search Engine Optimization).
• Evita indexação de páginas duplicadas: Exclui URLs com conteúdo idêntico que poderiam prejudicar a classificação do site.

Limitações do robots.txt

Embora o robots.txt seja útil, ele não protege arquivos sensíveis. Se uma URL estiver bloqueada no robots.txt, ainda pode ser acessada diretamente se alguém tiver o link. Para impedir completamente o acesso, é necessário usar autenticação ou restrições no servidor.

Conclusão

O robots.txt é uma ferramenta poderosa para gerenciar a interação dos robôs de busca com um site. Quando configurado corretamente, ele melhora a eficiência do rastreamento, contribui para o SEO e protege informações que não devem ser indexadas. No entanto, é fundamental utilizá-lo com cuidado para evitar bloquear conteúdo importante involuntariamente.

Criminosos criam anúncios falsos de marcas famosas no Facebook

Consumidores são atraídos para esses golpes por anúncios patrocinados que aparecem na timeline de usuários do Facebook

Sites falsos que imitam famosas lojas de varejo se tornaram mais uma armadilha para os internautas até no Facebook. Segundo a Promotoria de Defesa do Consumidor do Ministério Público de Minas Gerais, as páginas oferecem produtos com preços extremamente atraentes, bem abaixo dos valores praticados no mercado, o que já deveria gerar desconfiança. Geralmente, os consumidores são atraídos para esses golpes por anúncios patrocinados que aparecem na timeline de usuários do Facebook. Nomes e logomarcas costumam ser idênticos ou muito parecidos com os usados pelas marcas verdadeiras.

O Ministério Público de Minas também ressalta que geralmente os anúncios são relacionados ao perfil de consumo do cliente, ou seja, relacionados às suas pesquisas, como pacotes de viagens ou produtos específicos, como televisão ou sapato. Para prevenção, a orientação é não clicar no anúncio. Se tiver interesse na compra, ir diretamente ao site.

O consumidor que caiu em um golpe deve, com os prints de toda a negociação com URL (endereço) do site em questão, cópia do boleto bancário e comprovantes de pagamento (se foi esta a via escolhida), todos os e-mails trocados com a empresa a respeito da transação, procurar o Ministério Público da sua cidade ou a delegacia, se possível a especializada em crimes cibernéticos, se houver.

Uma das orientações que o Procon Estadual do Rio de Janeiro para quem quer comprar pela internet é não clicar em links de ofertas que aparecem em redes sociais ou chegam por e-mail. De acordo com o órgão de defesa do consumidor, o ideal é que o consumidor entre no site da loja e faça as suas compras diretamente lá, para reduzir a possibilidade de golpes. Como se trata de um estelionato, a vítima que cair nesse golpe deve procurar uma delegacia. Desde a criação da coordenadoria de Defesa do Consumidor, o estelionato aparece como o delito de maior incidência.

Uma das empresas copiadas pelos criminosos, a Americanas.com informou que essas ofertas do Facebook não procedem. A companhia recomenda que o cliente confira sempre os produtos e seus preços no site, aplicativo e redes sociais oficiais da marca.

E-mail de sincronização de iToken do Itaú também é armadilha:

Criminosos também estão usando um e-mail como armadilha para roubarem dados de clientes do Itaú. A mensagem enviada pelos golpistas afirma que o Dispositivo Consolidado de Segurança iToken Aplicativo encontra-se com uma falha de comunicação com a conta. Segundo o e-mail, esta suposta falha poderia acarretar em prejuízos financeiros, bem como problemas na segurança do acesso digital. Após a mensagem, há um link que supostamente serviria para acabar com a questão.

(Foto: Reprodução de e-mail)

Procurado, o Itaú ressaltou que nunca envia e-mail, SMS nem telefona a seus clientes solicitando senhas, códigos do iToken e/ou dados pessoais. “Especificamente sobre o recebimento desse e-mail, tanto o remetente quanto o link demonstram se tratar de um e-mail falso, enviado na tentativa de realizar transações fraudulentas com o uso dos dados de agência, conta, senha e códigos iToken informados pelos clientes”.

A instituição orienta a não clicar no link e enviar o mesmo e-mail para email.suspeito@itau-unibanco.com.br.