Embed Size (px)
Citation preview
Robots.txt – Que informações eles escondem?
Apresentando o:
Robots Explorer
O que é o robots.txt?
• É um arquivo .txt;
• Deve estar na raiz do site; (http://www.dominio.com.br/robots.txt)
• Deve ter o nome robots.txt exatamente;
• É como um filtro para os robôs dos sites de busca;
• Permite o controle de permissões de acesso a páginas e ou diretórios do site;
• Controla qual informação deve ou não deve ser indexada pelos buscadores;
Sintaxe
User-agent: *
Allow: /
Disallow: /admin
# Comentário
Sitemap: http://www.dominio.com.br/sitemap.xml
Exemplo
# Este é meu robots.txt ;)
User-agent: *
Disallow: /admin
Disallow: /http-docs
Disallow: /meuSistema
Allow: /
Sitemap: http://www.dominio.com.br/sitemap.xml
O problema \o/
Disallow: /admin
Disallow: /http-docs
Disallow: /meuSistema
Mas e se......
http://www.dominio.com.br/admin
http://www.dominio.com.br/http-docs
http://www.dominio.com.br/meuSistema
O problema \o/
Top 10 2013-A5-Security Misconfiguration
Directory Listing
Robots Explorer
• Ler o arquivo Robots.txt de um domínio.
• Listar os diretórios que o administrador não quer que os mecanismos de busca indexem.
• “Exploitar” os diretórios em busca de um HTTP Status Code 200, o que afirma que o diretório está "aberto", no caso o server não foi configurado contra Directory Listing.
github.com/
cassiodeveloper/
robotsexplorer
Robots Explorer – Próximos passosVersão 0.0.2
• Finalizar o help -h ou --help;• Incluir Art ASCII;• Permitir mudar o user-agent do request;
Versão 0.0.3
• Parametrizar a quantidade de request e o time entre cada request;• Saída scriptavel para outras ferramentas como o wp-scan, etc;
Versão 0.0.4
• Criar uma interface Web;• Criar um BD para histórico e relatórios;
Versão 0.1.0
• Migrar o console para Python;
Referências
http://cwe.mitre.org/data/definitions/548.html
https://www.owasp.org/index.php/OWASP_Periodic_Table_of_Vulnerabilities_-_Directory_Indexing
https://www.owasp.org/index.php/Top_10_2013-A5-Security_Misconfiguration
https://www.owasp.org/index.php/Top_10_2013-Top_10
Obrigado!
