Implantação de Fábrica de Teste: desafios, resultados e melhores Práticas
Welington Costa Monteiro – ABR/2012
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantando a Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
O palestrante
Gerente de Testes de Software da Prodemge
Consultor de aquisição habilitado pelo MPS.BR
Especialista em Qualidade de Software com certificações pela ALATS e ISQTB
Membro e revisor técnico do TMMi
16 anos de experiência na área de TI
Graduado em Ciência da Computação
Pós-graduação em Gerência de Tecnologia da Informação
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
A Prodemge
1ª maior empresa de TIC de
Minas Gerais em faturamento
(ranking Assespro-MG 2008)
Companhia de economia mista,
apoia as ações estratégicas da
administração pública mineira na
área de TIC - Tecnologia da
Informação e Comunicação.
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
A Prodemge – Produtos e Serviços
Sistemas de Informação
Serviços de Rede
Armazéns de Informações
Data Center
Gestão de Conteúdo
Serviços de Infraestrutura
Certificação Digital
Recursos Humanos
Finanças
Segurança Pública
Orçamento e Planejamento
Gestão
Gestão de conteúdo
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
A Prodemge – DDS
Diretoria de Desenvolvimento de Sistemas
Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)
SSC SSD SSO SAS
GSS
GSM GSO
GST
GSA
GPS
GPR
GSH GSC
VI EBTS
SCS
GDI
GCJ
GTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
A Prodemge – A Fábrica de Software
A fábrica de software foi criada há 5 anos e tem 115 colaboradores.
É segmentada em 3 gerências e um núcleo de subcontratação (núcleo administrativo)
Atende as demais gerências da empresa (especificação) na construção e testes
sistemas em plataforma baixa (Java, PHP e dot Net) e também na construção de sítios,
intranets e portais corporativos
VI EBTS
Superintendência de Fábrica de Software
Gerência de Construção
Diversos
Gerência de Construção Java
Gerência de Testes de Software
Núcleo de Subcontratação
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
A Prodemge – A Fábrica de Teste
A Fábrica de teste está implantada há quase 2 anos
Conta atualmente com 30 profissionais, sendo 20% estagiários
Capacidade média mensal de testes funcionais 1000 PF (2012)
01 CTAL-TM, 08 profissionais certificados CFTL e 02 certificados CBTS
01 profissional habilitado como consultor de implementação do MPT.BR (OUT/2011)
VI EBTS
Superintendência de Fábrica de Software
Gerência de Construção
Diversos
Gerência de Construção Java
Gerência de Testes de Software
Núcleo de Subcontratação
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
O cenário inicial dos testes
“Eu já vi este bug antes” – Déjà vu
“A aplicação estava funcionando na versão anterior” – Síndrome do Casamento
“Eu sempre fiz deste jeito” – Síndrome da Gabriela
“Este bug não é bug! ” – Ser ou não ser ?
“ Não temos tempo para testar tudo mesmo” - Deus Deadline
“ Terei que fazer uma melhoria por causa do teste” - Caso Patológico
VI EBTS
O cenário inicial dos testes
• Os testes eram baseados apenas nos requisitos funcionais, e de forma superficial pelo fato de não ter métricas para planejar os prazos de testes.
Não existia equipe de teste
independente
• A ausência de uma atividade de teste para avaliar o funcionamento básico da aplicação não era realizado. Desta forma no caso de aplicações compiladas, a posterior manutenção era comprometida pelas “bibliotecas esquecidas”
Problemas de manutenção das
aplicações
• Em virtude do desenvolvimento interativo incremental, ocorriam inúmeros falsos defeitos em virtudes das versões do banco de dados não estarem compatíveis, ou seja, foi utilizada a versão X para a construção e a X’ para os testes.
Incompatibilidade de versões de BD
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
O cenário inicial dos testes
•Os casos de testes eram elaborados de forma exploratória, sem utilizar metodologias específicas de testes e isto onerava e muito o prazo do projeto, em virtude da responsabilidade ser da equipe de especificação.
Inexistência da Documentação de
Teste
• Dificuldade de entendimento e de reprodução dos erros, o que gerava um grande atraso na correção dos defeitos
Falta de padronização no relato de defeitos
• Não existia um processo de testes completo, era apenas uma atividade descrita no processo de desenvolvimento, e que era executada após o codificação da aplicação. A execução era somente manual;
Ineficiência e baixa cobertura dos
testes
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Desafios
A empresa buscava na área de desenvolvimento
Maior agilidade no processo
Cumprir 100% dos prazos acordados
Melhorar a qualidade do software construído
E o cliente?
Sistema Usuário interage com o sistema
SIMPLIFICAR O PROCESSO:
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Desafios
Paradoxo: Simplificar os processos existentes e Implantar um novo processo de qualidade ?
Qual seria a melhor alternativa?
Os testes deveriam ser automáticos
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Desafios
Cinco principais ações:
1. Buscar um patrocinador para o projeto de Fábrica de Teste na empresa, com teria por objetivo atender as demandas de projetos de plataforma baixa da Prodemge;
2. Interiorizar a importância dos testes em todo o processo de desenvolvimento e não apenas como uma parte do ciclo do mesmo;
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Desafios
Cinco principais ações:
3. Implantar um processo de testes compatível com o processo de desenvolvimento da empresa;
4. Ter capacidade de atendimento de todas as demandas de plataforma baixa das áreas;
5. Demonstrar o ROI da implantação da fábrica de teste;
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Doze passos para a implantação:
1. Definição de terminologias
2. Identificação dos serviços a serem prestados
3. Definição de métricas dos serviços prestados para
planejamento e acompanhamento de produtividade
4. Especialização dos papéis da equipe
5. Elaboração do processo completo e detalhado
VI EBTS
Implantação da Fábrica de Teste
Doze passos para a implantação:
8. Elaboração de Guias para a execução dos procedimentos para
execução das atividades
9. Definição de um ambientes de testes compatível com o
ambiente de homologação
10.Avaliação de ferramentas disponíveis no mercado
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Doze passos para a implantação:
11. Elaboração de documentos administrativos para controle
(solicitação, parecer, etc)
12. Definição de indicadores para busca contínua da melhoria do
processo
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Definição de Terminologias
GLOSSÁRIO PADRÃO DE TERMOS UTILIZADOS EM TESTE DE SOFTWARE (55 páginas) Versão 1.3br (01 de Julho de 2007) Produzido pelo “Glossary Working Party” International Software Testing Qualification Board Editor Erik van Veenendaal (Holanda) Notificação do Detentor dos Direitos Autorais Este documento poderá ser copiado na íntegra ou em parte desde de que haja menção à sua fonte.
VI EBTS
Implantação da Fábrica de Teste
Identificação dos serviços a serem prestados
Teste Unitário
Teste Integrado
Fábrica de Software
Checklist de ERSw
Checklist de Casos de
Testes
Elaboração de Casos de
Testes
Inspeção de Código Fonte
Smoke Test
Teste Funcional
Automação de Teste
Fábrica de Teste
Teste de Desempenho
Teste de Stress
Teste de Segurança
Área de Segurança
Teste de Carga
Área de Produção
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Definição de métricas dos serviços prestados para planejamento e acompanhamento de produtividade
Métrica de Produtividade: PF
Taxa de entrega: 90%
Exemplo de cálculo: Elaboração de casos de testes
Fonte: UNILASALLE - TCC 2009 – Tatiana Brezezinski
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Especialização dos papéis da equipe
Coordenador de Testes
Analistas de
Testes
Arquiteto de Testes
Testadores Automatizadores
Gerente de
Testes
Teste Líder
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Elaboração do processo detalhado
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Elaboração de guias de procedimentos para a execução das atividades
- Guia para Elaboração de Casos de Testes
- Guia de Configuração de Ambiente
- Guia para Inspeção de Código Fonte
- Guia do Smoke Test
- Guia dos Testes Funcionais
(Padronização de relato de defeito / Testes exploratórios)
- Guia para Automação de Testes
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Definição de um ambiente de testes compatível com o ambiente de homologação
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Avaliação das ferramentas disponíveis no mercado
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Elaboração de documentos administrativos para controle
- Solicitação de Testes
- Parecer Smoke Test
- Parecer Teste Funcional
- Check-list ERSw
- Check-list Casos de Testes
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Implantação da Fábrica de Teste
Definição de indicadores para busca contínua da melhoria do processo
Evolução e amadurecimento da cultura de testes Maturidade
Menor ciclo de estabilização dos sistemas de negócio Restrição
Maior volume de testes gerenciados pelos Analistas Produtividade
Menor volume de defeitos “não-procedentes” Confiabilidade
Maior precisão na detecção de defeitos Eficácia
Menor custo de execução dos testes Custo
Menor tempo de execução dos testes Prazo
Maior volume de casos de testes Qualidade
IMPACTO DA FÁBRICA DE TESTE INDICADOR
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Resultados
• Aplicações mais estáveis (melhora da qualidade do
produto)
• Diminuição significativa dos defeitos no ambiente de
produção (redução de custos)
• Melhora significativa dos artefatos entregues para o
desenvolvimento dentro dos padrões estabelecidos pelo
processo (Ponto de controle de qualidade)
Na prática
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Resultados
• Redução das dúvidas dos desenvolvedores em virtude
dos relatos dos incidentes (tempo de correção dos defeitos)
• Geração de script de testes funcionais para testes de
desempenho (Integração e otimização do processo entre
áreas)
• Automação de aplicações críticas (redução drástica de
retrabalho)
Na prática
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Resultados
Exemplo de projeto
Projeto em plataforma baixa : 400 PF aproximadamente
63%
28%
9%
Percentual de incidentes encontrados por área
Área de Testes
Área de Especificação (Negócio)
Cliente
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Resultados
O grande resultado
A Fábrica de Teste tornou-se
fundamental na proposta de
melhoria contínua de qualidade de
software da PRODEMGE.
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Melhores práticas 1. Não testarás sem documentação
2. Honrarás os casos de testes
3. Validarás o banco de dados
4. Realizarás a inspeção de código
5. Controlarás o ambiente de testes
6. Registrarás todos os incidentes
7. Não marretarás os dados dos testes
8. Evitarás reteste manual
9. Nem tudo automatizarás
10.O processo sempre seguirás
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Próximos passos
- Avaliação do MPT.BR (melhoria de processo)
- Adoção da métrica de Ponto de Teste (esforço e cobertura)
- Aquisição de um suíte de teste (integração)
- Execução de teste automatizado programado (sistemas críticos)
- Edital de contratação de fábrica de testes (sazonalidade)
- Teste de Baseado em Risco (estratégia de teste)
- Análise Preditiva de Testes(precisão no prazo do ciclo de teste)
- Teste de Acessibilidade (ampliar atuação)
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Conclusão
“Não se pode enxertar qualidade em um produto de software mal construído apenas com teste, mas também não é possível construir um produto com qualidade sem teste e análise”
Mauro Pezzè e Michal Young
VI EBTS
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Conclusão
OBRIGADO ! Welington Costa Monteiro
(31) 3915-4467
VI EBTS
welingtonmonteiro
twitter/fabricadeteste
pages/fabricadetestes