Embed Size (px)
Citation preview
FO U N D E R I N ST I T U T E
product development.
PAU LO F LO R I A N O, N E U E L A B S
menos de 1% com mais de um item.
marty cagan
“at least 2/3 of your ideas are crap.”
“hum, acho que isso vai ser legal”
“hum, acho que isso vai ser legal” “ninguém usou”
“hum, acho que isso vai ser legal” “ninguém usou”
semanas ou meses
“hum, acho que isso vai ser legal” “ninguém usou”
semanas ou meses
dias ou horas
conceito design dev deploy
conceito design dev deploy} } }um pouco de aprendizado
nada de aprendizado
muito aprendizado
experimentos.
mvp (tendo produto ou não).
hipótese
experimento (produto ou feature)
mensuração
decisão
Alistair Croll, http://slidesha.re/S2cuYs
backlog de produto → backlog de experimentos
(esqueça o t
rello!)
Exp ID Background Hipótese [ação] vai [resultado] Tipo de experimento Detalhamento do experimento Resultados obtidos Aprendizado validado Novas hipóteses /próximospassos
1
Após lançamento da landing page edivulgação do valor, recebemos apenas 1lead "curioso". Estamos trabalhando com omodelo pago logo de cara, R$120/ano ouR$10/mês.
Oferecer 15 dias gratuitos vaiaumentar quantidade de leads. Alterar texto da landing page.
Alterar conteúdo landing page.Alterar conteúdo dos ads.Medir quantidade de contatos recebidos.
Melhoria na quantidade de leads. (5 contra 1). Os usuários querem experimentar o produtoantes de comprá-lo.
Validar modelo de negóciofreemium.
2 Custo por clique da primeira semana foimuito elevado.
Explicar que o usuário não terá otrabalho de organizar seus trabalhosvai gerar mais contatos.
Trocar USP com comunicaçãovoltada a esta ideia.
Gerar conteúdo novoSetar novo Typeform e identificar como versão B.Subir Teste A/B via VWOAnalisar se conversão melhorou via resultados doformulário Typeform
1ª semana: 8 contatos, sendo 4 para cada versão,resultando em empate. Vamos continuar com oexperimento por mais uma semana. Dia 29 de Maio:resultados continuam empatados (1x1). Vamos parar oexperimento.
Proposta de valor secundária não foiexpressiva o bastante para tirarmosconclusões.
Validar com proposta de valorsecundária mais agressiva,deixando mais claro o modelo deagência.
3Ativação está sendo prejudicada poisusuários não estão enviado material por e-mail. Recebemos contatos, ligamos, maseles não interagem.
Upload de arquivos no onboardingvai aumentar número de portfóliosproduzidos por semana e simplificarfunil.
Inserir ferramenta de uploadlogo no cadastro inicial.
Benchmark de ferramentas similaresIntegrar solução no onboarding atualAnalisar se número de material recebidosaumentou
Experimento começou dia 22 de maio. Dia 3 de junho:número de material recebido aumentou. Porém, temosque otimizar a tela, que tem uma conversão muito baixa.
Usuários esperam mandar trabalho direto nofluxo do site.
Melhorar tela de upload paradeixá-la mais próxima do que ousuário espera.
4Indentificamos que muitos usuários queremsaber como o Portifa fica quando pronto.Isto pode estar impedindo a conversão.
Exibir de forma mais clara como oPortifa fica vai aumentar número deportfólios produzidos por semana.
Mudar layout da LP.Atualizar LP com hero shot do produto.Analisar se número de contatos recebidosaumentou.
Experimento começou dia 26 de maio. Dia 29 de maio:recebemos apenas 2 contatos contra 11 no mesmoperíodo da semana passada. Conversão 80% menor.Lembrando que nossa verba de marketing dobrou. Parafechar o experimento, vamos fazer um teste AB com aversão nova e a antiga da landing page, utilizando amesma USP. Dia 2 de junho: versão nova (A) 2 e antiga(B) 3.
Parece que quanto mais informações clicáveisdamos, menor a conversão. Temos quecomunicar de uma maneira "estática".
Dar o que o usuário quer, masantes, pegar o e-mail dele. :-)
5Precisamos definir com exatidão nossopúblico alvo para melhor direcionar as açõesde marketing.
-Pesquisa quantitativa (ads)Pesquisa qualitativa (pesquisapor telefone)
Quantitativa: criamos ads para validar se o usuárioé velho/novo ou está interessado emfreela/emprego.Qualitativa: ligamos para os leads e validamosalgumas hipóteses sobre seu perfil.
Ads começaram a circular em 27 de maio. Fizemos 2grupos de anuncio por perfil de idade. Mais velho (26 a35) e mais novo (18 a 25). Com proposta de valor,testamos "Consiga um trampo" e "aumente sua rendacom freelas". Na idade, apesar dos mais velhos(222)clicarem mais nos ads, convertemos os maisnovos(188). Na proposta de valor, Consiga um trampoconverteu mais com 290 e Aumenta sua renda comfreelas, 228.
Perfil de idade, para conversão, é o Mais novoe proposta de valor mais apelativa é a deemprego.
6
Testamos o Portifa pago e trial. A tração foipequena, se considerarmos o aumento naverba de marketing. Agora vamos testar omodelo freemium e ver como ele secomporta.
Oferecer potfólios gratuitos vaiaumentar número de portfóliosproduzidos por semana.
Alterar landing page.Criar fluxo para escolha deplano (grátis/pago)
Copiamos o fuxo do Pressfolios e testarmos osresultados durante a semana. Queremos verquantos portfólios trials faremos.
Início: 2 de junho. 9 de junho: validamos a hipótese. Onúmero de portfólios trial aumentou de 1 para 4 etivemos 7 portfólios gratuitos. Além dos leads, queaumentaram consideralvelmente.
Número de portfólios produzidos por semanaaumentou. Oferecer um plano gratuitoaumenta a noção de valor sobre o portfóliopago. Captar o e-mail como primeiro passotambém funciona muito bem para pegar leads.
7
Muitos usuários enviam apenas um trabalho,ou nenhum, parece que querem apenas vercomo o Portifa fica pronto. Eles nãorespondem os e-mails e não conseguimosobter feedback.
Incluir trabalhos fakes, ao invés dedeixar o Portifa vazio, vai aumentaro número de e-mails retornados.
Inserir trabalhos fakes nosportfólios.
Acreditamos que o usuário possa se sentirincomodado com trabalhos que não são dele, etambém possa ver como o Portifa fica comdiferentes mídias.
Início: 2 de junho. Duração de 1 semana. Nenhumusuário se interessou em trocar seus trabalhos.
"Poluir" o portfólio do usuário não vai fazê-lose engajar mais.
8 Usuários inserem e-mails mas nãoprosseguem enviando trabalhos.
Enviar e-mails recorrentes vai fazercom que usuários sejam reativados. Teste AB com e-mails
Vamos configurar o JotForm para enviar e-mails deBoas Vindas diferentes. Até quarta mandaremos e-mail A e até domingo enviamos o e-mal B.Mediremos qual levou mais usuários para o site (equal converteu mais).
Início: 18 de junho com e-mail informal. Experimentoainda está rodando. Até então, tivemos 20 usuários de519 que interagiram com o e-mail mais informal.Paramos dia 11 de agosto. 24/9 - Deixamos mais formale recebemos apenas 2 respostas, porém convertemos 3usuários.
Experimento foi configurado errado. Nãodeveriamos medir número de repostas, e simusuários ativados. E-mail inicial não tinhaCTA.
Experimentar com texto diferenteno corpo do e-mail, ver seconversão aumenta.
9Durante a Copa do Mudo, os númerosestavam baixos, pensamos em testar ainternacionalização do produto.
Criar uma versão em inglês doPortifa vai gerar portfólios deusuários gringos.
Alteração na landing pageFacebook adsGoogle ads
Vamos criar ads em ingles, direcionando paranossa landing page traduzida. Na landing, ousuário é convidado a mandar seus trabalhos pore-mail, assim como faziamos no início.
Início: 23 de junho a 30 de junho. 3 cliques no FacebookAds. Nenhum portfólio criado.
Apesar da verba de R$5/dia, interesse foibaixo.
10 Validar se o tempo de trial (15 dias) estáadequado.
Oferecer 3 meses de portfóliogratuito vai gerar portfóliospremiuns.
Cupom de desconto Fomos ao Content Summit 2014 distribuir cuponsde desconto.
19 de julho. Distribuímos 170 cupons. Nenhum entrou nosite e inseriu o cupom.
O período de teste do Portifa não é um pontotão apelativo.
11
Pivotar de jornalistas para o mercado decasting: atores, modelos e recepcionistas deeventos. Acreditamos que por não terememprego fixo e terem histórico de pagar porserviços de divulgação (Book, Agenda doProdutor), este público pode abraçar a ideiade um portfólio pago.
Oferecer um portólio premium paraatores, modelos e recepecionistasem 3 semanas vai gerar no mínimo3 portfólios pagos.
Landing page oferecendo exemUtilizar squarespace como produto falsoNova LPColetar mailling do agenda do produtorDisparar mailling
14/8 - Segmentamos o mailing de 980 e-mails em 3:atores, modelos e recp. Vamos mandar uma newsletterpara cada. 18/8 Resultado: ninguém comprou. Vamosabaixar o preço, deixar com o mesmo valor doSquareSpace e exibir não o valor cheio, e sim asparcelas. 20/8 Abaixamos o preço e ninguém comprou.Mailchimp bloqueou novos disparos. Vamos investir emFacebook ads e ver se temos algum retorno. 5/9 semretorno. Encerramos o experimento. No total, a páginateve 109 usuários únicos.
Experimento invalidado. A solução de portfólionão resolve um problema urgente dos atores.
12Dar uma "estressada" na ativação e ver seconseguimos aumentar ainda mais estenúmero, hoje na casa dos 30%.
Oferecer a opção de enviartrabalhos mais tarde vai aumentar aativação em até 20%. (50% total)
Alteração na tela de upload Na tela de upload, inserir botão com opção paraenviar trabalhos mais tarde.
18/8 Início - 1/9 - Experimento validado. A ativação foipra 60%.
Experimento validado. Aprendemos que osusuários não enviam trabalhos na hora porquerealmente não os têem em mãos.
Tirar o campo de e-mail dalanding page vai aumentar aconversão.
13 Aumentar canais orgânicos de aquisição,vide esgotamento do facebook.
Criar um sistema de enviocandidatura de vaga via Portifa vaigerar 50 usuários por vaga.
Divugação de vaga "fake"Criar uma página de candidatura para vaga, que naverdade é a tela de upload do Portifa. Quando ousuário se candidatar, criamos o portfólio dele e ocanditaremos manualmente.
20/8 Início - 5/9 Término. A página teve 168 visitasúnicas, mas nenhum cadastro.
Experimento invalidado. A vaga não gerouinteresse o bastante para o form serpreenchido.
14Campo de e-mail/lead não faz mais sentidono atual funil. Vamos removê-lo para tentaraumentar a taxa de ativação.
Remover o campo de e-mail dahomepage vai aumentar aconversão da landingpage para50% nesta semana.
Alteração na LPVamos tirar o input de e-mail da homepage.Perderemos "leads", mas no atual momento o queimporta é o número de portfólios criados.
1/9 Início - 5/9 Término. A página foi de 17% para 24%.Não aumentou o bastante. E fez com que a conversãoda segunda página também caísse.
Experimento invalidado. Tirar o campo de e-mail melhorou a conversão, mas não é este oprincipal atrito da página.
Voltar com campo de e-mail.Trabalhar na parte deportfólios de exemplo.
15Facebook está sendo fonte de tráfegoinsuficiente. Google Adwords não deu certona época. Criar banner display no GoogleAdwords e testar interesse.
Investir R$50 em ad display vai nosrender 20% de aumento nosportfólios feitos durante umasemana.
Criar anúncio display Criamos um anúncio display com o conteúdovoltado para trocar de emprego.
3/9 Início - Término 10/9. CPC de 0,24, gerando 338cliques com R$79,90. Nosso custo com o Facebook adstambém gira em torno de 0,24 centavos.
Experimento invalidado. Não houve aumentoem 20% durante o período.
Testar formatos diferentes, commenos segmentação e um funilespecial para isto.
16
Retirar campo de e-mail aumentou apenas5% da conversão da home, mas fez cair ada tela de upload. O que deve estaratrapalhando a homepage são os links paraportfólio.
Deixar os portfólios abrirem em umlightbox vai aumentar a conversãoda home em 50% nesta semana.
Alteração na LP Fazer com que os portifas abram em lightbox, enão em outra aba.
8/9 Início - 12/9 - De 17.6 foi para 19.9. É um indício,mas ainda não é o ideal.
Experimento invalidado. Fazer os portifas abrirem lightbox melhorou a conversão, mas aindanão é o principal atrito.
17 Vamos enviar um release para os principaisblogs de comunicação. Enviar releases vai gerar ao menos E-mail Enviaremos release para 221 blogs de comunicaçã 11/9 Início - 18/9. Fomos mencionados em 2 portais. (5 v
Experimento invalidado. Enviar releases,neste momento, não trouxe as visitasesperadas.
18Vamos sortear 2 ingressos para o TwitterSummit. Ele será divulgado na timeline, emgrupos e com twitteiros da área.
Criar o concurso vai nos gerar (60)30 portfólios por semana.
Twitter + LP + Publicaçãoimpulsionada no FB
Criamos uma LP + poster. A LP leva a um cadastrode portifa para concorrer
15/9 Início - 18/9. Temos 13 cadastros via concurso. De109 visitantes, tivemos apenas 14% de conversão.Podemos melhorar a mecânica da promoção na próximasemana.
<Rolando>
19Contato com coordenadores do curso dejornalismo através do e-mail, mencionandobanco de talentos.
Falar com coordenadores dejornalismo vai gerar ao menos 500usuários visitando nosso site emuma semana.
E-mail Enviamos 14 "releases" para coordenadores,falando do Portifa e do banco de talentos.
11/9 Início - 18/9 - Ganhamos 2 divulgações. Pelotracker, tivemos apenas 5 visitas. Estamos emnegociação com o coordenador de Jornalismo daMetodista.
<Rolando>
20 Criar portifólios de jornalistas famosos etentar viralizá-los no Twitter.
Criar Portifa de jornalistas famososvai gerar 60 portfólios em umasemana.
Portifa fake do Bonner e daFátima
Enviamos tweets e divulgamos no Facebook.Posters e uma hq.
17/9 Início - 24/9 - Nenhum Portfólio foi criado atravésda ação.
Experimento invalidado. A ação não foi viral obastante.
21Mandar um e-mail recrutando usuários paranosso banco de talentos vai fazê-los seinteressarem pelo Portifa.
Enviar proposta pra participar de umbanco de talentos vai gerar (60) 100portifas em uma semana.
Newsletter + LP + Facebook AD Enviamos newsletters para 980 usuáriosdesativados.
12/9 Início - 18/9 - Tivemos 41 interessados no banco detalentos. O funil de conversão ficou 36.6 > 43.15 = 15.Já o fluxo normal teve 24 inscritos, com 31.9 > 38.0 =12.1.
<Rolando>
22Precisamos definir nossa estratégia dereativação. Vamos testar 3 abordagens come-mail marketing: conteúdo do blog,depoimentos e chamada pra colocar skills.
Enviar email marketing vai gerar10% de conversão por semana.(Mesma taxa que temos no funil)
EmktFaremos um teste AB com 3 versões de conteúdo.Uma focada em conteúdo para o blog, outra comdepoimentos de usuários e a última pedindo paraele completar o cadastro com suas skills.
15/10 Início - Conteúdo: 1 conversão, Depoimentos: 4conversões, Skills:
foco em problemas, não em features.
audience building pre-sell/fake door concierge mágico de oz
audience building
pre-sell/fake door.
concierge.
mágico de oz.
