A revisão humana lê. O respondente navega.
Uma pessoa confere o questionário em Word, mas quem responde vê a programação. São dois objetos diferentes, e o erro mora na diferença.
Teste de questionário automatizado
Seu time ainda testa o questionário clicando tela por tela.
O Survey QA percorre os caminhos do questionário no desktop e no celular, como um respondente, e devolve o veredito tela a tela, com o print de cada tela e a regra de cada achado.
Rodada de testeRodada 1
Rota 1 de 6·Filtro de idade
Desktoplendo
Q1
Qual é a sua idade?
Avançar
Numérica com faixa
Celular
Q1
Qual é a sua idade?
Avançar
- Q1lendo
- Q2na fila
- Q3na fila
- Q4na fila
- Q5na fila
- Q6na fila
- Q7na fila
- Q8na fila
- Q9na fila
- Q10na fila
- Q11na fila
- Q12na fila
- Q13na fila
- Q14na fila
- Q15na fila
- Q16na fila
- Q17na fila
- Q18na fila
0 telas analisadas0 achados
01O trabalho
O questionário está programado. Alguém precisa testar o script antes do campo.
Todo instituto faz esse teste. Ele consome dias de quem mais sabe, e o erro que escapa aparece na tabulação, quando corrigir já custa uma onda.
Assunto
Testar o script do questionário antes do campo
O questionário foi programado na plataforma de coleta e precisa ser aprovado para sair a campo. Cada filtro, cada cota e cada consistência abre um caminho diferente pelo script.
Como é feito hoje
Um analista percorre tudo à mão
Um analista abre o link e percorre à mão as consistências, os filtros, as cotas, as completas, o layout e a gramática, e depois refaz o percurso trocando as respostas.
A dor
Dias de analista sênior num trabalho de conferência
E o erro que escapa custa caro depois. Um campo já foi salvo por esse teste: o questionário voltou para a programação e a equipe teve de refazer o contato com os clientes.
Onde a Cassi.ai entra
O robô percorre, a pessoa aprova
O Survey QA percorre os caminhos no desktop e no celular e devolve o veredito tela por tela. Quem assina a aprovação continua sendo o seu analista, agora com a lista do que foi verificado.
Primeiro a lista de caminhos. Depois o robô. Cada rota existe porque prova uma regra do questionário.
02Desktop e celular, juntos
O robô responde a mesma tela no desktop e no celular.
Cada tela é navegada no desktop e no celular ao mesmo tempo. O que quebra só num dos dois vira achado com a tela e a regra: print, medida e a regra que falhou.
Rodada de testeCena 1 de 18
Escolha únicaDesktoplendo
Q1
Qual destas marcas você comprou por último?
Avançar
Escolha única
Celular
Q1
Qual destas marcas você comprou por último?
Avançar
Os tipos de pergunta que o robô responde
0 telas analisadas0 achados
Sete checagens em cada tela no celular
- Rolagem horizontal
- Enunciado fora da tela
- Texto cortado
- Grade estourada
- Botão de avançar fora da tela
- Alvo de toque pequeno
- Fonte pequena
03O erro que escapa
Erros de programação chegam ao campo todos os dias.
Um filtro que não encerra, uma grade que some no celular, uma marca que ficou fora da lista. O erro passa pela revisão humana, entra em campo e o custo aparece na tabulação: entrevistas descartadas, onda refeita, prazo perdido.
Em campo · dia 900:56
1.180respondentes já responderam
- Q1Idadeok
- Q2Regiãook
- Q3Consumoninguém viu
- Q4Marcasok
- Q5Atributosok
- Q6Recomendaçãook
A maioria responde no celular.
Grade larga, botão de avançar fora da tela e texto cortado só aparecem no celular. Ninguém confere cada tela em dois tamanhos à mão.
Quanto mais tarde, mais caro.
Antes do campo, é uma correção de minutos. Durante o campo, são entrevistas perdidas e uma onda que não compara com a anterior.
04A virada
E se cada tela fosse testada antes do primeiro respondente?
O robô entra antes do campo. Navega cada tela, prova cada regra, mede cada layout no desktop e no celular. Com o print de cada tela.
03Como funciona
Cinco passos, uma verdade.
Da subida dos documentos ao link que o cliente abre. Uma pessoa aprova cada passo antes de o robô rodar.
Role para avançar os passos
Passo 1 de 5
tempo da camada≈ 1 min
Entrar
Uma conta por instituto, com papéis de analista, diretor e administrador da plataforma.
05O que o Survey QA responde
As perguntas que o analista faz antes de aprovar a saída para campo.
Cada pergunta de operação tem um módulo que a responde com a tela e a regra. A lista nasce do questionário aprovado, e o robô só relata o que mediu.
Quem não qualifica é encerrado onde o questionário manda?
- MóduloFiltros e encerramentos
- Cada rota condicional é percorrida uma vez, com a resposta que deveria encerrar e com a que deveria seguir. O robô registra em que tela a programação parou.
As respostas incompatíveis entre perguntas são barradas?
- MóduloConsistências
- Obrigatórios, faixas, somas e combinações entre perguntas. O robô tenta violar cada regra e anota o que a programação fez, inclusive a combinação que só quebra na terceira tentativa.
A cota fechada encerra e a cota aberta segue até o fim?
- MóduloCotas
- Célula por célula: a fechada tem de encerrar, a aberta tem de chegar à completa. Quando o filtro manda para um bloco que a cota já fechou, isso vira achado com a tela e a regra.
As marcas e os atributos estão na ordem e na rotação certas?
- MóduloOrdem e rotação
- A lista do JobSpec é conferida item por item, na ordem programada e na rotação prevista, no desktop e no celular.
O texto na tela é o texto do questionário aprovado?
- MóduloTextos e opções
- Enunciado, opções e instruções comparados com o documento, tela por tela. A instrução herdada do estudo anterior aparece aqui, mesmo quando só uma fatia pequena da amostra a veria.
A tela cabe no celular?
- MóduloLayout no celular
- Sete checagens no celular em toda tela, ao lado do desktop: rolagem horizontal, enunciado fora da tela, texto cortado, grade estourada, botão fora da tela, alvo de toque e fonte.
A onda nova ainda compara com a anterior?
- MóduloTracking em ondas
- Ondas comparadas uma a uma: o que quebrou, o que foi corrigido e o que mudou de texto entre uma onda e outra.
O que exatamente foi verificado?
- MóduloExtrato por tela
- Cada sessão registra as telas que percorreu, a rota, o objetivo e o print de cada tela. O extrato é lido pelo cliente sem tradutor, e nenhuma rota é repetida.
06Método
Seis etapas, na ordem em que acontecem.
Uma pessoa aprova cada etapa antes de o robô rodar. O julgamento é por regra, e cada achado sai com a tela e a regra.
- 01
Compilar o questionário, o JobSpec e o script numa única verdade
Word, Excel, MDD ou script do Dimensions viram um contrato: perguntas, opções, regras, marcas e atributos. Conflito entre fontes bloqueia a aprovação até o documento corrigido subir.
entrada: .docx .xlsx .xlsm .mdd
- 02
Ensinar o robô com a pessoa
Alguém responde a pesquisa uma vez, com desktop e celular lado a lado. A gravação ensina o caminho, os seletores e o jeito de avançar de cada plataforma.
co-piloto: 1 passagem humana
- 03
Planejar as rotas, uma por objetivo
Do contrato nasce o plano: cada filtro, cota, consistência e lista recebe uma rota própria. Rota repetida é proibida, e a pessoa aprova o plano antes de rodar.
plano: 1 rota = 1 objetivo
- 04
Percorrer no desktop e no celular
O robô navega cada rota nos dois tamanhos ao mesmo tempo, tela por tela, com print e medida a cada passo.
desktop e celular, lado a lado
- 05
Julgar tela por tela, por regra
Cada regra do contrato vira uma checagem: o robô tenta violar a regra e registra o que a programação fez. O veredito sai de regra, sem modelo de linguagem.
julgamento por regra
- 06
Devolver o veredito tela a tela
Uma frase, quatro números e o razão tela por tela com o print de cada tela aberto. Link para o cliente em três línguas, PDF de uma página e planilha QCF por tela e por variável.
saída: link, PDF, QCF
07Prova
Quatro erros que só aparecem quando alguém percorre o script inteiro.
São os erros que o teste manual raramente alcança, porque moram numa combinação de respostas ou numa fatia pequena da amostra.
- 01
Filtro que fecha sozinho
A pergunta de perfil manda o respondente para um bloco que a cota já encerrou. Ele não vê erro. Ele vê fim de questionário, e entra na base como abandono.
- 02
Consistência que só quebra na terceira combinação
Idade, região e frequência de compra passam separadas. Juntas, mandam o respondente para um bloco de outro target. O teste manual raramente alcança essa combinação.
- 03
Rota de retorno que apaga a aberta
O respondente erra o formato, corrige, e volta para a tela anterior à que estava. O campo segue, e a resposta aberta daquela tela some.
- 04
Texto herdado do estudo anterior
A instrução de uma pergunta aberta ficou com o texto do estudo anterior. Só aparece para quem cai naquele filtro, sempre uma fatia pequena da amostra.
Números do método
- 7
- checagens de layout em cada tela no celular
- regra de toda sessão
- 2
- tamanhos por tela: desktop e celular
- regra de toda sessão
- 0
- chamadas de IA no julgamento
- regra do método
- 1
- rota por objetivo, nenhuma repetida
- regra de toda sessão
Regras que valem em toda sessão, com a fonte nomeada e sem nome de cliente.
Ler o artigo no blog da Cassi.ai08O que o cliente recebe
Uma tela, um veredito, o print de cada achado.
O resultado cabe numa frase, com quatro números embaixo e o razão tela por tela para quem quiser conferir.
Junto com o resultado
- Link para o cliente em português, inglês e espanhol
- PDF de uma página
- Planilha QCF por tela e por variável
Veredito
Pronto para campo depois de 2 correções.
- 42
- Telas analisadas
- 2
- Achados
- 31
- Regras provadas
- 3
- Rotas percorridas
Razão livro-caixa
- Q5 · grade de atributos estoura o celularabrir o print
- Q1 · filtro de idade não encerra aos 17abrir o print
- Q7 · encerramento por cota conferidoabrir o print
- Q3 · consumo, obrigatória, conferidaabrir o print
- Q4 · marcas do JobSpec na ordem certaabrir o print
0 falsos positivos
09Limites
O que o Survey QA nunca faz.
Um teste que promete tudo não é conferível. Estes são os limites que valem em todo estudo.
- 01
Nunca aprova a saída para campo no seu lugar. Quem assina continua sendo o seu analista.
- 02
Nunca força um passo quando o questionário se recusa a avançar. A recusa vira achado, com a tela.
- 03
Nunca usa questionário, resposta ou print de cliente sem autorização.
- 04
Nunca apresenta "passou" sem a lista do que foi verificado.
- 05
Nunca afirma cobertura que não mediu. Cada frase de cobertura diz o escopo.
- 06
Nunca contorna anti-bot ou CAPTCHA. Detecta, relata e chama uma pessoa.
- 07
Nunca repete uma rota já cobrada. Cada sessão tem um objetivo próprio.
10Plataformas
O robô reconhece a plataforma na primeira tela.
O robô não depende de um catálogo de plataformas. Na primeira tela ele descobre como a pesquisa avança, como marca uma opção e como registra o encerramento, e segue a partir daí.
- WebRaptor
- Sawtooth
- IBM Dimensions
- Qualtrics
- Confirmit/Decipher/Forsta
- Alchemer
- QuestionPro
A sua plataforma
Mande o link de teste. Se a primeira tela responde, o resto do questionário responde também.
11Para quem
Para quem responde pelo campo.
Institutos de pesquisa
- O teste final com o mesmo padrão em todo estudo, sem depender de quem revisou.
Agências de campo
- O link chega testado. Menos entrevistas descartadas e menos retrabalho no meio da coleta.
Times de insights
- Um veredito legível para aprovar o campo com a lista do que foi verificado.
Programadores de questionário
- A tela, a regra e a medida de cada achado, sem ida e volta por e-mail.
12Perguntas e respostas
O que perguntam antes de pedir acesso.
O que é o Survey QA?
O Survey QA é um produto da Cassi.ai para teste automatizado de questionário. Um robô percorre os caminhos da pesquisa no desktop e no celular, como um respondente, e devolve um veredito tela por tela com o print e a regra de cada achado.
O que o teste confere?
Filtros e encerramentos, consistências entre perguntas, cotas, ordem e rotação de marcas e atributos, textos e opções contra o questionário aprovado, layout no celular em sete checagens e a comparação entre ondas de um tracking.
Em que plataformas funciona?
WebRaptor, Sawtooth, IBM Dimensions, Qualtrics, Confirmit/Decipher/Forsta, Alchemer e QuestionPro. O robô reconhece a plataforma na primeira tela e descobre como avançar. A sua plataforma passa pelo mesmo caminho: mande o link.
O robô usa inteligência artificial?
Não no julgamento. Cada regra do questionário vira uma checagem determinística, e o veredito sai de regra, com zero chamadas de IA. A leitura dos documentos é conferida por uma pessoa antes de o robô rodar.
O que o cliente recebe no fim?
Uma tela com o veredito em uma frase, quatro números e o razão tela por tela com o print de cada tela aberto. Junto vão o link para o cliente em português, inglês e espanhol, um PDF de uma página e a planilha QCF por tela e por variável.
Quanto do questionário é coberto?
O que o plano aprovado enumera, e só isso. Cada frase de cobertura diz o escopo: rotas planejadas, rotas percorridas, telas alcançadas. O robô nunca afirma cobertura que não mediu.
O que acontece quando o questionário tem CAPTCHA ou barreira anti-bot?
O robô detecta, relata e para. Ele nunca contorna a barreira. O achado sai com a tela, e uma pessoa decide como seguir, em geral com o link de teste sem a barreira.
Quem aprova a saída para campo?
O seu analista. O Survey QA entrega a lista do que foi verificado, com o print de cada tela, e nunca aprova o campo no lugar de quem assina.
Como consigo acesso?
Pelo pedido de acesso nesta página. Produtos disponíveis via SaaS por crédito, por projeto ou compra da plataforma. Fale com a gente, temos formato que cabe no seu orçamento.
Todo questionário que vai a campo tem caminhos que ninguém percorreu.
Quem enumera esses caminhos antes assina a aprovação com outra tranquilidade.
Pegue o último questionário que o seu time aprovou e conte as horas do teste manual. A gente passa o mesmo script pelo Survey QA e mostra o veredito.
Produtos disponíveis via SaaS por crédito, por projeto ou compra da plataforma. Fale com a gente, temos formato que cabe no seu orçamento.
A Cassi.ai é uma empresa de engenharia de software especializada nas dores de pesquisa, inovação e insights. Vinte anos em pesquisa de mercado, ex-ESOMAR Brasil, com palestras no IIEX, na ESOMAR e na ABEP.