Avaliação Automática de
Usabilidade e/ou Web
Analytics
Bernardo Consoli
Fernando Lunardelli
Rafael Parizi
Sumário
● QR code e definições gerais
● Detalhamento
● Exemplo de uso convencional
● Exemplo de uso não convencional
● Exemplo interativo
● Referências
QR Code para Acessar a apresentação.
Definições Gerais
● Usabilidade é a medida à qual um sistema computacional habilita
usuários, em um dado contexto de uso, à atingir metas especificadas de
maneira eficiente e efetiva enquanto promove um sentimento de
satisfação;
1
● Avaliação de usabilidade se trata das metodologias para a mensuração
de aspectos de usabilidade da interface de usuário de um sistema;
1
● Avaliação de usabilidade automática é uma avaliação onde pelo menos
uma das atividades contempladas é automatizada (usualmente a captura
de dados).
1
Detalhamento de Web
Analytics
Usos de Web Analytics
Aprimoração de Design e da Experiência
de Usuário
● Otimização (arquitetura de
informação, navegação, layout,
interação de usuário);
● Identificação de áreas de
interesse de usuários;
● Melhoria de features de
aplicações web.
Otimização de e-Commerce e e-CRM para
Melhor Orientação, Aquisição e Retenção
de Clientes
● Através do uso do site por usuários, busca-se entender as necessidades
de clientes;
● Aumentar tempo que clientes passam no site, quantidade de clientes que
retornam, e quantidade de clientes que completam uma ação desejada
(ex. compra).
Identificação de Problemas e Elevação de
Performance em Aplicações Web
● Há uma correlação entre o tempo de carregamento de uma página e a
probabilidade de um visitante se tornar cliente;
● Pode-se também identificar discrepâncias entre o que usuários esperam
do site e o que o site oferece (ex. heatmaps mostrando usuários clicando
em imagens ou botões sem links).
Dados: Coleta e Análise
Tipos de Coleta
● Web Server Logging
● Client-Side Tracking
● Application-Level Logging
Web Server Logging
● O servidor gera um log textual que recorda atividades do servidor e
headers HTTP;
● Existem muitos padrões para arquivos de log. Um dos mais comuns é o
NCSA Common Log Format, que anota as seguintes informações:
○ IP do Servidor; Data/Hora; HTTP request command; Status/tamanho
da resposta;
● Extensões e formatos proprietários são usados para logar informações
adicionais (HTTP headers, process ID, scripts, etc).
Client-Side Tracking
● Usa scripts embutidos, browser add-ons e plug-ins;
● Armazena informação de atividade de usuário em “cookies”, que são
posteriormente enviados a um servidor de processamento (não
necessariamente o mesmo que hospeda o site);
● Comumente utilizado por serviços terceirizados (Google Analytics; Open
Web Analytics)
Client-Side Tracking
● Requer mais modificações diretas nas páginas do site do que Web Server
Logging, mas tem capacidade de adquirir informação client-side (clicks e
movimentações de mouse, uso do teclado, interações com a página
completamente client-side);
● Como esses serviços são muitas vezes mantidos por terceiros, não
requerem manutenção local.
Application-Level Logging
● Esse tipo de log é criado pela própria aplicação, sendo uma feature
funcional da mesma;
● Cada aplicação (shopping site, web portal, blog service, fórum, social
network) tem dados de uso únicos, que vão além do que se pode ser
genericamente retirado de server request e ações de usuário;
● Esses dados são processados pela própria aplicação ou por um módulo
funcional especificamente criado para lidar com esses dados, e nunca por
terceiros.
Tipos de Dados
● De acordo com o modelo dimensional
4
para estudos de dados de Web
Analytics, existem dois principais tipos de dados: dados de mensuração e
dados dimensionais;
● Dados de mensuração são dados simples sobre contagem de uso e
tempo, como contagem de page views, ou contagem de mouse clicks;
● Dados dimensionais são dados mais complexos, incluindo conteúdo,
informação do usuário (OS, browser type, screen size), e informações de
sessão.
Dados Comumente Coletados
Tipos de Análise
● Trend Analysis
● Engagement Analysis
● Clickstream Analysis
● Attention Analysis
● Conversion Analysis
● Performance Analysis
Trend Analysis
● Mostra mudanças cronológicas das métricas selecionadas
● Pode, por exemplo, ser utilizada para mostrar qual foi a mudança na
porcentagem de acesso através de plataformas mobile nos últimos dois
anos.
Engagement Analysis
● Mede os seguintes fatores:
○ Quantas páginas são visitadas por sessão?
○ Qual a duração da visita?
○ Quantas vezes novos visitantes retornam a visitar o site?
○ Quão frequentemente visitantes retornam ao site?
● Determinar porque uma multitude de operações realizadas no site não
resultaram em conversão.
Attention Analysis
● Rastreia movimento de mouse e clicks, criando um heatmap;
● Rastreia o scroll da página;
● Usado para analisar a popularidade de links e áreas de atenção do site
para ajudar estratégias de localização de conteúdo (Ex. quais links devem
ir no cabeçário; qual o melhor local para propaganda).
Exemplo de Uso
Convencional
Uso Convencional
● Paper: WEB ANALYTICS COMBINED WITH EYE TRACKING FOR
SUCCESSFUL USER EXPERIENCE DESIGN: A CASE STUDY
○ BORYS, Magdalena, Monika CZWÓRNÓG, and
Tomasz RATAJCZYK. "Web Analytics Combined
with Eye Tracking for Successful User
Experience Design: A Case Study."Applied Computer
Science, vol. 12, no. 4, 2016, pp.
96-110.
Uso Convencional
● Os autores propõem uma nova abordagem para o processo de design de
experiência do usuário móvel por meio de web analytics and eye-tracking.
● Aplicaram no intuito de projetar uma versão mobile do site da LUT -
Lublin University of Technology - Polônia
● Com base nos dados coletados via Web Analytics o protótipo do site
móvel foi criado e validado no teste de usabilidade de eye-tracking
● A análise do comportamento dos participantes durante as sessões de eye-
tracking permitiu melhorias do protótipo
Uso Convencional
Uso Convencional
Problema:
● Acesso ao site x dispositivos
● De 2012 → 2015 aumentou o acesso via smartphones de 1.05% para
10.45%.
● No mesmo período, o acesso via tablet aumentou de 0.03% para 1.36%.
● O Site da Universidade não tem versão mobile e não é responsivo
Uso Convencional
Alguns dados:
● Páginas mais visitadas:
○ Informação para candidatos (6.85%)
○ Tabela de Horários (5.22%)
○ Informações sobre carreiras (3.51%)
Uso Convencional
Alguns dados:
● Sistema Operacional
○ Android (81.34%)
○ iOS (8.05%)
○ Windows Phone 7.28%)
○ SO não reconhecido (1.06%)
Uso Convencional
Usabilidade?
Verificaram a usabilidade e experiência de usuário com a ferramenta Mobile-
Friendly Test.
Resultado: Site é impróprio para uso em dispositivos móveis, pois
● Fonte pequena
● Links muito próximos
● Em resoluções pequenas, apenas uma parte é apresentada
Uso Convencional
Uso Convencional
Para verificar e otimizar o design da versão mobile, foi realizado teste de
usabilidade com eye-tracking
O experimento foi realizado no Laboratório de Análise de Movimento e
Ergonomia de Interfaces da própria Universidade
Total de 10 participantes, sendo que 2 nunca haviam acessado o site.
Aplicaram um questionário e analisaram resultados do eye-tracking
Uso Convencional
Uso Convencional
● Resultado (exemplos de melhorias a serem realizadas):
○ Mudanças necessárias são relacionadas principalmente à estrutura
do Menu, localização de subcategorias, reorganizar o conteúdo das
páginas, ou a respeito de links redundantes para páginas específicas.
○ Alguns conteúdos que são mostrados em arquivos, como PDF, por
exemplo, quebram o fluxo de utilização do site.
Exemplo de Uso Não-
Convencional
Uso Convencional
● Segundo nossa pesquisa, são escassas as referências de trabalhos
envolvendo Avaliação Automática em usos Não Convencionais como
Smart Tvs e Smartwatches.
● Paper: The differences in accessibility of tv and desktop web
applications from the perspective of automated evaluation
○ Daniel Costa, Luís Carriço, and Carlos Duarte. 2015. The Differences in
Accessibility of TV and Desktop Web Applications From the Perspective of
Automated Evaluation. Procedia Computer Science 67 (2015), 388 – 396.
Uso Não Convencional
● A proposta dos autores é comparação de acessibilidade entre as versões
TV e Desktop de Web Applications.
● A avaliação automática é feita pelo uso de um sistema web chamado
QualWeb.
● Este sistema possui as definições Web Content Accessibility Guidelines
2.0.
Uso Não Convencional
● O sistema QualWeb apresenta os resultados de acessibilidade em termos
de PASS, WARNING e FAIL. Um PASS ou FAIL ocorre se a técnica for
aplicável a um documento HTML e se os elementos verificados pelas
técnicas estiverem de acordo ou em desacordo com as recomendações
do W3C, respectivamente. Um WARNING ocorre se não for possível
identificar certa característica de um elemento como certo ou errado,
sem a necessidade de intervenção de um especialista humano.
Uso Não Convencional
Métricas utilizadas
Resultados
Exemplo
Conclusão
O resultado final apresenta que os aplicativos Web para TV
atendem melhor as especificações WCAG 2.0, em relação
aos seus equivalentes para Desktop.
Exemplo Interativo
Referências
1. Melody Y. Ivory and Marti A Hearst. 2001. “The state of the art in automating usability evaluation of
user interfaces.” ACM Comput. Surv. 33, 4 (December 2001), 470-516.
2. WAA Standards Committee. "Web analytics definitions." Washington DC: Web Analytics Association
(2008).
3. Zheng, Guangzhi, and Svetlana Peltsverger. "Web analytics overview." Encyclopedia of Information
Science and Technology, Third Edition. IGI Global (2015).
4. Hu, X. and Cercone, N. , “A data warehouse/online analytic processing framework for web usage
mining and business intelligence reporting.” Int. J. Intell. Syst. (2004).
5. Borys, Magdalena, Monika Czwórnóg, and Tomasz Ratajczyk. "Web Analytics Combined
with Eye Tracking for Successful User Experience Design: A Case Study." Applied Computer Science,
vol.12, no. 4, 2016, pp. 96-110.
6. Daniel Costa, Luís Carriço, and Carlos Duarte. 2015. The Differences in Accessibility of TV and Desktop
Web Applications From the Perspective of Automated Evaluation . Procedia Computer Science 67
(2015), 388 – 396.
7. Lopes, R., Gomes, D., Carriço, L.. Web not for all: A large scale study of web accessibility . In:
Proceedings of the 2010 International Cross Disciplinary Conference on Web Accessibility (W4A); W4A
’10. New York, NY, USA: ACM. ISBN 978-1-4503-0045-2; 2010, p. 10:1–10:4.