modelo de tcc para o curso de ciência da computação da univalisiaibib01.univali.br/pdf/daniel...
TRANSCRIPT
UNIVERSIDADE DO VALE DO ITAJAÍ
CENTRO DE CIÊNCIAS TECNOLÓGICAS DA TERRA E DO MAR
CURSO DE CIÊNCIA DA COMPUTAÇÃO
AVALIAÇÃO DE USABILIDADE NO AMBIENTE SAPI 2.0 – SISTEMA DE
AVALIAÇÃO DE PRODUÇÃO INSTITUCIONAL
Área de Engenharia de Produção
por
Daniel Alberto Rover
Renate de Oliveira Raabe, M.Eng.
Orientadora
Itajaí (SC), julho de 2012
UNIVERSIDADE DO VALE DO ITAJAÍ
CENTRO DE CIÊNCIAS TECNOLÓGICAS DA TERRA E DO MAR
CURSO DE CIÊNCIA DA COMPUTAÇÃO
AVALIAÇÃO DE USABILIDADE NO AMBIENTE SAPI 2.0 – SISTEMA DE
AVALIAÇÃO DE PRODUÇÃO INSTITUCIONAL
Área de Engenharia de Produção
por
Daniel Alberto Rover
Relatório apresentado à Banca Examinadora do
Trabalho de Conclusão do Curso de Ciência da
Computação para análise e aprovação.
Orientadora: Renate de Oliveira Raabe, M.Eng.
Itajaí (SC), julho de 2012
Dedico este trabalho as pessoas que lutam diariamente ao meu lado, transmitindo fé, amor,
alegria, determinação, paciência, e coragem, tornando os meus dias mais felizes e bonitos.
Aos meus pais, Maria e Carlos, aos meus amigos, Ageu, Jefferson, Caroline. Sem vocês eu não
seria nada!
AGRADECIMENTOS
Agradeço a Deus, cuja fé me deu força, coragem e me guiou pelos caminhos mais escuros nos
momentos em que mais precisei.
Aos meus pais Maria e Carlos, e a toda minha família que, com muito carinho e apoio, não mediram
esforços para que eu chegasse até esta etapa de minha vida.
À professora e orientadora Renate de Oliveira Raabe por seu apoio no amadurecimento dos meus
conhecimentos e conceitos que me auxiliaram na execução e conclusão deste trabalho.
Aos demais professores, colegas da turma de Ciência da Computação e aos amigos que me
acompanharam durante este período da minha vida.
A todos os participantes, que quando convidados aceitaram participar desta pesquisa, arranjando
tempo para a realização dos testes.
Eu pedi Força e Deus me deu dificuldades para me fazer forte. Eu pedi Sabedoria e
Deus me deu Problemas para resolver. Eu pedi Prosperidade e Deus me deu
Cérebro e Músculos para trabalhar. Eu pedi Coragem e Deus me deu Perigo para
superar. Eu pedi Amor e Deus me deu pessoas com Problemas para ajudar. Eu pedi
Favores e Deus me deu Oportunidades. Eu não recebi nada do que pedi, mas eu
recebi tudo de que precisava.
(autor desconhecido)
O meu muito obrigado, sem todos vocês esta pesquisa não poderia ser concluída.
RESUMO
ROVER, Daniel Alberto. Avaliação de usabilidade no ambiente SAPI – Sistema de Avaliação
de Produção Institucional. Itajaí, 2012. 133f. Trabalho de Conclusão de Curso (Graduação em
Ciência da Computação)–Centro de Ciências Tecnológicas da Terra e do Mar, Universidade do
Vale do Itajaí, Itajaí, 2012.
Com o avanço constante dos produtos e serviços, observou-se que as pessoas passaram a se tornar
mais exigentes e menos tolerantes a falhas, com isso obrigou-se a tomar medidas as quais tornassem
os produtos e serviços oferecidos de maior qualidade. Sendo assim os testes de usabilidade são na
atualidade, essenciais no desenvolvimento de qualquer produto, seja ele um objeto físico ou um
software, pois permite de forma clara identificar falhas antes mesmo que os produtos possam chegar
às mãos destas pessoas. Com os testes podem ser eliminadas falhas, e a existência de coisas
desnecessárias que possam influenciar na qualidade do produto. O presente trabalho teve como
objetivo avaliar a eficiência e eficácia das interfaces do novo software também denominado de
Sistema de Avaliação de Produção Institucional (SAPI 2.0), tendo em vista que este sistema está em
desenvolvimento e será utilizado por docentes da UNIVALI para a publicação de seus materiais,
substituindo a sua versão anterior.
Neste trabalho é apresentada a metodologia utilizada para a avaliação do software bem como os
resultados obtidos através de avaliações heurísticas e testes de usabilidade que foram efetuados a
fim de identificar e apontar melhorias que poderão ser aplicadas ao produto final.
Palavras-chave: Engenharia de usabilidade. Design experimento. Testes de usabilidade. Avaliação
heurística. SAPI.
ABSTRACT
With the constant advancement of products and services, it was observed that people have become
more demanding and less tolerant of failures, thus forced to take measures which would make the
products and services of higher quality. Thus the usability tests are nowadays essential in the
development of any product, be it a physical object or software, making it possible to clearly
identify gaps even before the products can reach the hands of these people. With the tests failure
can be eliminated, and the existence of unnecessary things that may influence the quality of the
product. This study aimed to evaluate the efficiency and effectiveness of the new software interfaces
also called Sistema de Avaliação de Produção Institucional (SAPI), considering that this system is
under development and will be used by teachers of UNIVALI to the publication of their materials by
replacing its previous version. This paper presents the methodology used to evaluate the software
and the results obtained through heuristic evaluations and usability tests that were performed to
identify and point out improvements that can be applied to the final product.
Keywords: Usability engineering. Design experiment. Usability testing. Heuristic evaluation.
SAPI.
LISTA DE FIGURAS
Figura 1. Ambiente virtual de aprendizagem da Unitis: área de aprendizagem ....................... 21
Figura 2. Visualização do Sistema POLVO ............................................................................. 23 Figura 3. Tela principal módulo Docente SAPI Atual ............................................................. 25 Figura 4. Tela detalhe produção módulo Docente SAPI Atual ................................................ 26 Figura 5. Tela de boas vindas do SAPI 2.0 .............................................................................. 27 Figura 6. Menu principal .......................................................................................................... 27
Figura 7. Tela de visualização das produções .......................................................................... 28
Figura 8. Tela com os atributos de uma produção .................................................................... 29
Figura 9. Seleção de docente para geração de relatório ........................................................... 30 Figura 10. Relatório de produtividade do docente. .................................................................. 30 Figura 11. Projeto de processo centrado no usuário ................................................................. 35 Figura 12. Número de avaliadores e porcentagem de problemas identificados de acordo com a
experiência do avaliador. .................................................................................................. 38
Figura 13. Relação de princípios X problemas encontrados na avaliação da interface docente
.......................................................................................................................................... 54 Figura 14. Relação de princípios X problemas encontrados na reavaliação da interface
validador ........................................................................................................................... 58
Figura 15. Tela de configuração inicial SAPI 2.0. ................................................................... 69 Figura 16. Tela de configuração inicial SAPI 2.0. ................................................................... 70
Figura 17. Tela de configuração inicial SAPI 2.0. ................................................................... 71 Figura 18. Menu de ferramentas interface docente. ................................................................. 72
Figura 19. Tela de minhas produções da interface docente. ..................................................... 73 Figura 20. Tela minhas produções da interface docente com visualização atributos. .............. 74
Figura 21. Tela de ajuda. .......................................................................................................... 75 Figura 22. Tela de minhas configurações. ................................................................................ 76 Figura 23. Tela de comprovação de produção interface docente. ............................................ 77
Figura 24. Tela de cadastro de produções não Lattes na interface docente. ............................. 78 Figura 25. Tela de inclusão de produção interface docente. .................................................... 79 Figura 26. Tela de menu interface do validador. ...................................................................... 80
Figura 27. Tela de validação de produção da interface validador. ........................................... 81
Figura 28. Tela de validação de produção da interface validador. ........................................... 82
Figura 29. Tela de validação de produção da interface validador. ........................................... 83 Figura 30. Tela de validação de produção da interface validador. ........................................... 84
Figura 31. Tela de alteração de peso do escore na interface do validador. .............................. 85 Figura 32. Tempo de execução do usuário Desenvolvedor x Média dos participantes Interface
Docente. ............................................................................................................................ 88
Figura 33. Tempo de execução do usuário Desenvolvedor x Média dos usuários Interface
Validador. ......................................................................................................................... 89
LISTA DE TABELAS
Tabela 1. Perfil dos participantes do teste de usabilidade modulo Docente 66
Tabela 2. Perfil dos participantes do teste de usabilidade modulo Docente 67 Tabela 3. Tempo de Execução das Tarefas em Segundos para a interface do Docente 87 Tabela 4. Tempo do usuário Desenvolvedor x Média de tempo dos usuários das tarefas do
módulo docente. 87 Tabela 5. Tempo de Execução das Tarefas em Segundos para a interface do Validador 88
Tabela 6. Tempo do usuário Desenvolvedor x Média de tempo usuários das tarefas do módulo
validador. 89
Tabela 7. Erros Cometidos na Execução das Tarefas na interface do Docente 90 Tabela 8. Erros Cometidos na Execução das Tarefas na interface do Validador 90 Tabela 9. Somatório de pontuação do questionário de satisfação 91 Tabela 10. Respostas dos participantes para interface do Docente 92 Tabela 11. Questões abertas sobre a satisfação da interface do docente 93
Tabela 12. Respostas dos participantes para interface do Validador 93 Tabela 13. Questões abertas sobre a satisfação da interface do validador 94 Tabela 14.Sugestões de Correção das Interfaces com base na norma ISO 9241-10 99
LISTA DE QUADROS
Quadro 1. Avaliação heurística módulo docente ............................................................................... 53
Quadro 2. Avaliação heurística módulo validador ............................................................................ 56 Quadro 3. Definição do experimento ................................................................................................ 60 Quadro 4. Planejamento do experimento .......................................................................................... 63 Quadro 5. Operação do experimento ................................................................................................. 64
LISTA DE ABREVIATURAS E SIGLAS
AVA Ambiente Virtual de Aprendizagem
BDTD Biblioteca Digital Brasileira de Teses e Dissertações
DOI Digital Object Identifier
EAD Ensino à Distância
IBICT Instituto Brasileiro de Informação em Ciência e Tecnologia
IHC Interface Humano-Computador
LabTIC Laboratório de Tecnologia de Informação e Comunicação
SAPI Sistema de Avaliação de Produção Institucional
TCC Trabalho de Conclusão de Curso
UDESC Universidade do Estado de Santa Catarina
UNIVALI Universidade do Vale do Itajaí
URL Uniform Resource Locator
SUMÁRIO
1. INTRODUÇÃO ............................................................................................................. 14
1.1 PROBLEMATIZAÇÃO ............................................................................ 16
1.1.1 Formulação do Problema ............................................................................... 16
1.1.2 Solução Proposta ............................................................................................. 16
1.2 OBJETIVOS .............................................................................................. 17
1.2.1 Objetivo Geral ................................................................................................. 17
1.2.2 Objetivos Específicos ...................................................................................... 17
1.3 METODOLOGIA ...................................................................................... 18
1.4 ESTRUTURA DO TRABALHO .............................................................. 19
2. FUNDAMENTAÇÃO TEÓRICA ................................................................................ 20
2.1 ANÁLISE DE TRABALHOS SIMILARES ............................................. 20
2.2 O SAPI ....................................................................................................... 24
2.2.1 O SAPI Atual ................................................................................................... 24
2.2.2 O SAPI 2.0 em Desenvolvimento ................................................................... 26
2.2.3 Perfil do Docente no SAPI 2.0 ........................................................................ 26
2.2.4 Perfil do Validador no SAPI 2.0 .................................................................... 28
2.3 USABILIDADE ......................................................................................... 31
2.4 ENGENHARIA DE USABILIDADE ....................................................... 33
2.4.1 Ciclo de Vida da Engenharia de Usabilidade ............................................... 33
2.4.2 Técnicas de Avaliação de Usabilidade .......................................................... 35
2.4.2.1 Avaliação Analítica .................................................................................. 36
2.4.2.2 Avaliação heurística ................................................................................. 36
2.4.2.3 Avaliação por lista de verificação ........................................................... 39
3. PROJETO ...................................................................................................................... 48
3.1 AVALIAÇÃO HEURÍSTICA DO SAPI 2.0 ............................................ 48
3.1.1 DESENVOLVIMENTO DA AVALIAÇÃO HEURÍSTICA ...................... 48
3.1.2 RESULTADOS QUALITATIVOS ............................................................... 50
3.2 PLANEJAMENTO DOS TESTES DE USABILIDADE ......................... 59
3.2.1 Contexto de Uso ............................................................................................... 59
3.3 DESIGN DO EXPERIMENTO ................................................................. 60
4. DESENVOLVIMENTO ................................................................................................ 65
4.1 REALIZAÇÃO DOS TESTES DE USABILIDADE ............................... 65
4.2 PERFIL DOS PARTICIPANTES ............................................................. 66
4.3 DIAGNÓSTICOS DOS PROBLEMAS DE USABILIDADE NAS
INTERFACES DO SAPI ............................................................................................ 68
4.3.1 Interface Docente SAPI 2.0 ............................................................................ 68
4.3.2 Interface Validador SAPI 2.0 ........................................................................ 80
4.4 RESULTADOS QUANTITATIVOS ........................................................ 86
4.5 RESULTADOS QUALITATIVOS ........................................................... 95
4.6 ANÁLISE ................................................................................................... 97
4.7 SUGESTÕES DE MELHORIAS .............................................................. 99
5. CONCLUSÃO ............................................................................................................. 103
4.8 TRABALHOS FUTUROS ...................................................................... 103
APÊNDICE A. QUESTIONÁRIO DE PERFIL .................................. 17
APÊNDICE B. TERMO DE CONCORDÂNCIA ............................... 19
APÊNDICE C. AVALIAÇÃO DE SATISFAÇÃO .............................. 20
APÊNDICE D. SCRIPT DE TAREFAS - DOCENTE ........................ 22
APÊNDICE E. SCRIPT DE TAREFAS - VALIDADOR ................... 23
APÊNDICE F. CHECKLIST DO AVALIADOR - INTERFACE
DOCENTE 24
APÊNDICE G. CHECKLIST DO AVALIADOR - INTERFACE
VALIDADOR 26
APÊNDICE H. FORMULÁRIO PARA EXECUÇÃO DAS
TAREFAS - INTERFACE VALIDADOR ............................................. 28
APÊNDICE I. FORMULÁRIO PARA EXECUÇÃO DAS
TAREFAS - INTERFACE DOCENTE .................................................. 29
ANEXO A. NORMA NBR 941 - PARTE 10 EM CD ........................ 31
ANEXO B. UTILIZAÇÃO DO SAPI 2.0 ........................................... 32
14
1. INTRODUÇÃO
Atualmente o uso dos computadores vem aumentando significativamente e várias
pessoas estão tendo acesso ao computador e a sistemas de informática, porém estes usuários
leigos em informática estão muito mais acostumados com ambientes físicos que com
ambientes computacionais, sendo assim, os sistemas virtuais e dispositivos devem seguir
determinada lógica, devem ser intuitivos auxiliando e tornando o seu uso cada vez mais
confortável.
Devido a essa interação é que há a necessidade de criar sistemas com interfaces mais
amigáveis e intuitivas, tornando assim o seu uso o mais agradável possível. Porém a criação
de interfaces com usabilidade não é uma tarefa fácil, pois se deve utilizar métodos e técnicas
específicos da área de engenharia de usabilidade.
Segundo Nielsen (1994), quando são aplicados os métodos de engenharia de
usabilidade na fase de desenvolvimento, consegue-se obter uma redução de tempo e o corte de
custos, detalhes estes que muitas vezes não são visíveis aos desenvolvedores que já estão
habituados com sistemas, sendo que os mesmos têm uma visão de sistemas diferente do
usuário, onde coisas que podem ter uma ação óbvia para o desenvolvedor, para o usuário final
pode não ser tão claro e objetivo, aumentando assim o número de erros e deixando o usuário
insatisfeito. Todo usuário espera que os sistemas tenham suas interfaces agradáveis e
intuitivas, sendo que se o produto não segue este parâmetro, o mesmo torna-se alvo de
críticas.
As interfaces desenvolvidas por profissionais da área da informática acabam incluindo
elementos que podem distrair os usuários tornando-os desnecessários, provocando assim a
dispersão do usuário ou até mesmo a sua não adaptação, sendo assim o desenvolvimento de
interfaces gráficas deve ser feito envolvendo profissionais de outras áreas agregando assim
subsídios importantes para uma melhor e maior interação homem-máquina (ANDRADE,
2007).
O desenvolvimento da interface deve seguir os princípios de usabilidade, métodos e
técnicas de engenharia de usabilidade ou a aplicação de Normas ISO, tais como a 9241-10. As
interfaces também devem levar em consideração aspectos como cores, agrupamento das
informações, técnicas de avaliação, princípios de diálogo, entre outros, tornando assim o
sistema de fácil utilização e com uma interface intuitiva transformando o sistema em uma
ferramenta facilitadora otimizando assim as execuções de tarefas.
15
Segundo Nielsen e Loranger (2007) a usabilidade é um atributo de qualidade
relacionado à facilidade no uso de algo. Refere-se à velocidade com que os usuários podem
aprender a usar alguma coisa, a eficiência ao usá-la, o quanto lembram daquilo, o grau de
propensão a erros.
Seguindo estes passos a criação de sistemas pode ter seu caminho bem sucedido,
porém não unicamente pensando nisso, muitas vezes se pensa em sistemas ágeis, rápidos,
porém se esquece da usabilidade, transformando assim o sistema complexo para o uso de
pessoas leigas e tornando-os muitas vezes inutilizados e tendo fracasso em sua disseminação.
O Sistema de Avaliação da Produção Institucional (SAPI) que está em
desenvolvimento para substituir o atual será o objeto de estudo deste trabalho uma vez que há
um interesse por parte de seus desenvolvedores em avaliar a usabilidade das interfaces
projetadas. Os módulos do Professor e Validador já estão em uso por usuários finais da
Universidade do Estado de Santa Catarina (UDESC) após acordo feito entre as universidades
para o uso do software, o qual tem uma versão idêntica ao criado para UNIVALI, mas com
algumas personalizações, pois antes da sua implantação esta tarefa de pontuação era
executada manualmente, e com o crescimento das pesquisas e da instituição como um todo,
fez-se necessário a criação de um sistema eficaz, ágil e transparente ao usuário, facilitando
assim a participação dos docentes nos editais da instituição. A produção intelectual é
analisada e pontuada de acordo com as resoluções da instituição, baseada nessa pontuação
pode ser feita a estratificação dos produtos de maior qualidade.
O SAPI é um software desenvolvido pela Universidade do Vale do Itajaí (Univali)
utilizado para o controle e avaliação das produções de ensino, pesquisa e extensão de seus
docentes. Foi concebido para atender as necessidades específicas de avaliação da produção
científica baseando-se nos dados fornecidos pelo Currículo Lattes gerando como resultado
relatórios da produtividade com respectiva pontuação atendendo as necessidades
institucionais.
Devido a isso é que chegou-se à proposta deste Trabalho Técnico-Científico de
Conclusão de Curso (TTC), que consiste na avaliação heurística deste sistema atual com base
na norma ISO 9241-10 e através de testes de usabilidade1 das interfaces de docente e
1Testes de usabilidade Segundo Cybis (2007) é uma técnica formal que pode envolver usuários representando a
população alvo onde são designados a desenvolver tarefas típicas e críticas havendo com isso a coleta dos dados
para posterior análise.
16
validador, a fim de identificar os aspectos positivos e os aspectos a serem melhorados no que
se refere à interação do usuário.
1.1 PROBLEMATIZAÇÃO
1.1.1 Formulação do Problema
Atualmente os docentes da UNIVALI utilizam do sistema SAPI o qual está
ultrapassado e necessitou de uma nova versão para atender a demanda atual. Esta nova versão
criada deixou seus desenvolvedores confusos quanto a usabilidade, se o sistema novo estaria
realmente atendendo as necessidades dos usuários e por isto se teve a preocupação de
verificar se o sistema esta dentro dos padrões de usabilidade atuais.
Sabendo-se que o SAPI versão 2.0 será utilizado por pessoas com um variado grau de
conhecimento em informática, e que o mesmo deve oferecer suas funcionalidades da maneira
adequada, além de ser uma ferramenta a qual será utilizada tanto dentro da própria
universidade que a desenvolveu como em outras, é que houve a preocupação em verificar se o
software atende as normas de usabilidade que garantem assim um produto adequado ao uso e
execução da tarefa.
1.1.2 Solução Proposta
A solução proposta neste trabalho-técnico científico de conclusão de curso é a análise
de usabilidade na nova versão do sistema SAPI (Sistema de Avaliação de Produção
Institucional) que está prevista para implantação na UNIVALI (Universidade do Vale do
Itajaí) no segundo semestre do ano de 2012, sistema este que substituirá o sistema atual.
Foi efetuada a avaliação heurística do sistema pelo pesquisador a fim de verificar
quais dos princípios de usabilidade descritos da Norma ISO 9241:10 são desrespeitados, e a
partir destes resultados a criação dos documentos que foram utilizados nos testes de
usabilidade a fim de constatar tal deficiência no sistema, e com isso propor melhorias aos
desenvolvedores.
Espera-se que com os resultados deste trabalho seja possível corrigir as principais
falhas no sistema antes que o mesmo seja liberado para o uso, contribuindo assim com o
sucesso no uso do sistema.
17
1.2 OBJETIVOS
1.2.1 Objetivo Geral
O objetivo geral deste TTC (Trabalho Técnico-Científico de Conclusão de Curso) é a
avaliação de usabilidade nas interfaces dos módulos docente e validador do sistema SAPI 2.0
através de avaliação heurística e testes de usabilidade para identificar os aspectos positivos e
aspectos a serem melhorados.
1.2.2 Objetivos Específicos
Os objetivos específicos deste projeto são:
Pesquisar trabalhos similares;
Pesquisar e estudar conceitos da área de Engenharia de Usabilidade,
usabilidade, avaliações heurísticas e empíricas, testes de usabilidade, normas
de usabilidade, entre outras;
Estudar o sistema SAPI 2.0 e apresentar suas principais funcionalidades nos
módulos que serão avaliados;
Planejar o design do experimento;
Realizar a Avaliação heurística nas interfaces do SAPI 2.0;
Realizar a análise qualitativa dos resultados obtidos na Avaliação heurística;
Planejar os testes de usabilidade com base nos resultados da Avaliação
heurística;
Realizar os testes de usabilidade;
Identificar os resultados de eficiência, eficácia e satisfação da aplicação através
dos testes de usabilidade; e
Realizar a análise quantitativa e qualitativa dos resultados obtidos nos testes de
usabilidade.
18
1.3 Metodologia
A fundamentação teórica foi baseada em materiais encontrados em livros, dentre os
principais pode-se citar os livros de Ergonomia e Usabilidade: conhecimentos, métodos e
aplicações de Cybis, Betiol e Faust (2007) que fornece uma base sólida a respeito do
planejamento dos testes de usabilidade; Usability Engineering de Nielsen (1994) que fornece
um ótimo conhecimento sobre a área de usabilidade e a importância da mesma. Outros livros
foram utilizados bem como acesso a materiais online e estão disponíveis na bibliografia deste
trabalho.
Pesquisas por trabalhos similares foram realizadas utilizando-se de ferramentas de
busca como Google (2011). Dentre as palavras chaves pode-se citar: usabilidade, teste de
usabilidade, engenharia de usabilidade, importância da usabilidade, tipos de teste de
usabilidade, usability tests, usability engineering, entre outras.
Foi realizada uma análise dos trabalhos similares encontrados e tanto esta quanto as
conclusões e contribuições para este trabalho podem ser encontradas no Item 2.1 deste
trabalho.
A norma ISO 9241-10 serviu tanto para o embasamento da fundamentação teórica
como material de referência a execução da avaliação heurística e levantamento de problemas
no sistema SAPI 2.0.
Foram elaborados documentos para os testes de usabilidade, testes estes que foram
efetuados com os usuários reais do sistema em seu ambiente natural de trabalho, estes
documentos foram utilizados como guia e fonte de coleta de informações para o pesquisador.
Na avaliação heurística é apresentada a metodologia utilizada os dados obtidos e os
resultados através desta técnica que proporcionou informações para a criação dos documentos
para o teste de usabilidade.
Por fim são apresentados os resultados obtidos no estudo, assim como os problemas
encontrados e propostas de melhorias baseadas nos princípios da norma ISO 9241-10 e nas
sugestões indicadas pelos participantes dos testes bem como as conclusões finais do
pesquisador e a proposta para trabalhos futuros.
19
1.4 Estrutura do Trabalho
Este documento está estruturado em quatro capítulos.
O Capítulo 1 apresenta a introdução sobre o tema em estudo e apresenta um resumo
geral do trabalho, além de descrever os objetivos e a sua respectiva metodologia.
O Capítulo 2 descreve a fundamentação teórica utilizada como base no
desenvolvimento deste projeto abordando-se conceitos de história e importância da
Usabilidade, Engenharia da Usabilidade, funcionamento do sistema em estudo SAPI, além da
análise de trabalhos similares.
O Capítulo 3 apresenta o projeto detalhado do teste de usabilidade desde a análise até
a execução da avaliação heurística a qual permitiu a elaboração dos documentos para a
execução dos testes de usabilidade.
O Capítulo 4 apresenta o desenvolvimento dos testes de usabilidade bem como os
resultados obtidos e a avaliação dos mesmos.
O Capítulo 5 apresenta a conclusão do trabalho proposto. O texto inclui 09 apêndices
que complementam as informações apresentadas no trabalho.
20
2. FUNDAMENTAÇÃO TEÓRICA
Neste capítulo serão apresentados os conceitos de usabilidade, avaliações heurísticas e
empíricas, testes de usabilidade, normas de usabilidade necessárias ao aprofundamento
teórico para a realização deste projeto proposto, bem como a análise de trabalhos similares,
apresentados a seguir.
2.1 ANÁLISE DE TRABALHOS SIMILARES
A análise de projetos similares contribuiu para o entendimento de como seria feito este
projeto e como seria executado. Para este projeto de pesquisa foram analisados quatro
trabalhos:
1. “Estudo da Usabilidade da Interface do Ambiente Virtual de Aprendizagem da
UNITINS”, de Almeida (2009).
O primeiro projeto pesquisado refere-se ao estudo e análise de usabilidade no AVA
(Ambiente Virtual de Aprendizagem) no curso de Administração da Fundação Universidade
do Tocantins - Unitins, onde o estudo foi feito nas interfaces utilizadas pelos professores e
alunos, observando-se o processo de interação dos usuários, destaca-se que esta avaliação foi
feita utilizando abordagens qualitativas e fenomenológicas. A autora identifica que os
usuários escolhidos para os testes foram baseados nos critérios apresentados nos estudos
realizados por Nielsen (2007). Para a seleção dos participantes foi efetuada a aplicação de um
questionário onde foi extraída uma relação de seis alunos e seis professores baseados em pré-
requisitos já definidos. Na Figura 1 é possível verificar o ambiente o qual foi feito o estudo de
usabilidade, nota-se que é um ambiente com várias ferramentas as quais aparentemente estão
dispostas de uma forma agrupada o que auxilia no uso da ferramenta, porém mesmo assim
alguns problemas foram encontrados, e isto tornou claro e de grande relevância para o
trabalho atual, onde algumas vezes achamos que uma interface está adequada porém, não é a
mesma realidade na visão de outros usuários.
21
Figura 1. Ambiente virtual de aprendizagem da Unitis: área de aprendizagem
Fonte: Almeida (2009).
Este trabalho também contribuiu mostrando a forma com que foram guiados os
estudos, os temas que deveriam ser abordados para se chegar a uma análise qualitativa de um
sistema, bem como foram feitas as seleções dos participantes.
2. “Análise de Usabilidade de um Laboratório Virtual de Química Orgânica” de Bottentuit
Junior e Coutinho (2007).
O segundo projeto pesquisado se refere ao estudo de usabilidade, eficiência, eficácia
e satisfação de usuários da área de química de um laboratório virtual criado pelo professor
André Arigony Souto da Pontifícia Universidade Católica do Rio Grande do Sul. A avaliação
é feita de quatro formas distintas, domínio técnico, pedagógico, linguístico e interface gráfica.
A seleção dos avaliadores foi feita em forma de critérios pré-definidos onde foi necessário
que pessoas com formação em química e informática fossem os escolhidos. Foram efetuados
testes com 30 (trinta) usuários onde 53% eram da formados em química e 47% tinham
formação em informática. Com os resultados obtidos foi efetuada apresentação de resultados
através de indicadores estatísticos como percentual, média e ranque.
22
Este trabalho também contribuiu para o entendimento de como são feitas as análises
de usabilidade tendo em vista que o mesmo se refere a eficiência, eficácia e satisfação as
quais também são objetivos para este trabalho. Além disso, o estudo do trabalho mostrou a
importância de ser feita uma boa seleção dos participantes dos testes de usabilidade
mostrando que, para um melhor resultado, deve-se considerar os usuários reais do sistema, os
quais entendem seus objetivos propostos, evidenciando assim nos testes as falhas do sistema e
não a falta de domínio dos usuários.
3. “Ergonomia Cognitiva em Ambientes Virtuais de Aprendizagem: uma análise da
interface Humano – Computador (IHC) do sistema Polvo” de Silva Filho, Klein Junior,
Lins, Costa (2008).
O terceiro projeto pesquisado se refere a estudo de usabilidade e ergonomia cognitiva
efetuada no sistema de EAD (Ensino A Distância) da UDESC nomeado de POLVO, foram
utilizadas técnicas de usabilidade e ergonomia de autores conhecidos na área como Jakob
Nielsen e Walter Cybis os quais estão sendo utilizados fortemente como referência para o
desenvolvimento deste trabalho.
Neste artigo os autores também se utilizam de técnicas descritas na norma de
usabilidade ISO 9241, assim como, os critérios definidos por Cybis, Beitol e Faust (2007)
para a avaliação deste sistema o qual foi desenvolvido pelos pesquisadores do LabTIC
(Laboratório de Tecnologia de Informação e Comunicação) da UDESC.
Este trabalho contribui para o entendimento com uma visão dos autores sobre as
técnicas de usabilidade e ergonomia o que ajudou a esclarecer o que foi encontrado na
literatura de forma explicativa e genérica, porém sem algum tipo de exemplo. Utilizou-se
também como reforço da necessidade atual de efetuar os testes de usabilidade também em
ferramentas que estão disponíveis de modo online e que atingem muitas pessoas.
Na Figura 2 é mostrada uma das interfaces do sistema POLVO onde a autora destaca
os pontos positivos do sistema.
23
Figura 2. Visualização do Sistema POLVO
Fonte: Silva Filho, Klein Júnior, Lins e Costa (2008).
4. “Avaliação de Usabilidade em Bibliotecas Digitais: Um Estudo de Caso” de Pereira
(2011).
O quarto projeto pesquisado refere-se a um estudo de usabilidade efetuado no sistema
de Biblioteca Digital Brasileira de Teses e Dissertações a qual é mantida pelo instituto
Brasileiro de Ciência e Tecnologia BDTD-IBICT a fim de evidenciar e contribuir com
melhorias na interface através da aplicação da avaliação heurística e empírica. Os testes
geraram resultados qualitativos os quais foram analisados, e propostas soluções para os
problemas de usabilidade encontrados.
Pode-se destacar que a análise dos trabalhos aqui apresentados contribuiu com a
evolução do trabalho atual, abordando vários temas, contribuindo assim com a sua evolução.
Pode-se destacar que o estudo de todos estes trabalhos aqui citados contribuiu muito
para o desenvolvimento do trabalho atual no que se trata de obter o conhecimento sobre a
importância da usabilidade e quais os rumos a serem tomados em projetos deste mesmo
24
gênero, o qual se pode notar que são diferentes, porém possuem uma mesma metodologia de
aplicação. A seguir serão abordadas as interfaces sistema SAPI, as quais sofreram a avaliação
heurística e que na próxima etapa serão aplicados os testes de usabilidade com os usuários.
Este trabalho além de contribuir assim como os outros com a metodologia utilizada
para a elaboração de um projeto deste tipo, trouxe mais informações que estão atualizadas, e
também auxiliou na etapa da elaboração dos documentos que estão em anexo a este trabalho
além de reforçar a importância que se está dando na atualidade para os testes de usabilidade.
2.2 O SAPI
Serão apresentadas aqui as duas versões do SAPI, a versão que está atualmente em uso
que se encontra na intranet da UNIVALI e a versão que esta em desenvolvimento a qual é o
alvo deste trabalho.
2.2.1 O SAPI Atual
O Sistema de Avaliação de Produção Institucional (SAPI) foi criado com o objetivo de
avaliar as produções dos docentes da UNIVALI. A pontuação que é gerada com as produções
publicadas que podem se transformar em bolsas de pesquisa, horas de pesquisa aos docentes,
avaliações dos cursos, etc. O sistema deve permitir o acesso aos docentes que devem enviar o
seu material, os funcionários da Pró-Reitoria de Ensino que gerenciam as informações e
controlam a validação das produções e outros funcionários que necessitarem extrair relatórios
gerenciais (COSTA, 2008).
As funcionalidades do SAPI atual são apresentadas conforme o perfil do utilizador:
1. Docente
a) Envio de currículos;
b) Visualizar produções; e
c) Exibir relatórios disponíveis.
2. Funcionários da Pró-Reitoria de Ensino
a) Envio de currículos Lattes em nome de algum docente;
25
b) Buscas por currículos ou produções;
c) Verificar Status das produções;
d) Confeccionar relatórios customizados; e
e) Cadastros de áreas, grupos, cenários de pontuação, perfis de usuários.
Serão apresentadas algumas das interfaces do SAPI que está atualmente em uso para
que se possa ter um conhecimento do sistema atual e após será mostrado o sistema que esta
em desenvolvimento para a substituição.
Na Figura 3 é mostrada a tela inicial que é mostrada ao Docente após o seu acesso ao
sistema onde se pode notar muitas informações que não fazem parte da aplicação.
Figura 3. Tela principal módulo Docente SAPI Atual
Fonte: Costa (2008)
Na Figura 4 é apresentada a interface onde é detalhada a produção que o docente inseriu
no sistema.
26
Figura 4. Tela detalhe produção módulo Docente SAPI Atual
Fonte: Costa (2008)
2.2.2 O SAPI 2.0 em Desenvolvimento
Serão apresentadas a seguir as principais funcionalidades do sistema SAPI 2.0, as
quais serão avaliadas nesta proposta de trabalho de conclusão de curso. O sistema é dividido
basicamente em duas áreas definidas como área do docente e área do validador, área do
docente é a área a qual todos os docentes têm o seu acesso para inclusão, visualização ou
exclusão dos seus respectivos trabalhos, a área do validador é a parte do sistema onde
somente o usuário autorizado tem acesso para validar todos os trabalhos que são postados
pelos docentes, a seguir serão explanados individualmente para a melhor compreensão do
assunto.
2.2.3 Perfil do Docente no SAPI 2.0
O sistema do SAPI 2.0 possui interface distinta para ambos os perfis que são
acessados, porém o padrão permanece, adiante serão apresentadas as principais interfaces que
são necessárias para execução da tarefa pelo docente.
27
A Figura 5 mostra a tela de boas vindas ao sistema exibida no primeiro acesso pelo
usuário contendo as orientações necessárias para a configuração inicial do sistema (Manual
Docente SAPI).
Figura 5. Tela de boas vindas do SAPI 2.0
Fonte: SAPI 2.0 (2011).
Após o término da inserção dos dados de configuração inicial o usuário é direcionado
a pagina principal do sistema onde é apresentado o menu principal contendo todas as funções
do sistema disponíveis para o perfil do usuário conforme ilustrado na Figura 6.
Figura 6. Menu principal
Fonte: SAPI 2.0 (2011).
28
Na Figura 7 temos a tela a qual é exibida ao usuário no momento em que ele seleciona
a opção “Minhas Produções” no menu principal. Nesta tela pode-se procurar por produções já
inseridas no sistema para efetuar ações como exclusão ou visualização bem como criar o
cadastro de uma nova produção e enviá-la para validação.
Figura 7. Tela de visualização das produções
Fonte: SAPI 2.0 (2011).
2.2.4 Perfil do Validador no SAPI 2.0
Serão abordadas aqui as principais funcionalidades do módulo validador do sistema
SAPI 2.0.
Dentre as atividades atribuídas ao validador as quais serão explanadas mais adiante,
está a atividade de validação dos materiais que foram inseridos no sistema SAPI 2.0 pelos
docentes de todas as áreas dentro da instituição, após a seleção desta atividade no menu
principal, há duas opções para busca que podem facilitar na tarefa do validador. Após a
localização de uma produção pendente de aprovação a mesma é exibida em detalhes conforme
demonstra a Figura 8 para a visualização e conferência das informações fornecidas pelo
docente na hora do seu cadastro. Nesta tela pode ser feita a escolha entre a aprovação ou
rejeição da produção inserida.
29
Figura 8. Tela com os atributos de uma produção
Fonte: SAPI 2.0 (2011).
O SAPI 2.0 disponibiliza ao validador a opção de gerar relatórios de produtividade,
tanto individual para um docente como para vários indivíduos ou até mesmo por
departamentos, a Figura 9 ilustra a seleção de apenas um docente para e geração do relatório o
qual pode ser visualizado na Figura 10.
30
Figura 9. Seleção de docente para geração de relatório
Fonte: SAPI 2.0 (2011).
Figura 10. Relatório de produtividade do docente.
Fonte: SAPI 2.0 (2011).
31
Maiores detalhes quanto às telas de interface do sistema novo podem ser vistas no
Anexo B que se encontra neste trabalho.
2.3 Usabilidade
Com o avanço tecnológico integrando a cada dia mais os dispositivos digitais para
facilitar a execução de tarefas, entra em questão a forma com que estas tarefas são executadas,
se este dispositivo esta contribuindo para o avanço progressivo da atividade ou esta se tornado
uma barreira que teve como seu objetivo auxiliar, porém exerceu a tarefa contraria.
Acreditando-se nisso é que se começou a ter a preocupação de que certo produto, seja ele,
software ou hardware, deve ser de fácil manuseio facilitando assim o uso de pessoas que não
tem afinidade com o mesmo.
Segundo Pezzè e Young (2008) a usabilidade é dada quando um produto é aprendido
de forma rápida e eficiente tornando-o assim agradável o seu uso. Em usabilidade há critérios
objetivos os quais dizem respeito à quantidade de operações efetuadas e tempo necessário
para efetuar determinada tarefa, assim como a quantidade de erros cometidos pelo usuário.
Alguns passos são definidos para serem efetuados durante as etapas da elaboração do
projeto de software para garantir que o mesmo ao final tenha a melhor usabilidade possível,
estes passos são definidos a seguir (PEZZÈ; YOUNG, 2008):
Inspecionar as especificações – utiliza-se de listas onde são feitas as verificações para
averiguar que o sistema esta seguindo as especificações já determinadas no seu projeto,
garantindo assim sua fidelidade.
Teste dos protótipos – com estes testes, consegue-se obter diretamente com o usuário
do sistema suas dificuldades com relação ao sistema que esta em desenvolvimento (teste
exploratório2), avaliar alternativas diante das dificuldades do usuário (teste de comparação
3),
validando com isso a usabilidade do sistema, reconhecendo pontos que podem ser melhorados
de acordo com as necessidades do usuário. Este protótipo de software não tem necessidade de
2 Teste exploratório segundo Pezzè(2008) é investigar o modelo mental dos usuários questionando-os sobre a
abordagem de interação com o sistema. 3 Teste comparação segundo Pezzè(2008) é avaliar as opções disponíveis para efetuar a mesma tarefa.
32
ser funcional podendo ser até um simples protótipo de papelão, pois mesmo assim já se
consegue visualizar as dificuldades do usuário em utilizar o sistema.
Teste de versões do software de maneira incremental – estes testes são efetuados pelos
especialistas em usabilidade durante a produção do software a fim de detectar qualquer
problema de usabilidade antecipando assim a sua correção.
Efetuar os testes de execução e aceitação do software – nesta etapa são efetuados os
testes pelos especialistas, testes com os usuários finais, testes de compatibilidade com
sistemas em geral, a fim de verificar se há um bom funcionamento do sistema.
Cybis, Betiol e Faust (2007) definem usabilidade como sendo a qualidade no uso de
aplicações, porém não é somente usabilidade que determinará esta qualidade da aplicação e
sim um conjunto formado pelas características da interface e as necessidades de uso dos
usuários. Completa ainda com a descrição de que uma mesma interface pode ser muito boa
para usuários experientes, porém deixar muito a desejar quando a mesma é utilizada por
usuários com pouco grau de conhecimento.
Segundo a Norma ISO 9241, a usabilidade tem sua definição como sendo a capacidade
de um sistema interativo oferecer um determinado contexto ao usuário de forma eficaz,
eficiente e agradável para a realização de suas tarefas, onde estes pontos são definidos a
seguir segundo Nielsen (1994):
1. Eficácia – Definida como a capacidade da execução de atividades de forma
precisa alcançando assim a sua meta inicial;
2. Eficiência – Definida como a capacidade da execução de atividades de forma
que o tempo gasto e a quantidade de erros cometidos na utilização diminuam e
o seu nível de produtividade aumente gradativamente conforme o seu uso;
3. Satisfação – Definida como sendo o nível de satisfação dos usuários ao utilizar
determinado sistema.
A eficiência e a eficácia serão medidas, durante o teste, através da interação do
participante com o sistema, onde o avaliador fará anotações em um checklist já definido com
itens que visam obter informações a respeito do desempenho do participante no decorrer do
teste.
33
A satisfação será medida através da observação do participante durante o teste,
registrando suas críticas, elogios e sugestões e também será medida através de um
questionário de satisfação, que será aplicado após o teste de usabilidade.
Concluindo a usabilidade pode ser descrita como sendo a forma com que os usuários
utilizam o sistema de forma eficaz, eficiente e com satisfação, tornando assim um produto de
qualidade e que satisfaça as necessidades do usuário. A seguir será abordado sobre a
engenharia de usabilidade, explicando sobre ela.
2.4 Engenharia de Usabilidade
A engenharia de usabilidade assim como a engenharia de software surgiu a partir da
necessidade de criação de aplicações eficientes e de fácil utilização, distinguindo-se uma da
outra onde pode se destacar suas diferenças de forma simplificada sendo que a engenharia de
usabilidade preocupa-se com a interface com o usuário através de interfaces interativas e
intuitivas, em contra partida a engenharia de software se preocupa com o funcionamento do
software, visando que ele funcione de forma correta, rápida e sem erros (CYBIS; BEITOL;
FAUST, 2007).
Segundo Cybis, Betiol e Faust (2007), a engenharia de usabilidade pode privilegiar o
desempenho do usuário com a sua tarefa, fornecendo assim um sistema criado especialmente
para suas características e objetivos atendendo basicamente as expectativas de eficácia e
eficiência deixando para segundo plano a parte estética e emocional porém não deixando o
sistema “sem graça”. E é partindo deste princípio que será apresentado a seguir o ciclo da
engenharia de usabilidade o qual demonstra técnicas e métodos aplicados ao sistema a fim de
deixar que a parte estética do sistema seja o último objetivo a ser realizado.
2.4.1 Ciclo de Vida da Engenharia de Usabilidade
O ciclo de vida é um termo utilizado para representar um modelo o qual possui um
conjunto de atividades que devem ser desenvolvidas e trata da forma como que elas se
relacionam entre si. Existem ciclos de vida que são mais simples onde são ideais para projetos
menores e os mais complexos os quais são melhores para projetos onde há muitas pessoas
envolvidas, os quais são utilizados por oferecerem uma visão geral do projeto abrangendo
uma visão do esforço para execução assim como a capacidade de gerenciamento do progresso
34
pelo rastreamento dos resultados, recursos, metas, dentre outros (PREECE; ROGERS;
SHARP, 2005).
Segundo o site LabIUtil4(2011) a usabilidade é desenvolvida baseada em um conjunto
de atividades, que dependendo do paradigma para o ciclo de vida do produto podem estes
ligadas de diversas formas onde podem ser :
Cascata;
Prototipagem;
Espirais evolucionários; e
Reutilização.
A escolha do modelo irá depender do contexto do desenvolvimento, onde podem
haver particularidades, como, propostas de caráter inovador, conhecimento e domínio do
sistema, os recursos e tempo disponíveis, etc. Seja qual for o modelo utilizado todos eles
possuem atividades necessárias básicas que são:
Avaliação;
Análise; e
Síntese.
Independente do modelo utilizado para o desenvolvimento da análise, todos os
projetos de engenharia de usabilidade tem como foco uma abordagem centrada no uso, o que
é indispensável para assegurar a qualidade do produto, onde são especificadas medidas
quantificáveis a respeito do desempenho do mesmo, documentando em uma especificação de
usabilidade e a avaliação do produto relacionando-o com essas medidas. Na Figura 11 é
ilustrado o processo de engenharia de usabilidade centrado no usuário.
4http://www.labiutil.inf.ufsc.br
35
Figura 11. Projeto de processo centrado no usuário
Fonte: LabIUtil (2011).
Pode-se notar que na engenharia da usabilidade, diferente da engenharia de software o
ponto foco do projeto é o usuário, que deve fazer parte de todo o processo, validando a
interface ao seu uso para que a mesma seja elaborada de forma que seja de fácil utilização
dentro do contexto do seu uso. No próximo item será abordado o tema das avaliações
ergonômicas da interface onde são detalhadas algumas técnicas que podem ser utilizadas
(LABIUTIL, 2011).
2.4.2 Técnicas de Avaliação de Usabilidade
Segundo Cybis, Betiol e Faust (2007) as técnicas de avaliação ergonômica são
diagnosticas e são baseadas em verificações de aspectos ergonômicos das interfaces que
possam gerar algum problema ao usuário durante o seu uso, estas técnicas podem se
classificadas como:
Avaliação analítica;
Avaliação heurística;e
Inspeção através de listas de verificação.
36
2.4.2.1 Avaliação Analítica
Esta é técnica pode ser empregada durante as primeiras etapas da elaboração de uma
Interface Humano-Computador mesmo que ela ainda esteja organizada na forma de tarefas,
ela já pode ser aplicada avaliando questões como consistência, carga de trabalho e o controle
do usuário sobre os diálogos, assim pode ser feita a eliminação de aspectos irrelevantes antes
mesmo que sejam desenvolvidos. Pode se ressaltar que este tipo de avaliação procura
decompor a tarefa a fim de verificar a sua complexidade ou mesmo estimar o tempo gasto
com as interações que foram propostas (CYBIS; BEITOL; FAUST, 2007).
2.4.2.2 Avaliação heurística
Esta técnica julga um valor para as qualidades ergonômicas da Interface Humano-
Computador, onde, é realizada por especialistas em ergonomia os quais examinam a interface
a fim de encontrar os problemas e/ou barreiras que os usuários terão durante a interação com
o sistema. No processo de avaliação heurística os avaliadores baseiam-se em heurísticas ou
padrões de usabilidade gerais, que foram desenvolvidos por eles mesmos ou por especialistas
da área como Jakob Nielsen, Bem Shneiderman, Dominique Scapin e Christian Batisten ou
mesmo pela norma ISO 9241:10 (CYBIS; BEITOL; FAUST, 2007).
Segundo Pollier(1993 apud CYBIS; BETIOL; FAUST, 2007) pode haver diferentes
abordagens durante a avaliação de uma interface as quais podem influenciar nos resultados
obtidos, a aplicação dessas estratégias é de grande importância.
Objetivos dos usuários – onde é avaliada a interface para a execução das
tarefas e subtarefas que são fundamentais para o usuário;
Estrutura da interface – onde é avaliada a estrutura dos menus em níveis
hierárquicos, seguindo os dois tipos de encadeamento, profundidade e largura;
Nível de abstração – neste tipo de avaliação é efetuada uma abordagem
seguindo um modelo linguístico estruturado nos níveis de abstração:
semântico, sintático, léxico e físico;
Objetos das interfaces – onde é avaliada a interface a partir da estrutura de um
modelo de objetos de interação;e
37
Qualidades das interfaces – onde é examinada a interface baseando-se em
conjuntos de qualidades, princípios, heurísticas ou critérios de usabilidade
necessária.
Jakob Nielsen, considerado um dos maiores especialistas em usabilidade, propõe em
seu livro Usability engineering de 1994 um conjunto de dez heurísticas de usabilidade
(NIELSEN, 1994):
Visibilidade do estado do sistema;
Mapeamento entre o sistema e o mundo real;
Liberdade e controle ao usuário;
Consistência de padrões;
Prevenção de erros;
Reconhecer em vez de lembrar;
Flexibilidade e eficiência de uso;
Design estético minimalista;
Suporte para usuário reconhecer, diagnosticar e recuperar erros;e
Ajuda e documentação.
Além disso, após pesquisas realizadas por Nielsen (1994) pode se definir a quantidade
necessária de avaliadores para a participação do projeto, tendo assim a possibilidade de
conciliar o menor custo com uma boa identificação de problemas de ergonomia. O estudo
feito por Nielsen deixa claro que com apenas cinco avaliadores especialistas em usabilidade e
com domínio do sistema se é capaz de identificar até 95% dos problemas de ergonomia de um
aplicativo, com cinco avaliadores apenas especialistas em usabilidade se é capaz de identificar
85% dos problemas, e com, cinco avaliadores novatos 50% dos problemas são identificados
apresentados de forma ilustrada na Figura 12.
38
Figura 12. Número de avaliadores e porcentagem de problemas identificados de
acordo com a experiência do avaliador.
Fonte: Cybis, Betiol e Faust (2007).
Segundo a Norma ISO 9241 parte 10 trata dos requisitos ergonômicos para o trabalho
de escritório com o uso de computadores, esta norma descreve os princípios ergonômicos
gerais que devem ser aplicados na especificação, desenvolvimento ou avaliação de sistemas
de diálogo. Esta norma possui um modelo geral, porém o mesmo deve ser aplicado
dependendo das características e dos usuários do sistema.
A Norma 9241 parte 10 fornece princípios ergonômicos que foram formulados de
forma geral, porém os mesmos devem ser adaptados para a avaliação que se quer fazer. São
identificados na norma sete princípios os quais são considerados importantes para um projeto
de avaliação de um dialogo com o computador que são:
Princípio 01 – Adequação à tarefa: Um diálogo pode ser considerado
adequado a tarefa quando ele ajuda o usuário em uma conclusão efetiva e
eficiente da tarefa;
Princípio 02 – Auto descrição: Um diálogo pode ser considerado auto-descrito
quando cada passo do diálogo é compreendido de forma imediata pelo usuário,
seja por meio de resposta do sistema ou uma explicação sob demanda;
39
Princípio 03 – Controlabilidade: Um diálogo pode ser considerado
controlável quando o usuário pode controlar desde o início da sua interação a
direção e o ritmo para que o objetivo seja alcançado;
Princípio 04 – Conformidade com expectativas do usuário: Um diálogo é
considerado em conformidade com as expectativas do usuário quando é
consistente e correspondem as características do usuário, tal como o
conhecimento da tarefa, a experiência do usuário, e as convenções usualmente
aceitas;
Princípio 05 – Tolerância ao erro: Um diálogo é considerado tolerante a erros
quando apesar de erros na entrada da informação, os resultados podem ser
obtidos através de pouca ou nenhuma ação do usuário para sua correção;
Princípio 06 – Adequação a individualização: Um diálogo é considerado
adequado a individualização quando a sua interface pode ser modificada para
se adequar as necessidades da tarefa, sendo por preferências individuais e
habilidades do usuário; e
Princípio 07 – Adequação ao aprendizado: Um diálogo é considerado
adequado ao aprendizado quando o mesmo o apoia e guia o usuário ao
aprendizado do uso do sistema.
Dentro do que foi visto, este trabalho utilizou dos princípios da Norma ISO 9241 –
parte 10 para efetuar a avaliação heurística da ferramenta SAPI por se tratar de uma norma
descrita especificamente para ser aplicada em ferramentas de uso de escritório o qual o SAPI
se enquadrou perfeitamente.
2.4.2.3 Avaliação por lista de verificação
As listas de verificação para inspeção de ergonomia permitem que profissionais que
não seja especialista possam identificar problemas menores e repetitivos nas interfaces, onde
neste tipo de técnica a qualidade explicita da ferramenta e o conhecimento implícito do
avaliador é quem determina a avaliação (CYBIS; BEITOL; FAUST, 2007).
A norma ISO 9241, parte 10 a 17, fornecem listas de verificação que são bem
definidas e estão anexas a este trabalho na parte de anexos.
40
As avaliações efetuadas a partir de listas de verificação apresentam as seguintes
vantagens (CYBIS; BETIOL; FAUST, 2007):
Fornece o conhecimento ergonômico sobre quais serão os aspectos a serem
avaliados;
Sistematizar as avaliações tratando-se das qualidades a serem inspecionadas;
Sistematizar as avaliações tratando-se da abrangência de componentes que
deverão ser inspecionados;
Reduzir os custos de avaliação, pois não é necessária a mão de obra de pessoal
especializado.
A avaliação através das listas pode ser de custo muito baixo, porém deve-se tomar
cuidado quanto à qualidade das mesmas. Listas mal elaborada podem apresentar questões
subjetivas e em um número insuficiente que pode gerar resultados que não sejam confiáveis,
com pouca uniformidade e pouca abrangência (CYBIS; BEITOL; FAUST, 2007).
2.4.2.4 Testes de Usabilidade
Segundo Cybis, Betiol e Faust (2007) o foco principal dos testes de usabilidade é a
avaliação da qualidade das interações entre o usuário e o sistema, tem como objetivo contatar
problemas, medir o impacto negativo nas interações e identificar as suas causas na interface.
Podem ser envolvidos usuários reais ou representativos da população alvo nos testes
de usabilidade a fim de interagir com o sistema e realiza as tarefas que já foram pré-definidas
através de um contexto de operação real do sistema ou uma operação simulada. O objetivo é
efetuar o teste do sistema em uma situação real ou que seja a mais próxima da realidade
possível (CYBIS; BEITOL; FAUST, 2007).
2.4.2.4.1 Parâmetros básicos dos testes de usabilidade
Existem características que são mais importantes e que devem ser refletidas durante o
planejamento desse tipo de atividade. Dentre elas estão a verbalização do usuário, o local
onde será realizado o teste, os resultados esperados e o constrangimento do participante.
41
A verbalização é utilizada para se colher as opiniões do usuário que lhe vem a mente
durante a interação com o sistema, estas opiniões podem ser classificadas como dúvidas,
sugestões, dificuldades, entre outras, estas informações proporcionam ao avaliador
informações sobre hesitações, bloqueios ou erros. Este tipo de avaliação pode ser feita durante
a interação do usuário com o sistema ou depois da interação, utilizando-se de perguntas com
relação ao uso sistema. Se esta avaliação é realizada durante a interação do usuário com o
sistema, o avaliador deve estar ciente que isso pode custar o foco do usuário e gerando uma
carga cognitiva maior do que a normal em uma interação real, levando-o, também ao
prolongamento no tempo para a tarefa ou mesmo gerar alguns erros devido à necessidade de
expressar suas ações. Quando é realizada após a interação, é recomendado que se apresente ao
participante um vídeo da sua interação, oferecendo uma melhor lembrança do que se estava
fazendo em determinado momento e assim podendo ser mais claro e objetivo ao expressar
suas ações, dificuldades, problemas ou sugestões ao avaliador (CYBIS; BETIOL; FAUST,
2007).
Em questão ao ambiente existem basicamente dois os quais podem ser: o local de
trabalho o qual permite que o participante se sinta mais confortável no uso da aplicação ou um
laboratório de teste de usabilidade onde é montado um cenário para que seja possível a
captação de toda a informação possível (CYBIS; BETIOL; FAUST, 2007).
No geral, os testes de usabilidade oferecem aos avaliadores dois tipos de resultados:
Qualitativos; e
Quantitativos.
Os resultados qualitativos estão relacionados ao conhecimento das estratégias
aplicadas aos usuários durante as interações e a relação de problemas de ergonomia sobre as
interfaces. Existe a possibilidade de eles confirmarem determinados comportamentos
esperado pelos avaliadores ou, pelo contrário, mostrar comportamentos que não eram
esperados por parte dos usuários. Além do mais mostram o que leva o usuário a cometer
desvios de um plano ideal e como ele faz para voltar ao caminho esperado após um incidente.
Estas estratégias exigem análises qualitativas, algumas vezes subjetivas, para relacionar uma
causa e um efeito que nem sempre se mostram evidentes na interface (CYBIS; BETIOL;
FAUST, 2007).
42
Resultados quantitativos estão relacionado a natureza mais objetiva, onde se busca
classificar e contabilizar quantas vezes, qual a frequência e a duração dos acontecimentos em
termos de eficiência e eficácia dos usuários durante o teste, podendo determinar de forma
objetiva a porcentagem de usuários que obtiveram êxito na tarefa proposta, quanto tempo foi
despendido na sua obtenção, quanto desse tempo foi empregado em atividades produtivas e
improdutivas (erros, desvios, ajuda), entre outros indicadores de usabilidade (CYBIS;
BETIOL; FAUST, 2007).
Sobre o constrangimento dos participantes é um fator previsível onde algum cuidados
podem ser tomados para se garantir a integridade psicológica do participante durante os testes,
apontados por Cybis, Betiol e Faust (2007):
Deve-se esclarecer ao participante sobre os objetivos do teste, enfatizando de que o
teste é para avaliar o sistema e não o usuário;
Os participantes devem ser voluntários ou remunerados pelo tempo oferecido ao teste,
sendo que, de nenhuma forma, deve-se forçar ou pressionar os usuários;
Não deve ser exposto a um participante à observação ou comentários de colegas;
O participante não devem se sentir culpados em nenhum momento pelo fracasso da
tarefa;
Nenhum dos resultados dos testes de usabilidade deve invadir a privacidade dos
participantes e seu nome não deve ser divulgado;
Deve-se deixar que o usuário resolva sozinho as suas tarefas;
Não se deve tomar atitudes grosseiras que possam inibir ou constranger o participante;
e
Em casos de persistência de impasse, se deve sugerir ao usuário a realização de uma
tarefa alternativa, previamente estipulada no roteiro de tarefas.
2.4.2.4.2 A implementação de um teste de usabilidade
Esta etapa é segmentada em atividades que são organizadas em três passos principais
que são a análise do contexto de uso, montagem a realização do teste.
43
Análise do contexto de uso
É na análise do contexto de uso são definidos os parâmetros básicos dos testes, como
descrito no item anterior, e ao mesmo tempo os profissionais adquirem conhecimento do
sistema e do contexto de desenvolvimento, identificando os problemas iniciais de ergonomia
da interface com o usuário. São realizadas entrevistas preliminares com os desenvolvedores a
fim de se obter o conhecimento do seu sistema trazendo informações sobre seu contexto de
operação e o seu estado atual. Este tipo de levantamento é destinado à compreensão do ciclo
de desenvolvimento sistema, sendo clássico ou centrado no usuário, servindo de embasamento
para o levantamento de problemas de ergonomia. Com estas informações obtidas dos
projetistas do sistema, é feito um exame de todo o aplicativo visando primeiramente conhecer
bem suas funcionalidades para que seja possível identificar as funções que possam ser mais
problemáticas. A análise dos problemas relacionados a ergonomia pode é dada através de
técnicas de avaliação heurísticas ou ao se aplicar listas de verificação com o objetivo de
inspecionar a ergonomia do sistema.(CYBIS; BETIOL; FAUST, 2007).
Montagem
A montagem dos testes de usabilidade envolve três aspectos principais que são:
Amostra de usuários;
Roteiros de tarefas; e
Condições do ambiente de execução dos testes.
A amostra dos usuários deve ter o mesmo perfil da população alvo do sistema, sendo
essenciais que todos os participantes sejam usuários diretos, ou seja, pessoas que no seu dia a
dia realizem suas atividades com o uso do software, podendo eles ser experientes na execução
das tarefas envolvidas, algumas pessoas com baixo conhecimento e outras iniciantes. A
amostra deve ser o suficiente para abranger os diferentes tipos de usuários que possam a vir a
utilizar o sistema e devem permitir uma fácil distinção das observações que são pertinentes a
todos os usuários das informações que são específicas para um grupo da amostra.Um método
bastante utilizado para o levantamento dessas informações é a aplicação de um questionário,
onde se podem aplicar perguntas sobre (CYBIS; BETIOL; FAUST, 2007):
Formação, competência e experiência dos usuários;
44
Perfil de utilização do sistema, isto é, quais as funções que o usuário considera
de impacto positivo ou negativo sobre seu trabalho e qual é a frequência de
uso dessas funções; e
O ambiente do usuário, seus equipamentos e sistema operacional, suporte
oferecido pela empresa quanto a treinamento e apoio técnico.
Os roteiros de tarefas especificam quais são os conjuntos de tarefas que devem ser
realizados pelos usuários durante o teste de usabilidade. Os roteiros devem ser planejados de
forma que não ultrapassem uma hora de interação. Tempos superiores podem causar desgaste
excessivo e diminuir as capacidades psicológicas do usuário, reduzindo assim a fidelidade do
teste. Uma avaliação completa é impraticável, portanto o foco deve estar sobre os pontos mais
críticos, levando em consideração o ponto de vistas do usuário e da tarefa. Para se definir um
roteiro, deve-se levar em consideração o envolvimento das tarefas com (CYBIS; BETIOL;
FAUST, 2007):
Os principais objetivos do sistema, sob o ponto de vista de seus projetistas;
As funções mais importantes do sistema, apontados pelos usuários levando em
consideração o impacto sobre o trabalho dos mesmos;
As funções mais utilizadas pelos usuários na execução das tarefas; e
As funções que se enquadrem nas análises de problemas de ergonomia
identificadas anteriormente que possam causar problemas de usabilidade.
Para a definição do ambiente é levado em consideração às condições físicas e
organizacionais que são trazidas para a realização dos testes de usabilidade sendo um
representativo do contexto de uso do sistema que é montado a partir da coleta de informações
durante os passos de reconhecimento do sistema e da amostragem de participantes. Um teste
que o ambiente se caracterize como um escritório deve conter, por exemplo, uma
escrivaninha, armários, telefone tocando, documentos técnicos, e demais itens disponíveis,
tentando se retratar o mais fielmente possível o ambiente que faz parte do cotidiano dos
participantes (CYBIS; BETIOL; FAUST, 2007).
45
Realização do teste
Deve ser controlado e dirigido pelos ergonomistas que conduzirão os participantes e
auxiliarão no caso de constrangimento ou impasse. Além disso, deve se registrar em tempo
real o desempenho, incidentes e os erros dos usuários durante os testes, devendo ser marcado
no momento em que ocorreram. O facilitador atua junto do usuário lhe indicando as tarefas a
serem executadas pelo participante e intervindo quando necessário por indicações dos
ergonomistas. Dependendo do método de verbalização escolhido, pode também solicitar aos
participantes que verbalizem seus pensamentos durante ou depois dos testes. É possível
também que seja aplicada entrevista antes do término do teste para se analisar a satisfação do
participante com relação ao sistema (CYBIS; BETIOL; FAUST, 2007).
Após a realização dos testes de usabilidade é necessário a geração de um relatório que
deve ser entregue aos projetistas do sistema. Esse relatório deve incluir uma descrição dos
tipos de testes apontando os parâmetros escolhidos. Deve apresentar também informações
sobre a amostragem de usuários, roteiros e o ambiente disponibilizado, além da política de
gestão do constrangimento. Todas essas informações são essenciais, porém a parte mais
importante do relatório será a que apresenta os dados coletados, resultados encontrados
relacionados à usabilidade, e os problemas de usabilidade e ergonomia que foram
identificados e deve-se incluir uma parte com os comentários sobre a prioridade dos
problemas(CYBIS; BETIOL; FAUST, 2007).
Avaliação dos Resultados
Segundo a Norma ISO 9241-11 as medidas de usabilidade de eficácia, eficiência e
satisfação podem ser medidas conforme a seguir:
Medidas de eficácia
Porcentagem de objetivos alcançados;
Porcentagem de usuários completando a tarefa com sucesso;e
Média da acurácia de tarefas completadas.
Medidas de eficiência
Tempo para completar uma tarefa;
46
Tarefas completadas por unidade de tempo; e
Custo monetário de realização da tarefa.
Medidas de satisfação
Escala de satisfação;
Frequência de uso; e
Frequência de reclamações.
Para estas medidas, pode-se ser coletado dados de performance que podem ser
resumidos em tarefas cronometradas e tarefas de precisão. Alguns simples exemplos de
estatística descritiva para performance de dados são mostrados a seguir:
Tarefas Cronometradas
As tarefas cronometradas apresentam quanto tempo os participantes levaram para
completar cada tarefa. Para demonstrar algumas estatísticas simples que podem ser realizadas
neste caso:
Média do tempo gasto para completar a tarefa – calculado pelo somatório do tempo
gasto por todos os participantes que completaram a tarefa divido pelo número de
participantes.
Range - é o tempo mais alto e o tempo mais baixo gasto para se completar a tarefa.
Esta estatística é bastante relevante no caso de uma diferença grande entre o menor e o maior
tempo apresentado e para se tentar detectar o motivo e ações a serem tomadas para se evitar a
ocorrência de diferenças tão grandes.
Desvio Padrão (S) – tal como o range, o desvio padrão é uma medida de variabilidade
dos dados, ou seja, em que grau os dados se diferem uns dos outros. A fórmula é a seguinte:
47
onde: x 2 => soma do quadrado de cada um dos tempos coletados
x => soma de todos os tempos coletados
n => total de participantes
48
3. PROJETO
Neste capítulo será apresentado o projeto desenvolvido neste trabalho a fim de testar
com alguns dos usuários da UNIVALI no campus de Itajaí, a eficiência, eficácia e satisfação
no uso do SAPI 2.0.
A etapa do projeto está dividida em duas seções: Avaliação heurística de usabilidade e
planejamento dos testes de usabilidade que serão detalhadas a seguir.
A avaliação heurística se faz necessária pois através dela é possível levantar os pontos
do sistema que possuem problemas de interface e com base nesses resultados a elaboração dos
documentos necessários para os testes de usabilidade, testes estes que comprovarão os
problemas encontrados na avaliação heurística.
3.1 AVALIAÇÃO HEURÍSTICA DO SAPI 2.0
Nesta seção é apresentado o detalhamento a avaliação heurística efetuada no SAPI 2.0,
nesta etapa avaliou-se o sistema com base no sete princípios da norma ISO 9241-10 com
objetivo de encontrar pontos onde o sistema apresenta falhas de usabilidade, auxiliando assim
na elaboração dos documentos que serviram para a coleta dos dados dos testes de usabilidade
que foram efetuados posteriormente.
3.1.1 DESENVOLVIMENTO DA AVALIAÇÃO HEURÍSTICA
Nesta etapa foram feitas as avaliações heurísticas nas interfaces do SAPI 2.0 a fim de
verificar se há algum tipo não conformidade com a Norma ISO 9241 parte 10 a qual foi
utilizada como base para a avaliação das interfaces.
Em um primeiro momento foi efetuado a avaliação heurística na interface do SAPI 2.0
porém como o sistema está em desenvolvimento e o período da avaliação heurística e os testes
de usabilidade foram muito distantes, alguma alterações foram efetuadas no sistema, o que
poderia comprometer os resultados do teste. Para tanto foi feita uma nova avaliação heurística
nas interfaces do sistema, as quais levaram a novos resultados os quais serão demonstrados a
seguir, garantindo assim a fidelidade dos testes.
A avaliação heurística foi efetuada em duas etapas conforme descritas a seguir. Na
primeira etapa foi efetuada a avaliação das interfaces do docente e do validador pelo
49
pesquisador, e na segunda etapa foi efetuada a compilação dos resultados obtidos e a
elaboração das constatações sobre a usabilidade do sistema SAPI 2.0.
Foi realizada a avaliação heurística no sistema conforme a norma ISO 9241-10 onde
os sete princípios de diálogo abaixo foram utilizados:
P1 - Adequação à tarefa– o diálogo é adequado a tarefa quando ele auxilia o
usuário na conclusão efetiva e eficiente da tarefa;
P2 - Auto-descrição – o diálogo é auto-descrito quando cada passo do diálogo é
explicado ao usuário ou através de resposta do sistema;
P3 - Controlabilidade – o diálogo é controlável quando o usuário pode
controlar a direção e o ritmo da interação até que a atividade tenha sido
concluída;
P4 - Conformidade com expectativas do usuário – o diálogo esta em
conformidade com as expectativas do usuário quando ele é consistente e
correspondem as características do usuário, tal como o conhecimento da
tarefa, a educação e experiência, e pelo outro lado as convenções que são
usualmente aceitas;
P5 - Tolerância ao erro – o diálogo é tolerante a erro se, apesar da entrada de
informação errada, o resultado pode ser obtido através de pouca ou nenhuma
ação de correção do usuário;
P6 - Adequação à individualização – o diálogo é capaz individualização
quando a interface pode ser modificada para se adequar a necessidade da
tarefa, conforme preferências individuais e habilidades do usuário; e
P7 - Adequação ao aprendizado – o diálogo dá-se como adequado quando
auxilia e guia o usuário no aprendizado na sua utilização.
Foram executadas pelo pesquisador algumas tarefas consideradas importantes na
interface do docente a fim de serem analisadas:
Fazer a configuração básica inicial do perfil;
50
Incluir produções não Lattes no sistema; e
Pesquisar por materiais publicados;
Após estas tarefas executadas pelo pesquisador na interface do docente, teve inicio as
tarefas para a interface do validador que foram consideradas importantes:
Buscar Materiais;
Aprovar e rejeitar materiais;
Gerar relatórios; e
Alterar pesos dos Escores.
Ao fim dessa etapa, obtiveram-se quadros contendo todos os problemas identificados
pelo avaliador, nestes quadros foram explicitados os problemas e identificados quais os
princípios que foram desrespeitados conforme a norma já citada.
A seguir será apresentado o resultado da avaliação heurística de forma individual para
cada interface, demonstrando os problemas encontrados e a categoria a qual eles pertencem
seguidos de gráficos que melhor visualizam os resultados.
3.1.2 RESULTADOS QUALITATIVOS
Esta seção tem como objetivo demonstrar os resultados obtidos através da avaliação
heurística do avaliador na interface do SAPI 2.0, onde foram encontrados problemas de
quebras de princípios da norma ISO 9241-10 que serão apresentados em forma de quadros e
posteriormente analisados.
No Quadro 1 é possível verificar os problemas encontrados e o principio o qual ele
afetou dentro da interface do Docente no sistema SAPI 2.0. O Grau de importância que varia
de 1 para irrelevante e 5 para grave apresentando ajuda na definição de quanto grave foi o
princípio afetado para ajuda no agrupamento dos resultados e na avaliação dos mesmos.
51
Problema Análise
Identificador Localização ou fonte
do Problema
Descrição do problema ou
observação
Princípio
de
Diálogo
afetado
Grau de
Importância
1 2 3 4 5
1 Configuração Inicial
As janelas da configuração inicial do sistema não podem ser
movidas arrastando dentro de uma área predefinida.
P4 1 2 3 4 5
2 Configuração Inicial
As janelas possuem Fontes e cores com tamanhos fixos que
não podem ser alterados para o auxilio com pessoas com
deficiência visual.
P6 1 2 3 4 5
3 Configuração Inicial As janelas não possuem a opção
de "cancelar" P3 1 2 3 4 5
4 Configuração Inicial Em nenhuma das janelas de
seleção há campo para efetuar pesquisa.
P4 1 2 3 4 5
5 Tela Principal Não há opção de cancelar o
acesso caso o usuário desista de preencher a primeira etapa
P3 1 2 3 4 5
6 Tela Principal
A sequencia antes de iniciar a inclusão de material no primeiro
acesso é a importação do currículo Lattes porém esta não
é informada ao usuário.
P5 1 2 3 4 5
7 Tela Principal Na indicação de ajuda que ao ser selecionada apresenta a opção
de visualizar o manual. P4 1 2 3 4 5
8 Tela Principal Não há uma breve descrição no
menu sobre os atalhos disponíveis
P2 1 2 3 4 5
9 Tela Principal
Após ter incluído o currículo Lattes pela primeira vez o
sistema mantém a opção como sendo "importar" e na realidade ele está fazendo uma atualização
e isto pode deixar o usuário confuso da operação que esta
sendo feita.
P7 1 2 3 4 5
10 Janela Minhas
Produções
Não é exibida uma legenda para o "status" dos materiais que
estão publicados. P2 1 2 3 4 5
52
11 Janela Minhas
Produções
Depois de selecionar uma produção e clicar em comprovar
o sistema não dá opção de cancelar a ação caso o usuário
desista.
P3 1 2 3 4 5
12 Janela Minhas
Produções
Depois que uma produção foi publicada, a mesma fica com status de pendente mesmo
depois de enviado a comprovação podendo confundir
com materiais que foram publicados porém não foram enviados para comprovação.
P2 1 2 3 4 5
13 Geral
Todas as solicitações efetuadas no sistema que demandam
processamento não fornecem a opção de "cancelar"
P3 1 2 3 4 5
14 Tela Principal
Após preencher os dados iniciais e envia-los, não há opção
confirmado que o usuário deseja enviar os dados
P3 1 2 3 4 5
15 Menu principal Após o primeiro acesso o sistema não oferece um suporte, tutorial
que apoie no primeiro acesso. P7 1 2 3 4 5
16 Menu Principal Após a primeira configuração
não há possibilidade de efetuar alterações ou correções
P3 1 2 3 4 5
17 Inclusão de Produção
Confuso o acesso para inclusão de produções, tendo que ser acessado através de "Minhas
Produções" deve ser selecionado a opção de
"Produções não Lattes" para que seja habilitado a opção de
"Nova"
P7 1 2 3 4 5
18 Inclusão de Produção
Não é identificado os campos que são de preenchimento
obrigatório antes que a primeira tentativa de envio seja realizada
P2 1 2 3 4 5
19 Inclusão de Produção
Não há uma auto descrição para o auxilio no preenchimento dos
campos P2 1 2 3 4 5
20 Inclusão de Produção
Não há o botão de cancelar a operação, e caso o usuário clique
no botão de "Enviar" a mesma não pede confirmação
P3 1 2 3 4 5
53
21 Inclusão de Produção
Depois de incluída a produção não há opção de excluí lá
P3 1 2 3 4 5
22 Inclusão de Produção
Há ícones que mostram o status de um produção porem não há
legenda do mesmo P2 1 2 3 4 5
Quadro 1. Avaliação heurística módulo docente
Na avaliação heurística pode-se constatar algumas irregularidades as quais serão
descritas a seguir:
O princípio P2 (Auto-descrição) foi afetado seis vezes;
O principio P3 (Controlabilidade) foi afetado oito vezes;
O principio P4 (Conformidade com expectativas do usuário) foi afetado três
vezes;
O principio P5 (Tolerância ao erro) foi afetado uma vez;
O principio P6 (Adequação à individualização) foi afetado uma vez; e
O principio P7 (Adequação ao aprendizado) foi afetado três vezes.
Agrupando os dados encontrados, chegou-se ao número total de princípios de diálogo
mais desrespeitados do módulo docente, separados por princípio que foram P3
(controlabilidade) com oito problemas onde não há a opção de cancelar ou desfazer alguma
ação feita no sistema em praticamente todas as tarefas realizadas, P2 (auto descrição) com
seis problemas onde algumas informações se tornam confusas na interface ou até mesmo
inexistentes, P4 (Conformidade com expectativas do usuário) com três problemas onde em
alguns momentos os objetos das telas não tinham padrão para o mesmo tipo de ação.
Continuando com o agrupamento dos princípios de diálogo temos P7 (Adequação ao
aprendizado) com três problemas onde em alguns momentos o sistema não oferece nenhum
tipo de auxilio ou mesmo descrições confusas para execução de tarefas, P5 (Tolerância ao
erro) com um problema onde em determinado momento o sistema necessita de uma ação
especifica para prosseguir porém não é informado ao usuário, após uma ação errada é exibida
a mensagem de erro a qual não auxilia na correção do problema e por fim P6 (adequação à
54
individualização) com um problema onde o usuário não consegue alterar características do
sistema para adequar-se as suas necessidades.
Com o agrupamento destas informações pode-se chegar a conclusão que 55% dos
problemas encontrados tem um grau de importância máximo e precisam de correção, 31%
dos problemas encontrados tem um grau de importância moderado e necessitam de uma
revisão e 14% dos problemas tem grau de importância mínimo que não impactam na
eficiência/eficácia do sistema porém não estão de acordo com a norma.
Com esta avaliação no módulo docente pode-se constatar problemas de usabilidade, os
quais contribuíram pra o ajuste das tarefas que foram realizadas nos testes de usabilidade que
servem para confirmar estes problemas que foram encontrados.
Com estes valores chegou-se ao gráfico da Figura 13 para melhor compreensão dos
dados que foram coletados durante a avaliação heurística baseada nos sete princípios da
norma ISO 9241-10.
Figura 13. Relação de princípios X problemas encontrados na avaliação da interface
docente
55
No Quadro 2 é possível verificar os problemas encontrados e o principio o qual ele
afetou dentro da interface do Validador no sistema SAPI 2.0. O Grau de importância que varia
de 1 para irrelevante e 5 para grave apresentando ajuda na definição de quanto grave foi o
princípio afetado para ajuda no agrupamento dos resultados e na avaliação dos mesmos.
Problema Análise
Identificador Localização ou fonte
do Problema
Descrição do problema ou
observação
Princípio de
Diálogo
afetado
Grau de
Importância
1 2 3 4 5
1 Tela Principal
As janelas possuem Fontes e cores com tamanhos
fixos que não podem ser alterados para o auxilio
com pessoas com deficiência visual.
P6 1 2 3 4 5
2 Tela Validar
Produção
Apresenta campo de pesquisa na parte superior porém não identifica que o
mesmo serve para pesquisa
P2 1 2 3 4 5
3 Tela Validar
Produção As janelas não possuem a
opção de "cancelar" P3
1 2 3 4 5
4 Tela Principal
Não ha opção de personalização conforme
as necessidades do usuário.
P6 1 2 3 4 5
5 Tela Validar
Produção
Depois de selecionada uma produção e clicado no
botão aprovar ou rejeitar não há uma mensagem
solicitando a confirmação somente uma informativa
de que foi efetuado
P3 1 2 3 4 5
6 Geral
Todas as solicitações efetuadas no sistema que
demandam processamento não fornecem a opção de
"cancelar"
P3 1 2 3 4 5
7 Tela Validar
Produção
Na tela de validação de produção por docente,
onde são listados os docentes, não há botão
para abertura do material,
P1 1 2 3 4 5
56
o mesmo deve ser clicado duas vezes.
8 Tela Validar
Produção
O botão de agrupamento utilizado inicialmente foi "+" porém nestas telas é
um símbolo de seta o que fica fora do padrão e pode
confundir
P4 1 2 3 4 5
9 Tela Validar
Produção
Se o aprovador clicar duas vezes na produção com a
intenção de abri lá, a mesma é aprovada
imediatamente.
P4 1 2 3 4 5
10 Tela Validar
Produção
Apenas o botão de "Rejeitar Produção"
apresenta uma Subjanela para confirmar a rejeição
pois é necessário descrever o motivo.
P4 1 2 3 4 5
Quadro 2. Avaliação heurística módulo validador
Nesta reavaliação pode-se constatar algumas irregularidades as quais serão descritas
a seguir:
O princípio P1 (Adequação à tarefa) foi afetado uma vez;
O princípio P2 (Auto-descrição) foi afetado uma vez;
O principio P3 (Controlabilidade) foi afetado três vezes;
O principio P4 (Conformidade com expectativas do usuário) foi afetado três
vezes; e
O principio P6 (Adequação à individualização) foi afetado duas vezes.
Agrupando os dados encontrados, chegou-se ao número total de princípios de diálogo
mais desrespeitados do módulo validador, separados por princípio que foram P3
(controlabilidade) com três problemas onde não há a opção de cancelar ou desfazer alguma
ação feita no sistema em praticamente todas as tarefas realizadas, P4 (Conformidade com
57
expectativas do usuário) com três problemas onde em alguns momentos no sistema a mesma
ação executada por botões com formatos diferentes (sem padrão), P6 (adequação à
individualização) com dois problemas onde não há a opção de personalização das telas para
cada usuário como por exemplo o aumento da fonte para melhor visualização das
informações.
Seguindo com o agrupamento dos princípios temos P1 (Adequação à tarefa) com um
problema onde em determinado momento, ações devem ser executadas para continuação da
tarefa porém o usuário não é informado de tal ação, e por fim P2 (auto descrição) com um
problema onde algumas informações se tornam confusas na interface ou até mesmo
inexistentes.
Com estes valores encontrados pôde-se chegar a conclusão de que 70% dos problemas
encontrados na interface do validador tem um grau de importância máxima e que devem ser
corrigidos pois afetam diretamente a eficiência/eficácia do sistema e 30% tem o grau de
importância moderado, necessitando de uma revisão para adequação a norma.
Com estes resultados chegou-se ao gráfico da Figura 14 para melhor compreensão dos
dados que foram coletados durante a avaliação heurística baseada nos sete princípios da
norma ISO 9241-10.
58
Figura 14. Relação de princípios X problemas encontrados na reavaliação da
interface validador
Além dos problemas enumerados e citados acima, foram identificados alguns “bugs”,
ou seja, problemas de implementação que comprometem a eficiência do sistema, não sendo,
entretanto, de usabilidade, propriamente. Um destes “bugs” dava-se no momento em que se
solicitava um relatório em formato “PDF” onde sem nenhuma informação o sistema
simplesmente travou. Apesar de a avaliação proposta se direcionar apenas à qualidade de uso
da interface, esses problemas podem influenciar, diretamente, a qualidade da interface,
prejudicando, assim, toda a experiência de uso.
Concluindo assim, o método avaliação heurística, embora não substitua os testes com
usuários, permite que seja feita uma avaliação global da interface e é eficaz para identificação
dos problemas de usabilidade de um sistema. Constitui um método básico da engenharia de
usabilidade relativamente fácil de ser aplicado, seu uso proporcionou um aprendizado e,
principalmente, melhorias para a interface em análise.
59
3.2 PLANEJAMENTO DOS TESTES DE USABILIDADE
Neste capítulo será apresentado o planejamento do experimento desenvolvido neste
trabalho a fim de testar com alguns dos usuários da UNIVALI no campus de Itajaí, a
eficiência, eficácia e satisfação no uso do SAPI 2.0.
3.2.1 Contexto de Uso
Foi desenvolvido o questionário de identificação do perfil dos participantes contendo
perguntas que servirão para auxiliar o pesquisador identificar o perfil dos participantes o qual
está disponível no apêndice A. O questionário foi desenvolvido baseando-se em atributos da
norma ISO 9241:10.
Para os usuários que concordaram em participar do teste de usabilidade, foi entregue
um termo de consentimento livre e esclarecido conforme apêndice B, que fornece
informações ao participante sobre a participação do teste de usabilidade, informa que os dados
que serão fornecidos estarão mantidos em sigilo, discrimina os riscos e benefícios da sua
participação nos testes e expõe que o participante, a qualquer momento, pode desistir do teste
caso não se sinta a vontade e que isso não trará de nenhuma forma prejuízos em sua relação
com o pesquisador. Neste documento constam também as assinaturas, tanto do avaliador,
quanto do participante.
Foi criado também o script de tarefas tanto para a interface do docente quanto para a
interface do validador, este documento foi entregue ao participante no início do teste e que
serviu para conduzir o participante através das etapas da tarefa realizadas durante o teste de
usabilidade, disponível nos apêndices D e E.
Por fim foram criados dois checklists, sendo que um para a interface do docente e o
outro para a interface do validador a fim de auxiliar o avaliador na coleta informações
pertinentes a respeito da interação dos participantes com o sistema nos testes de usabilidade,
estes documentos encontram-se nos apêndices F e G respectivamente.
60
3.3 DESIGN DO EXPERIMENTO
Abaixo serão apresentados quadros que contém os itens organizados com suas
respectivas descrições ou justificativas.
O Quadro 3 apresenta a definição do experimento
Definição do experimento
Estratégia de pesquisa: Justificativa: Quantitativa Foram obtidos dados numéricos de quantidade através dos
formulários do avaliador que serão utilizados durante os
testes de usabilidade.
Qualitativa Esta estratégia de pesquisa foi utilizada para medir o grau de
satisfação dos participantes durante e após os testes de
usabilidade, estes foram obtidos através de questionários
onde os participantes poderão expressar a sua opinião sobre
os testes.
Forma de realização: Justificativa:
In-vitro O teste de usabilidade foi realizado na UNIVALI, em um
dos laboratórios de desenvolvimento e nos locais de trabalho
dos usuários, onde foi feita a simulação do ambiente do
usuário.
Abordagem de pesquisa: Justificativa:
Descritiva O objetivo deste trabalho é efetuar os testes para descobrir a
eficiência, eficácia e satisfação no uso do sistema SAPI.
Haverá a participação dos desenvolvedores do sistema onde
será feita a coleta dos tempos considerados melhores a fim
de comparar com o tempo dos usuários reais que farão os
testes, serão apresentados gráficos, médias, medianas, moda,
desvio padrão para os dados coletados.
Questionários/termos: Conteúdo:
Concordância O conteúdo do termo de concordância está no apêndice B.
Perfil do Participante O questionário do Perfil do Participante está no apêndice A.
Avaliação de Satisfação O questionário de Avaliação de Satisfação está no apêndice
C.
Pré-condições para realização do experimento:
Para participação do experimento é necessário que os docentes tenham o mínimo de
conhecimento para o uso do computador para que a avaliação tenha influência direta sobre a
ferramenta SAPI 2.0 e não ocorram distorções pela falta de conhecimento de outras
ferramentas que não seja a avaliada.
Quadro 3. Definição do experimento
61
O Quadro 4 apresenta o planejamento do experimento
Planejamento do experimento
Seleção do Contexto
O estudo empírico ocorreu em laboratório de desenvolvimento entre outros na UNIVALI,
onde foi utilizado do computador do pesquisador que disponibilizou o sistema para que os
participantes pudessem efetuar a interação com o sistema SAPI 2.0.
Variáveis de controle: Detalhamento
Eficácia A eficácia foi medida através da análise da interação do
usuário com o sistema, análise foi descrita no checklist
do avaliador onde estão registrados, a quantidade de
objetivos que foram alcançados e a quantidade de
participantes que concluíram o teste com sucesso.
Houve a participação de usuário desenvolvedor do
sistema que serviu como parâmetro.
Eficiência A eficiência foi medida através da análise da interação
do usuário com o sistema, análise foi descrita no
checklist do avaliador onde esta registrado, o tempo
gasto para execução de cada tarefa, o tempo total do
teste e a quantidade de erros cometidos já classificados.
Satisfação A satisfação foi medida através do questionário de
satisfação do APÊNDICE C, e do número de
reclamações registrados durante os testes.
Seleção dos participantes:
Houve a participação de um dos desenvolvedores do sistema que auxiliou no registro das
informações dos melhores tempos de execução das tarefas que serviram na comparação com
os resultados dos testes de usabilidade para se chegar a resposta que se propõe este trabalho
que é a eficiência. Os usuários dos testes de usabilidades foram docentes da pós-graduação e
graduação que aceitaram o convite, o formulário de perfil foi aplicado apenas para a
identificação dos conhecimentos dos usuários para a análise posterior junto com os dados
obtidos nos testes.
Design do experimento utilizado: Detalhamento
Pós-teste
O design do experimento para este projeto
caracterizado como quase experimental e escolhido
pelo fato do estudo estar sendo realizado com o
objetivo de identificar os pontos em que o sistema não
obedece aos princípios de diálogo descritos na Norma
ISO 9241:10. Houve um grupo de usuários que utilizou
o sistema na interface docente e outro na interface
validador onde ao final de cada teste, os participantes
responderam um questionário de avaliação da
satisfação.
Planejamento da Instrumentalização
62
Tratamento a ser realizado: Na primeira etapa do teste foi aplicado o questionário
para a identificação do perfil dos usuários, foi entregue
também o termo que é necessário para efetuar a coleta
das informações e a participação dos usuários no teste.
Foram selecionados os usuários que efetuaram a
interação com a interface do docente assim como os
que efetuaram a interação com a interface do
validador. No final foi entregue o questionário de
satisfação aos participantes.
Objetos/Equipamentos: Os materiais que foram necessários são:
Script de atividades do docente;
Script de atividades do validador;
Termos de consentimento;
Checklist do Avaliador Interface Docente;
Checklist do Avaliador Interface Validador;
Questionários de pesquisa;
Computador;
Cronômetro;
Diretrizes: O experimento foi realizado no campus da UNIVALI
em Itajaí – SC, onde foram efetuados os testes
individualmente com cada participante. Os testes
previstos para a segunda semana de abril de 2012,
ocorreram somente na segunda semana de maio de
2012, nesta data foi efetuado a avaliação de usabilidade
com os participantes que efetuaram os testes na
interface do docente e na terceira semana deste mesmo
mês foi realizada a avaliação de usabilidade na
interface do validador pelos outros participantes.
Instrumentos de medição: Os dados que foram coletados para responder as
perguntas de pesquisa foram medidos através da
observação da interação do participante do teste através
do preenchimento do checklist pelo avaliador e do
questionário de satisfação pós-teste.
Avaliação da Validade
Validade de conclusão:
Ameaça de
conclusão 1
Os dados colhidos nas medições podem ser
transcritos indevidamente para a planilha
que será utilizada para efetuar os cálculos.
Ação: realizar após o término da transcrição
dos dados uma conferência detalhada.
Ameaça de
conclusão 2
Pode acontecer de alguns dos participantes
não poderem participar não havendo uma
amostra mínima significativa.
Ação: Será efetuado o convite a novos
participantes com as mesmas características
dos já convidados e caso não haja sucesso,
será realizado o teste com a amostra
disponível e documentado uma possível
redução na confiabilidade dos resultados
63
obtidos.
Validades Internas:
Ameaça
interna 1
Os participantes do teste podem não estar
motivados e interessados no teste
realizando-o sem nenhum tipo de
preocupação na colaboração com os
resultados obtidos.
Ação: motivar a participação efetiva dos
participantes na realização das atividades do
experimento, induzindo-os que os resultados
irão ajudar a melhorar a ferramenta que
futuramente todos estarão utilizando.
Ameaça
interna 2
Os participantes do teste podem interagir
com o sistema e aprender com ajuda antes
dos testes.
Ação: informar da importância de que eles
não efetuem as interações antes da data a
avaliação pois irão influenciar nos
resultados do teste de forma negativa.
Validades externas: Ameaça
externa 1
Poderá ocorrer a existência de participantes
em determinados grupos com experiência
prévia no uso com o sistema.
Ação: avaliar a existência através do
questionário de perfil a existência de
participantes com conhecimento prévio.
Quadro 4. Planejamento do experimento
O Quadro 5 apresenta a operação do experimento
Operação do experimento
Informações: Uma semana antes de iniciarem os testes, os
participantes foram informados do
experimento, e no dia do teste, receberam os
termos de concordância para assinatura e o
questionário de perfil do participante para o
preenchimento. Foram informados os
objetivos dos testes aos participantes e quais
os benefícios trazidos aos mesmos.
Materiais: Os Materiais utilizados foram:
Termo de concordância;
Questionário de perfil do participante;
Questionário de satisfação.
Comprometimento: As informações sobre o interesse e
comprometimento dos participantes foram
obtidas através do questionário de perfil.
64
Coleta dos dados: Os dados coletados através das respostas dos
participantes foram transcritos para uma
planilha eletrônica que auxiliou nos cálculos.
Ambiente: As seções de testes foram efetuadas nos
laboratórios da UNIVALI de Itajaí – SC.
Onde cada participante efetuou o teste em seu
próprio ambiente de trabalho.
Validade: Os participantes receberam informações
sobre suas atividades a serem realizadas bem
como os benefícios de sua participação,
durante o teste receberam um script contendo
as tarefas que deveriam ser efetuadas durante
o teste de usabilidade.
Conformidade: Foi acompanhado todo o teste pelo
pesquisador a fim de garantir que o estudo
realizado ocorresse de acordo com o
planejado.
Quadro 5. Operação do experimento
65
4. DESENVOLVIMENTO
Neste capítulo será apresentado o desenvolvimento bem como os resultados obtidos
nos testes de usabilidade deste trabalho a fim de identificar e mensurar a eficiência, eficácia e
satisfação no uso do SAPI 2.0.
4.1 REALIZAÇÃO DOS TESTES DE USABILIDADE
Antes da execução dos testes de usabilidade os documentos gerados passaram por uma
revisão necessária que foi constatada após a reavaliação heurística que foi efetuada. Com os
novos resultados da avaliação heurística foram reajustadas as tarefas para os testes de
usabilidade para que fossem constatados os problemas encontrados tanto na interface do
docente quando na interface do validador.
Os testes de usabilidade foram conduzidos em laboratórios de informática do curso de
Ciência da Computação e outros. O computador utilizado foi o do pesquisador onde o mesmo
disponibilizou um ambiente estável e idêntico para todos os participantes para que não
houvesse diferenças nos testes efetuados com cada usuário. Antes do início do teste foi
entregue aos participantes o Termo de Concordância disponível no apêndice B e o
questionário de perfil disponível no apêndice A e com isso foi preparado o ambiente para
execução dos testes, como o objetivo foi efetuar o teste de usabilidade no sistema SAPI 2.0,
teve-se o cuidado de eliminar qualquer empecilho que viesse a interferir nos resultados.
Ao início do teste de usabilidade foi entregue ao participantes o script de tarefas
pertinentes a interface que estava sendo avaliada, sendo o apêndice E para as tarefas do
validador juntamente com o apêndice H onde continham as informações individuais para a
execução das tarefas e o apêndice D para as tarefas do docente juntamente com o apêndice I
onde continham as informações individuais para a execução das tarefas.
Durante os testes de usabilidade o pesquisador utilizou o check-list do apêndice F para
o registro dos testes com os usuários da interface do docente e o check-list do apêndice G para
o registro dos testes com os usuários da interface do validador.
Ao final de cada teste de usabilidade, os participantes receberam um questionário para
avaliação da satisfação o qual está disponível no apêndice C onde puderam comentar
66
eventuais facilidades, dificuldades e sugestões de melhorias para o sistema as quais foram
transferidas para este relatório como forma de sugestão geral.
4.2 PERFIL DOS PARTICIPANTES
Para os testes de usabilidade, foi aplicado um questionário de perfil antes do inicio da
interação com o sistema, este questionário serviu para classificar o conhecimento dos usuários
que estariam interagindo com o sistema e eliminando possíveis resultados que pudessem
comprometer a avaliação.
Interface Docente
Para a avaliação da interface docente, teve-se a colaboração de quatro participantes
onde a sua onde os principais aspectos puderam ser levantados e listados conforme a Tabela
1.
Tabela 1. Perfil dos participantes do teste de usabilidade modulo Docente
Atributo Dado
Idade Variando de 33 à 43 anos
Sexo Três dos quatro participantes eram do sexo
Masculino.
Área de formação Três dos quatro participantes tinham
formação em informática e um participante
de outra área de formação.
Experiência em Informática Três dos quatro participantes com
experiência avançada e um com experiência
intermediária.
Experiência na utilização de sistemas de
publicação de material.
Dois participantes com conhecimento
avançado, um participante com
conhecimento intermediário e um
participante com conhecimento básico.
Publicação de Material online Todos os participantes já utilizaram algum
sistema para publicação de material online.
Tipo de material Todos os participantes já publicaram vários
tipo de materiais.
Utilização de sistema para publicação
de produção institucional.
Apenas um participante já utilizou algum
sistema para publicação de produção
institucional, o sistema utilizado foi o SAPI
(Antigo)
Participação de teste de usabilidade Nenhum dos participantes havia participado
de um teste de usabilidade.
Grau de importância dos testes para os
participantes
Dois participantes acham muito importante e
dois participantes acham importante.
Importância da Usabilidade Três dos quatro participantes acha importante
67
e um participante não acha importante pois
não tem conhecimento sobre a área.
Através do questionário pode-se constatar que o perfil dos participantes está bem
homogêneo, não interferindo assim nos resultados dos testes pois, apesar de poucas diferenças
os participantes possuem o mesmo conhecimento necessário para a interação com o sistema.
Pela quantidade pequena de participantes os valores são mostrados em número de
participantes pois o percentual não faria muita lógica para esta aplicação.
Pode-se destacar pontos importantes como a experiência em informática, a publicação
de material online e o grau de importância dado aos testes de usabilidade onde pode-se
afirmar que todos os participantes possuíam o mesmo perfil necessário para o teste.
Interface Validador
Para a avaliação da interface validador, teve-se a colaboração de dois participantes
onde a sua onde os principais aspectos puderam ser levantados e listados.
Tabela 2. Perfil dos participantes do teste de usabilidade modulo Docente
Atributo Dado
Idade 32 e 46 anos
Sexo Feminino e Masculino
Área de formação Química e Ciências Sociais
Experiência em Informática Intermediário para os dois participantes
Experiência na utilização de sistemas de
publicação de material.
Um possui experiência básica e o outro
Avançada.
Publicação de Material online Ambos publicam material
Tipo de material Pouca variedade para ambos entre Artigos e
Apresentações
Utilização de sistema para publicação
de produção institucional.
Nunca utilizaram para publicação
Participação de teste de usabilidade Nunca participaram
Grau de importância dos testes para os
participantes
Ambos acham muito importante
Importância da Usabilidade Ambos acham importante.
Para os participantes dos testes da interface do Validador, pode-se notar uma diferença
na experiência na utilização de sistema de publicação de material, mais esta diferença não foi
considerada um risco pois ambos os participantes são os atuais validadores no ambiente SAPI
(Antigo) e esta característica teve um peso maior levando em consideração que serão estes os
usuários do sistema quando estiver em utilização.
68
4.3 DIAGNÓSTICOS DOS PROBLEMAS DE USABILIDADE NAS
INTERFACES DO SAPI
Este item tem por objetivo a apresentação dos problemas de usabilidade encontrados
nas interfaces do SAPI 2.0 nos módulos Docente e Validador, baseadas nos resultados obtidos
com os testes de usabilidade efetuados e comparados com os princípios de diálogo contidos
na norma ISO 9241-10.
Serão apresentadas a seguir as interfaces do SAPI 2.0 as quais apresentaram
problemas de usabilidade durante os testes de usabilidade com os usuários, as mesmas estão
separadas por subitens para a interface do Docente e Validador, contendo a imagem da tela do
sistema e uma breve descrição do problema encontrado.
4.3.1 Interface Docente SAPI 2.0
As avaliações heurísticas e teste de usabilidade contribuíram para o levantamento dos
problemas de usabilidade encontrados na interface Docente do SAPI 2.0 conforme a seguir.
Na Figura 15 apresentamos a tela de configuração inicial do módulo do docente onde,
foi encontrado um erro de português o qual está identificado pelo marcador 1, este item pode
ser classificado como princípio Adequação para a tarefa contido na Norma ISO 9241-10.
69
Figura 15. Tela de configuração inicial SAPI 2.0.
Fonte: SAPI 2.0 (2012).
Na Figura 16 apresenta-se a tela de configuração inicial do módulo docente, onde na
sua última etapa de configuração foi encontrado um erro na programação. Ao selecionar
alguma área de atuação e utilizar a seta do teclado para correr a barra de rolagem, a mesma
vai rolando, porém marcando todos os itens na seqüência conforme marcador 1, na Norma
ISO 9241-10 este item pode ser classificado como princípio Conformidade com
expectativas do usuário.
70
Figura 16. Tela de configuração inicial SAPI 2.0.
Fonte: SAPI 2.0 (2012).
Na Figura 17 é apresentada a tela de configuração inicial no módulo docente onde ao
ser clicado no botão “Concluir” identificado pelo marcador 1 o sistema automaticamente
apresenta a janela confirmando o término dando somente a opção “OK” conforme marcador
2. Esperava-se que ao clicar no botão “Concluir” fosse exibida uma janela pedindo
confirmação, pois poderia ter sido clicado por engano ou fosse necessário voltar e corrigir
algo, este ponto entra no princípio Controlabilidade contido na norma.
71
Figura 17. Tela de configuração inicial SAPI 2.0.
Fonte: SAPI 2.0 (2012).
Na Figura 18 é apresentada a tela principal da interface docente com o menu de tarefas
localizada à esquerda como identificado no marcador 1, neste menu há a falta de botões de
uso comum para facilitar e agilizar a interação como sistema na sua interação, pois um ponto
forte no estudo, foi o tempo perdido "procurando" em qual local era necessário acessar para se
fazer a inclusão de material no sistema, este item pode ser classificado como princípio
Adequação para a tarefa na norma.
72
Figura 18. Menu de ferramentas interface docente.
Fonte: SAPI 2.0 (2012).
Na Figura 19 é apresentada a janela de minhas produções da interface do docente, nela
temos o marcador 1 que indica onde é selecionada a categoria de material exibido, notou-se
que o botão "Nova" indicado pelo marcador 3 só é exibido quando a categoria "Não Lattes" é
selecionada e os botões "Editar" e "Comprovar" ficam ativos mesmo sem que uma produção
seja selecionada.
Outro ponto importante está demonstrado pelo marcador 2 onde temos uma seta
apontando para direita, esta seta serve para expandir os atributos da produção e acabou
confundindo os usuários e levando-os a cometer erros. Estes itens apontados até o momento
se classificam como Conformidade com expectativas do usuário na norma.
73
Continuando com o marcador 2 temos ainda o símbolo que corresponde ao status
da produção, porém ninguém conseguiu definir o que ele significava. Este item se classifica
como Auto-descrição na norma.
Figura 19. Tela de minhas produções da interface docente.
Fonte: SAPI 2.0 (2012).
Na Figura 20 em continuação a tela anterior, na janela de “Minhas Produções” da
interface docente, porém com os atributos da produção expandida, não há um campo de
atributo identificando o status da obra no sistema conforme dito anteriormente. Este item se
classifica como Auto-descrição na norma.
74
Figura 20. Tela minhas produções da interface docente com visualização
atributos.
Fonte: SAPI 2.0 (2012).
Na Figura 21 é mostrada a janela que é exibida ao usuário quando o mesmo clica no
botão "Ajuda" conforme marcador 1, esta tela não foi avaliada pelos usuários, pois estava fora
do escopo de atividades, porém notou-se uma ajuda que não "ajudaria" muito o usuário final,
a ideia é que a ajuda fosse individual para cada tarefa onde dependendo o que o usuário está
fazendo a ajuda irá auxiliá-lo naquela tarefa em específico. Este item se classifica como
Conformidade com expectativas do usuário na norma.
75
Figura 21. Tela de ajuda.
Fonte: SAPI 2.0 (2012).
Na Figura 22 é apresentada a tela que é exibida ao usuário quando o mesmo clica no
botão "Minhas Configurações" no menu ao lado esquerdo, esta janela apresentada apenas
possui a opção de visualização com um botão de "OK" não permitindo qualquer correção ou
alteração de dados que se dá a entender quando se clica em um botão de "Configuração". Este
item se classifica como Conformidade com expectativas do usuário na norma.
76
Figura 22. Tela de minhas configurações.
Fonte: SAPI 2.0 (2012).
Na Figura 23 é apresentada a tela de comprovação de produção exibida no módulo
docente, notou-se que pelo fato do campo identificado pelo marcador 1 não impedir que fosse
digitado conteúdos e o botão para a busca do arquivo estar com pouco destaque, houve
incidências de erros nesta tarefa onde usuários digitaram o nome do arquivo e quando
clicaram no botão "Comprovar", acontecia o erro. Este item se classifica como Adequação
para a tarefa na norma.
77
Figura 23. Tela de comprovação de produção interface docente.
Fonte: SAPI 2.0 (2012).
Na Figura 24 é apresentada a tela de inclusão de produção não Lattes do módulo
docente onde nos últimos níveis do menu conforme marcador 1 ainda são exibidos os sinais
"+" nos últimos níveis de classificação de produção, o que levaram aos usuários a clicarem
nele, bem como o símbolo da "pasta" que por convenção indica que há conteúdos no seu
interior, levando-os assim a insatisfação e reclamações. Este item se classifica como
Conformidade com expectativas do usuário na norma.
78
Figura 24. Tela de cadastro de produções não Lattes na interface docente.
Fonte: SAPI 2.0 (2012).
Na Figura 25 apresenta-se a tela de inclusão de material não Lattes a qual também
gerou reclamações por não indicar previamente quais campos eram de preenchimento
obrigatório, somente quando se clica no botão "Salvar" que o erro é indicado, e indicado um
campo por vez. Exemplo, se o usuário esquecer-se de preencher 3 campos obrigatórios o
sistema informa um por vez a cada tentativa de salvar o documento. Este item se classifica
como Auto-descrição conforme a norma.
79
Figura 25. Tela de inclusão de produção interface docente.
Fonte: SAPI 2.0 (2012).
Os problemas de usabilidade na interface do docente do SAPI 2.0 são estas e espera-se
que possa ser de grande contribuição para os desenvolvedores possam efetuar as correções do
sistema assim como para seus usuários.
80
4.3.2 Interface Validador SAPI 2.0
As avaliações heurísticas e teste de usabilidade contribuíram para o levantamento dos
problemas de usabilidade encontrados na interface Validador do SAPI 2.0 conforme a seguir.
Na Figura 26 é apresentada a tela principal do SAPI 2.0 para o módulo do validador
onde é dado destaque ao menu principal pelo marcador 1 onde ao iniciar o sistema o menu é
apresentado recolhido, escondendo botões que poderiam ser exibidos por padrão sem afetar o
sistema. Este item se classifica como Adequação para a tarefa na norma.
Figura 26. Tela de menu interface do validador.
Fonte: SAPI 2.0 (2012).
81
Na Figura 27 é apresentada a janela de validação de produção por docente no módulo
do validador, esta interface deixou os usuários confusos, pois deveriam efetuar dois cliques no
nome do docente para que fosse aberta as suas configurações não havendo nenhum botão para
edição conforme marcador 2. Este item se classifica como Adequação para a tarefa na
norma.
Figura 27. Tela de validação de produção da interface validador.
Fonte: SAPI 2.0 (2012).
82
Na Figura 28 é exibida a janela para a validação de uma produção no módulo
validador, nota-se que ela é semelhante à interface do módulo docente foi encontrado o
mesmo problema de padrão indicados pelo marcador 1 onde o sinal da seta não indica que há
itens recolhidos. Este item se classifica como Conformidade com expectativas do usuário
na norma.
Este ponto para a interface do validador foi o ponto mais crítico encontrado, pois o
usuário não conseguiu visualizar os atributos do material pela falta de padronização
convencionada e efetuou dois cliques na produção com a intenção de abri-la para visualização
e se deparou com a mensagem "Produção validada com sucesso" erro esse que foi
considerado grave.
Figura 28. Tela de validação de produção da interface validador.
Fonte: SAPI 2.0 (2012).
83
Na Figura 29 apresenta-se a janela que é exibida ao usuário após efetuar o clique no
botão "Rejeitar Produção", a mesma possui somente um botão "Rejeitar" e não possui um
botão "Cancelar" no local onde está o marcador 1 caso o usuário queira cancelar a rejeição por
algum outro fator. Este item pode ser classificado como Controlabilidade na norma.
Figura 29. Tela de validação de produção da interface validador.
Fonte: SAPI 2.0 (2012).
Na Figura 30 apresenta-se a janela que é exibida ao usuário após efetuar o clique no
botão "Validar Produção", a mesma apresenta uma janela informado que a produção foi
validada e caso o botão tenha sido apertado por engano não há opção de cancelar, o que
evidência a falta de controle do usuário na execução da tarefa e na recuperação de um erro.
Este item pode ser classificado como Controlabilidade na norma.
84
Figura 30. Tela de validação de produção da interface validador.
Fonte: SAPI 2.0 (2012).
Na Figura 31 apresenta-se a janela de modificação de escore onde após a seleção de
um escore na lista, a troca do valor do peso no campo "Peso" e o clique no botão "OK"
indicado pelo marcador 1 "nada acontece" o sistema não retorna nenhuma informação ao
usuário, o que deixa muito confuso a ponto de se levantar a questão se realmente a alteração
foi efetivada. Este item pode ser classificado como Auto-descrição na norma.
85
Figura 31. Tela de alteração de peso do escore na interface do validador.
Fonte: SAPI 2.0 (2012).
Os problemas de usabilidade na interface do validador do SAPI 2.0 são estas e por
fim, espera-se que os problemas apontados aqui tanto na interface Docente quanto na
interface Validador do SAPI 2.0 possam contribuir a equipe de desenvolvimento na melhoria
do sistema.
86
4.4 RESULTADOS QUANTITATIVOS
Neste item será apresentado os resultados quantitativos obtidos através dos testes de
usabilidade efetuados no sistema SAPI 2.0 obtidos durante os testes de usabilidade através do
check-list bem como o questionário de satisfação aplicado após os testes, e será apresentado
na seguinte estrutura:
Eficiência
o Interface Docente
o Interface Validador
Eficácia
o Interface Docente
o Interface Validador
Satisfação
o Interface Docente
o Interface Validador
Será apresentado agora os valores obtidos durante os teste de usabilidade para a
eficiência.
Interface Docente
A Tabela 3 apresenta as medidas de tempo de execução das cinco tarefas que foram
realizadas no teste de usabilidade e os valores médios das medidas que foram coletadas e o
desvio padrão.
87
Tabela 3. Tempo de Execução das Tarefas em Segundos para a interface do Docente
Tarefas 1 2 3 4 5
Participante 1 20 55 100 66 20
Participante 2 25 38 100 95 40
Participante 3 42 52 144 40 25
Participante 4 15 90 120 40 20
Média 25,5 58,75 116 60,25 26,25
Desvio Padrão 11,73 22,11 20,91 26,21 9,46
Na Tabela 4 são apresentados os valores médios de tempo dos participantes dos testes
de usabilidade comparado com o tempo do desenvolvedor que se obteve como parâmetro de
melhor tempo para execução da tarefa.
Tabela 4. Tempo do usuário Desenvolvedor x Média de tempo dos usuários das tarefas do
módulo docente.
Usuário Desenvolvedor
(min.)
Média Usuários (min.)
Tarefa 1 00:20 00:26
Tarefa 2 00:50 01:04
Tarefa 3 01:15 02:00
Tarefa 4 00:15 01:00
Tarefa 5 00:25 00:26
Total 03:05 04:56
Na Figura 32 é apresentado em forma de gráfico para melhor visualização o
comparativo de tempo de execução das tarefas no módulo docente pelo usuário desenvolvedor
que se tomou como padrão para o tempo ideal e a média dos tempos dos participantes para
cada tarefa executada.
88
Figura 32. Tempo de execução do usuário Desenvolvedor x Média dos participantes
Interface Docente.
Interface Validador
A Tabela 5 apresenta as medidas de tempo de execução das cinco tarefas que foram
realizadas no teste de usabilidade e apresentado os valores médios das medidas que foram
coletadas e o desvio padrão.
Tabela 5. Tempo de Execução das Tarefas em Segundos para a interface do Validador
Tarefas 1 2 3 4
Participante 1 23 144 100 84
Participante 2 30 208,2 92 85
Média 26,5 176,1 96 84,5
Desvio Padrão 4,95 45,40 5,66 0,71
Na Tabela 6 são apresentados os valores médios de tempo dos participantes dos testes
de usabilidade comparado com o tempo do desenvolvedor que se obteve como parâmetro de
melhor tempo para execução da tarefa.
89
Tabela 6. Tempo do usuário Desenvolvedor x Média de tempo usuários das tarefas do módulo
validador.
Usuário Desenvolvedor
(min.)
Média Usuários (min.)
Tarefa 1 00:15 00:26
Tarefa 2 03:20 03:14
Tarefa 3 01:10 01:36
Tarefa 4 01:00 01:24
Total 05:45 06:40
Na Figura 33 é apresentado em forma de gráfico para melhor visualização o
comparativo de tempo de execução das tarefas no módulo validador pelo usuário
desenvolvedor que se tomou como padrão para o tempo ideal e a média dos tempos dos
usuários para cada tarefa executada.
Figura 33. Tempo de execução do usuário Desenvolvedor x Média dos usuários
Interface Validador.
90
Será apresentado agora os valores obtidos durante os teste de usabilidade para a
eficácia.
Interface Validador
A Tabela 7 apresenta a medida dos erros na execução das cinco tarefas que foram
realizadas no teste de usabilidade e os valores médios da medida que foram coletadas e o
desvio padrão.
Tabela 7. Erros Cometidos na Execução das Tarefas na interface do Docente
Tarefas 1 2 3 4 5
Participante 1 0 2 4 2 1
Participante 2 0 0 1 0 1
Participante 3 1 0 3 1 1
Participante 4 0 2 1 1 0
Média 0,25 1 2,25 1 0,75
Desvio Padrão 0,50 1,15 1,50 0,82 0,50
Interface Validador
A Tabela 8 apresenta a medida dos erros na execução das cinco tarefas que foram
realizadas no teste de usabilidade e os valores médios da medida que foram coletadas e o
desvio padrão.
Tabela 8. Erros Cometidos na Execução das Tarefas na interface do Validador
Tarefas 1 2 3 4
Participante 1 0 4 0 3
Participante 2 1 3 0 3
Média 0,5 3,5 0 3
Desvio Padrão 0,71 0,71 0,00 0,00
91
Será apresentado agora os valores obtidos durante os teste de usabilidade para a
satisfação.
Os dados sobre a satisfação foram coletados de três maneiras:
Através de observação dos participantes pelo avaliador;
Através do questionário de avaliação da satisfação aplicado no final de cada
teste de usabilidade; e
Através da quantidade de reclamações recebidas durante os testes.
A organização das perguntas objetivas do questionário de satisfação foi projetada para
que os participantes escolhessem um valor que variou de 1 a 10, sendo que o valor 1
corresponde ao menos satisfeito e o valor 10 corresponde a mais satisfeito. Sendo assim foi
efetuada a soma das respostas de cada participante e os que obtiveram o valor mais elevado
foram os que informaram estarem mais satisfeitos com o sistema.
A Tabela 9 exibe a soma da pontuação dos testes, esta soma levou em consideração os
itens que foram marcados como "NA", onde estes não fizeram parte da contabilização para
que não influenciassem na pontuação dos demais itens.
Tabela 9. Somatório de pontuação do questionário de satisfação
Pontuação Máxima Pontuação
Alcançada
Percentual
Interface Docente 290 196 67%
Interface Validador 180 155 87%
Analisando os valores obtidos, pode-se chegar à conclusão de que durante os testes de
usabilidade da interface do Docente o sistema satisfez em 67% as expectativas do usuário,
levando assim a concluir que a interface do docente possui um grande percentual de
aprovação, porém necessita de alguns ajustes.
Assim como a interface do docente a interface do validador conseguiu satisfazer em
87% as expectativas dos usuários levando assim também a um número menor de reclamações,
porém com alguns ajustes necessários.
92
Interface Docente
A Tabela 10 apresenta uma avaliação das respostas dos participantes do teste ao
questionário de avaliação do sistema, onde as respostas são oferecidas em uma escala de 1 a
10 sendo que 1 é para pouco satisfeito e 10 muito satisfeito.
Tabela 10. Respostas dos participantes para interface do Docente
Questão Participante
1 Participante
2 Participante
3 Participante
4 Média Desvio Padrão
Em geral, a interface SAPI é 6 5 7 7 6,25 0,96
Aprender a utilizar a interface é 9 8 5 7 7,25 1,71
A organização das informações é 7 5 6 7 6,25 0,96
A sequência das telas é 7 2 6 6 5,25 2,22
O retorno a tela anterior é 7 5 - - 6 1,41
As interfaces apresentam cores que tornam a interação agradável 7 10 9 10 9 1,41
A personalização da interface (aumento das letras, troca de cores, teclas de atalho) é bem definida no SAPI 4 6 - - 5 1,41
Comparando com o SAPI anterior, ao SAPI novo pode se dizer que é 7 - 9 - 8 1,41
A ajuda disponibilizada pelo sistema é - - - - - -
O sistema SAPI corresponde com as suas expectativas de uso 7 8 7 - 7,33 0,58
Geral
6,7
93
A Tabela 11 mostra os dados coletados com o questionário descritivo após os testes de
usabilidade com a interface do docente, juntamente com a quantidade de vezes que foi
sugerida pelos participantes.
Tabela 11. Questões abertas sobre a satisfação da interface do docente
Quantidade
Dificuldades 1 Tela com muito texto
1 Erros de Português
2 Localização de Ferramentas
1 Falta de segurança no que estava executando
Pontos Positivos 1 Sistema Funcional
2 Interface moderna - Tendência
Sugestões dos
Participantes
3 Ser mais intuitiva
1 Informar a ação atual ao usuário
1 Melhorar o acesso direto as funções
2 Botões de acesso direto no menu principal
Interface Validador
A Tabela 12 apresenta uma avaliação das respostas dos participantes do teste ao
questionário de avaliação do sistema, onde as respostas são oferecidas em uma escala de 1 a
10 sendo que 1 é para pouco satisfeito e 10 muito satisfeito.
Tabela 12. Respostas dos participantes para interface do Validador
Questão
Participante
1
Participante
2 Média
Desvio
Padrão
Em geral, a interface SAPI é 8 8 8 0,00
Aprender a utilizar a interface é 9 9 9 0,00
A organização das informações é 8 9 8,5 0,71
A sequência das telas é 8 9 8,5 0,71
O retorno a tela anterior é 7 9 8 1,41
As interfaces apresentam cores
que tornam a interação agradável 10 10 10 0,00
A personalização da interface
(aumento das letras, troca de
cores, teclas de atalho) é bem
definida no SAPI 8 - - -
Comparando com o SAPI
anterior, ao SAPI novo pode se
dizer que é 8 10 9 1,41
94
A ajuda disponibilizada pelo
sistema é 8 - - -
O sistema SAPI corresponde com
as suas expectativas de uso 8 9 8,50 0,71
Geral
8,7
A Tabela 13 mostra os dados coletados com o questionário descritivo após os testes de
usabilidade com a interface do validador, juntamente com a quantidade de vezes que foi
sugerida pelos participantes.
Tabela 13. Questões abertas sobre a satisfação da interface do validador
Quantidade
Dificuldades 2 Localização de Ferramentas
1 Falta de informação do status do sistema
Pontos Positivos 1 Interface mais "amigável"
1 Fácil acesso a informação
1 Cores
1 Velocidade
Sugestões dos
Participantes
1 Ser mais intuitiva
2 Melhorar o acesso direto as funções
2 Botões de acesso direto no menu principal
95
4.5 RESULTADOS QUALITATIVOS
Neste item será apresentado os resultados qualitativos obtidos através dos testes de
usabilidade efetuados no sistema SAPI 2.0 obtidos durante os testes de usabilidade através do
check-list bem como o questionário de satisfação aplicado após os testes, e será apresentado
na seguinte estrutura:
Eficiência
o Interface Docente
o Interface Validador
Eficácia
o Interface Docente
o Interface Validador
Satisfação
o Interface Docente
o Interface Validador
Foi solicitado aos participantes apontarem no questionário de avaliação da satisfação
em três questões abertas e descritivas, as facilidades, dificuldades e sugestões de melhoria nas
interfaces do sistema.
Interface Docente
Questão 1 - Por Favor, descreva quais situações onde foi encontrada maior
dificuldade.
Participante 1: "Encontrar os itens (ícones/comandos) para executar as tarefas"
Participante 2: "Compreender o significado dos itens do menu esquerdo. Ter certeza
de que eu estava fazendo uma inserção de fato."
96
Participante 3: "A inclusão de uma produção não é tão intuitiva como deveria.
Entende que esta ação deveria ter um botão de acesso direto no menu principal. A
comprovação da produção também ficou pouco confusa"
Participante 4: "Telas com muito texto orientativo - deveria ser mais intuitivo.
campos obrigatórios não identificados antes do envio do form. Erros de português. Achei
confuso localizar nova produção não Lattes."
Questão 2 - Por favor, descreva quais foram os pontos positivos encontrados no
sistema.
Participante 1: "A interface é bem limpa, sem muitos ícones e informação que possa
confundir o usuário"
Participante 2: "O sistema é funcional. Eu acho aceitável as dificuldades encontradas.
Me acostumaria numa boa."
Participante 3: "A interface está bem melhor em relação ao SAPI atual"
Participante 4: "Interface RIA - Adéqua a tendência"
Questão 3 - Descreva qual sua opinião geral sobre a utilização do sistema e caso
possua sugestões de melhorias podem ser descritas abaixo.
Participante 1: "O fato de ser limpa não implica em ser estéril, ou seja, faltam
algumas informações essenciais para a utilização adequada do sistema. O sistema deve ser
mais 'intuitivo' na interface para tornar mais fácil seu uso"
Participante 2: "Completamente funcional e de alta utilidade. Certamente pode
melhorar em situar o usuário sobre o que ele próprio está realizando em uma parte estratégica
da tela."
Participante 3: "Sugiro explanar um pouco mais o acesso direto às ações mais
frequentes."
Participante 4: "Já mencionado"
97
Interface Validador
Questão 1 - Por Favor, descreva quais situações onde foi encontrada maior
dificuldade.
Participante 1: "Localizar botões (abrir, fechar, voltar)"
Participante 2: "Na validação de produção, com dois cliques provou-se a validade
direta sem passar pela tela de análise de atributos. Na edição de escore de produção o sistema
não dá retorno se foi concluída com êxito"
Questão 2 - Por favor, descreva quais foram os pontos positivos encontrados no
sistema.
Participante 1: "Layout, Organização, Cores"
Participante 2: "Interface mais 'amigável', especialmente, para usuários desktop.
Acesso a informação facilitado"
Questão 3 - Descreva qual sua opinião geral sobre a utilização do sistema e caso
possua sugestões de melhorias podem ser descritas abaixo.
Participante 1: "Melhorar os botões de comando e ter uma tela intuitiva, de
orientação para o uso para fins de caso haja necessidade de consulta futura."
Participante 2: "Uma melhoria que talvez seja possível é tornar a barra de menu
expandida para dispor todos os itens, sem a necessidade de o usuário ter que procurá-los.
Ícones também poderiam estar presentes na parte superior da tela para facilitar a visualização
das funções."
4.6 Análise
A análise compreende a descrição dos problemas a partir dos resultados obtidos no
teste de usabilidade, foi realizada uma análise para detectar problemas de usabilidade e propor
as respectivas alterações.
98
Interface Docente
Para a interface do docente temos a tarefa 4 com o maior desvio padrão como pode ser
visto na Tabela 3 onde o participante 2 levou o maior tempo para a execução da tarefa, isso
deve-se ao fato do participante apesar de não ter cometido nenhum erro nesta tarefa conforme
a Tabela 7, ter perdido bastante tempo tentando compreender o significado do status no
sistema conforme a tarefa. Considerando também que nenhum participante conseguiu efetuar
esta tarefa com acurácia.
Pode-se observar também um grande número de erros para a tarefa 3 o qual ocasionou
uma diferença significativa entre o tempo esperado como ideal e o tempo mediano alcançado
durante os testes, provando assim que há problemas na interface do SAPI 2.0, problemas estes
que não impedem a execução da tarefa, porém afetam diretamente a eficácia e em
consequência a sua eficiência.
Para a interface do docente ainda pode-se citar a pontuação geral da satisfação obtida
que conforme a Tabela 10 foi de 67% de aprovação, fato esse que deve-se ao número de erros
que foram cometidos os que geraram uma pequena frustração por parte dos participantes.
Interface Validador
Para a interface do validador temos a tarefa 2 com o maior desvio padrão como pode
ser visto na Tabela 5 fato este constatado durante os testes pela falta de indicação, ou o
sistema ser mais intuitivo na execução da tarefa, onde o participante perdeu muito tempo sem
saber o que fazer e com isso cometendo erros que comparado com o outro participante foram
praticamente idênticos.
Para a interface do validador ainda pode-se citar a pontuação geral da satisfação obtida
que conforme a Tabela 12 foi de 87% de aprovação, fato esse que deve-se ao número de erros
que foram cometidos os que geraram uma pequena frustração por parte dos participantes
porém comparado com a interface do docente conseguiu alcançar uma ótima pontuação, fato
esse que deve-se ao número inferior de avaliações obtidas.
99
4.7 SUGESTÕES DE MELHORIAS
Este item tem por objetivo a apresentação de sugestões para a correção dos problemas
de usabilidade encontrados nas interfaces do SAPI 2.0 nos módulos Docente e Validador,
baseadas nos resultados obtidos com os testes de usabilidade efetuados e comparados com os
princípios de diálogo contidos na norma ISO 9241-10.
Serão apresentados em forma de Tabela para melhor organização dos dados
observados conforme é demonstrado abaixo na Tabela 14.
Tabela 14.Sugestões de Correção das Interfaces com base na norma ISO 9241-10
Interface Problema Sugestão Localização Princípio da
Norma ISO
9241-10
Docente No menu há a falta
de botões de uso
comum para facilitar
e agilizar a interação
como sistema na sua
interação
Sugere que seja
incluso os botões de
uso comum para
facilitar, como
exemplo o botão de
"Incluir Novo
Material" que
pressionado pode
apresentar um novo
menu suspenso para
escolha do tipo de
atividade a incluir.
Figura 18 Adequação para
a tarefa
Docente Na janela de
“Minhas Produções”
da interface do
docente, não é
exibido o botão
"Novo" para
inclusão de um
material antes que o
filtro seja alterado
para "Produção Não-
Lattes".
Sistema utiliza de
setas para
agrupamento de
informações em
algumas telas e o
Definir um padrão
para o sistema,
utilizar os símbolos
"+" e "-" que foram
melhor identificados
durante os testes.
Figura 19 Conformidade
com
expectativas do
usuário
100
simbolo de "+" ou "-
" em outras telas
tornando-o sem um
padrão.
Docente Na janela de
“Minhas Produções”
o sistema possui
uma simbologia para
identificar o status
do material no
sistema porém não
há nenhuma legenda
disponível
A sugestão é que seja
incluída na mesma
janela na parte
inferior uma legenda
para estes ícones.
Figura 19 Auto-descrição
Docente Na janela de
“Minhas Produções”
com os atributos de
uma produção
expandida, não há
um campo de
atributo
identificando o
status da obra no
sistema.
A sugestão é que seja
incluso um campo de
atributo identificando
o status da obra no
sistema.
Figura 20 Auto-descrição
Docente Tela de inclusão de
material não Lattes
não identifica os
campos de
preenchimento
obrigatório antes da
tentativa de
gravação.
A sugestão é que seja
feita a inclusão de um
símbolo como padrão
o "*" nos campos
obrigatórios e uma
legenda na parte
inferior indicando "*
Campo Obrigatório"
Figura 25
Auto-descrição
Validador Tela principal do
SAPI 2.0 para o
módulo do validador
o menu esconde
botões que
dificultam a
localização dos
mesmos.
A sugestão é que o
menu já apareça
expandido por padrão
ao iniciar o sistema.
Figura 26 Adequação para
a tarefa
101
Validador Janela de validação
de produção por
docente no módulo
do validador, não há
nenhum botão para
abrir o perfil do
docente selecionado,
apenas com dois
cliques não sendo
intuitivo.
A sugestão para esta
interface é a inclusão
de um botão "Abrir"
localizada na área
inferior da janela que
estaria inativo quando
nenhum docente fosse
selecionado e após a
seleção do docente
com um clique no seu
nome este botão seria
ativado para uso.
Figura 27 Adequação para
a tarefa
Validador Janela para a
validação de uma
produção no módulo
validador, com o
mesmo problema de
padrão para o
agrupamento de
informações.
Definir um padrão
para o sistema,
utilizar os símbolos
"+" e "-" que foram
melhor identificados
durante os testes.
Figura 28 Conformidade
com
expectativas do
usuário
Validador Janela para a
validação de uma
produção no módulo
validador, ao efetuar
dois cliques na
produção com a
intenção de abri-la
para visualização o
sistema valida
automaticamente.
Sugere-se que se
remova a opção de
dois cliques na
produção ou que os
dois cliques façam a
expansão dos
atributos do material
e não a mesma tarefa
que clicar no botão
"Validar Produção"
Figura 28 Conformidade
com
expectativas do
usuário
Validador Janela para a
validação de uma
produção no módulo
validador, após
efetuar o clique no
botão "Validar
Produção", a mesma
apresenta uma janela
informado que a
produção foi
validada e caso o
botão tenha sido
apertado por engano
não há opção de
Sugere-se que seja
padronizado para
todas as janelas de
gravação do sistema,
mensagens padrão
solicitando a
confirmação da
operação pelo
usuário, evitando
assim o erro cometido
por engano.
Figura 30 Controlabilidade
102
cancelar.
Validador Na janela de
modificação de
escore, após a
seleção de um
escore e a alteração
do valor de peso o
sistema não dá
nenhum retorno da
ação tomada.
A sugestão é a
inclusão de
mensagens
informando ao
usuário se ele deseja
realmente alterar o
valor e caso
confirmado
informando da
alteração efetuada.
Figura 31 Auto-descrição
Estas são as sugestões levantadas para a correção dos problemas de usabilidade
encontrados nos módulos Docente e Validador do SAPI 2.0 e espera-se que seja de grande
utilidade para os desenvolvedores do sistema.
103
5. CONCLUSÃO
O teste de usabilidade do sistema SAPI 2.0, mostrou sua utilidade na identificação dos
problemas de usabilidade analisados. Com as técnicas de Engenharia de Usabilidade foi
possível identificar não apenas os problemas, mas também o seu grau de importância,
auxiliando assim, o levantamento de itens a serem corrigidos por criticidade.
O estudo sobre as funcionalidades do sistema SAPI contribuíram para um melhor
entendimento da ferramenta a qual foi analisada, contribuindo assim na elaboração mais
detalhada dos documentos que foram utilizados nos testes, obtendo assim o resultado mais
real possível.
Houve a necessidade de refazer a avaliação heurística pois entre o período de
planejamento e os testes com os usuários houveram mudanças na ferramenta, mudanças estas
que poderiam influenciar nos resultados dos testes. Por este motivo foi feito a reavaliação
heurística e o ajuste dos documentos que foram utilizados para a coleta dos dados.
Os testes de usabilidade comprovaram os problemas de usabilidade que foram
encontrados durante a avaliação heurística o que levou a elaboração das seções que
identificam os problemas bem como a de sugestão de correção.
Por fim espera-se que com os resultados aqui apresentados, seja possível efetuar as
correções aqui descritas, obtidas através da interação dos reais usuários do sistema os quais
apresentaram dificuldades que foram descritas e as melhorias indicadas possam servir de
auxilio para a equipe de desenvolvimento aprimorar a ferramenta.
4.8 TRABALHOS FUTUROS
Para trabalhos futuros sugere-se o aumento da quantidade de avaliadores que neste
trabalho foram de quatro pessoas para a interface do Docente e duas pessoas para a Interface
do Validador, ou seja, uma amostra maior, tornando assim os resultados mais precisos e
apontando novos problemas de usabilidade que não foram identificados neste trabalho.
104
Sugere-se que depois que a equipe de desenvolvimento faça as correções de
usabilidade no sistema aqui identificadas, que seja refeito os testes de usabilidade para que
seja possível mensurar a melhoria obtida no sistema.
Sugere-se também que sejam efetuados os testes de usabilidade no ambiente de
inclusão de publicação de material Lattes, o qual não é funcionalidade do SAPI 2.0, porém faz
parte da atividade do docente, o qual apenas faz a importação dessas informações para o SAPI
2.0.
Por fim, sugere-se também, novas avaliações de usabilidade no sistema para
identificação de novos problemas de acordo quesitos de outras normas de usabilidade, tais
como usabilidade especifica para menus, formulários, entre outros. E posteriormente, o uso de
técnicas como design participatório, storyboards e protótipos em papel, que auxiliam na
melhor compreensão sobre usabilidade, por parte dos usuários-finais e dos desenvolvedores
leigos em IHC.
REFERÊNCIAS BIBLIOGRÁFICAS
ALMEIDA, Mariana Carla de. Estudo da usabilidade da interface do ambiente virtual de
aprendizagem da UNITIS. 2009. 228f. Dissertação (Mestrado em Educação) – Faculdade de
Educação, Universidade de Brasília, Brasília, 2009. Disponível em:
<http://repositorio.bce.unb.br/bitstream/10482/8677/1/2009_MarianaCarladeAlmeida.pdf>.
Acesso em: 17 set. 2011.
ANDRADE, Antônio Luís Lordelo. Usabilidade de interfaces WEB: avaliação heurística no
jornalismo on-line, Rio de Janeiro: E-papers, 2007. 142p. ISBN 857650103-1
BOTTENTUIT JUNIOR, João Batista; COUTINHO, Clara Pereira. Análise da usabilidade de
um laboratório virtual de química orgânica. In: CONFERENCIA IBERO-AMERICANA EM
SISTEMAS, CIBERNÉTICA E INFORMÁTICA, 6., 2007, Orlando, EUA. Anais
Eletrônicos ... Orlando, EUA: CISCI, 2007. Disponível em:
<http://repositorium.sdum.uminho.pt/handle/1822/6718>. Acesso em: 17 set. 2011.
BRASIL ESCOLA. 2012 Disponível em :< http://www.brasilescola.com/matematica/media-
aritmetica.htm>. Acesso em 10 fev. 2012.
COSTA, Rodrigo Andreatta da.Análise de Métodos de Consulta por Similaridade de
Textos em Banco de Dados. Itajaí, 2008. 127 f. Trabalho de Conclusão de Curso (Graduação
em Ciência da Computação)-Centro de Ciências Tecnológicas da Terra e do Mar,
Universidade do Vale do Itajaí, Itajaí, 2008.
CRESPO, Antônio Arnot. Estatística fácil. São Paulo: Saraiva, 1996. 224p. ISBN 85-02-
02055-2
CYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard.Ergonomia e usabilidade:
conhecimentos, métodos e aplicações. São Paulo: Novatec, 2007. 344 p. ISBN 978-85-7522-
138-9.
GOOGLE. 2011. Disponível em: <http://www.google.com.br>. Acesso em 17 set. 2011.
INFOESCOLA. 2012. Disponível em: <http://www.infoescola.com/estatistica/variancia-e-
desvio-padrao/>. Acesso em 14 abr. 2012.
ISO 9241-10 Parte 10: Princípios de diálogo. In: Requisitos ergonômicos para trabalho de
escritório com computadores, 2000.
ISO 9241-11 Parte 11: Orientações sobre usabilidade. In: Requisitos ergonômicos para
trabalho de escritório com computadores, 2000.
LabIUtil. 2011. Disponível em:
<http://www.labiutil.inf.ufsc.br/hiperdocumento/unidade1_4.html>. Acesso em: 03 nov.
2011.
NIELSEN, Jakob; LORANGER, Hoa. Usabilidade na web: projetando websites com
qualidade. São Paulo: Elsevier, 2007. 432p. ISBN 853522190-5.
NIELSEN, Jakob. Usability Engineering, Cidade: Morgan Kaufmann, 1994. 362p. ISBN
012518406-9
PEREIRA, Fernanda. Avaliação de usabilidade em bibliotecas digitais: um estudo de caso.
2011. 123f. Dissertação (Mestrado em Ciência da Informação) – Escola de Ciência da
Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2011.
PEZZÈ, Mauro; YOUNG, Michal. Teste e análise de software: projeto, princípios e técnicas.
Porto Alegre: Bookman, 2008. 512p. ISBN 978-85-7780-262-3
PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen.Design de interação: além da
interação homem-computador, Porto Alegre: BOOKMAN, 2005. 348p. ISBN 853630494-4.
SAPI. Disponível em: <http://sapi.udesc.br/sapi/>. Acesso em: 27 out. 2011.
SILVA FILHO, José Luiz Fonseca da; KLEIN JÚNIOR, Vitor Hugo; LINS, Odilio;COSTA,
Tiago da.Ergonomia cognitiva em ambientes virtuais de aprendizagem: uma análise da interface
humano-computador do sistema polvo. In: ENCONTRO NACIONAL DE ENGENHARIA DE
PRODUÇÃO, 28 .. 2008, Rio de Janeiro, Brasil. Anais Eletrônicos ... Rio de Janeiro, Brasil,
2008 Disponível em:
<http://www.abepro.org.br/biblioteca/enegep2008_tn_stp_069_490_11885.pdf>. Acessoem: 25
set. 2011.
SO Matemática. 2012. Disponível em:
<http://www.somatematica.com.br/estat/basica/pagina6.php>. Acesso em: 10 fev. 2012.
WOHLIN, Claes; HÖST, Martin; RUNESON, Per; OHLSSON, Magnus C.; REGNELL,
Björn; WESSLÉN, Anders.Experimentation in software engineering: an introduction.
Cidade: Springer, 2000.
APÊNDICES
APÊNDICE A. QUESTIONÁRIO DE PERFIL
QUESTIONÁRIO DE PERFIL DO PARTICIPANTE
O objetivo deste questionário é obter as informações do perfil do participante do teste
de usabilidade que será realizado no sistema SAPI 2.0.
Todas as informações aqui fornecidas são de extrema importância para uma boa
execução do teste de usabilidade o qual leva em consideração os conhecimentos dos
participantes não sendo reveladas em nenhuma circunstância.
Pede-se que sejam marcadas as questões com um “X” no quadrado correspondente a
resposta escolhida. As questões são de escolha única a não ser as que contenham em seu
enunciado os dizeres “múltipla escolha”.
Por favor, leia com atenção as questões a seguir e caso possua alguma dúvida, solicite
o esclarecimento com o avaliador.
Informações Pessoais
NOME_________________________________IDADE_________SEXO:M( ) F( )
1.1 Qual(is) a(s) sua(s) área(s) de formação?
_______________________________________________________________________________
Conhecimentos
Qual seu nível de experiência na utilização de computadores?
Avançado
Intermediário
Básico
Nenhum
Qual seu nível de experiência na utilização de sistemas de publicação de material?
Avançado
Intermediário
Básico
Nenhum
Você publica algum tipo de material online?
Não
Sim.
Se a resposta anteriormente foi “Sim” quais os tipos de materiais você já publicou? Caso
seja “Não” assinalar a opção “NA”.
Apresentação de trabalho
Artigo
Livro
Periódico
Relatório
Outros. Qual? ______________________
NA
Você já utilizou algum sistema para publicação de produção institucional?
Não
Sim. Qual?________________________________
Já participou de algum tipo de teste de usabilidade?
Não
Sim. Qual? ________________________________
O quanto você acha importante a avaliação de usabilidade de um software antes, durante e
depois do desenvolvimento?
Muito Importante
Importante
Não faz diferença
Pouco importante
Desnecessário
Você concorda que a usabilidade é essencial para um software?
Sim
Não. Por quê ?_____________________
Obrigado!
APÊNDICE B. TERMO DE CONCORDÂNCIA
TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO
Você está sendo convidado a participar da pesquisa AVALIAÇÃO DE
USABILIDADE NO AMBIENTE SAPI 2.0 – SISTEMA DE AVALIAÇÃO DE
PRODUÇÃO INSTITUCIONAL.
Você foi selecionado por estar dentro do perfil de usuário do sistema em avaliação e
sua participação não é obrigatória. A qualquer momento da avaliação você pode desistir de
participar e retirar o seu consentimento para mesma. Sua recusa não trará nenhum prejuízo em
sua relação com pesquisador bem como com a instituição de ensino. Os objetivos deste estudo
são avaliar os níveis de eficiência, eficácia e satisfação das interfaces de Docente e Validador
do sistema SAPI 2.0.
A sua participação nesta pesquisa consistirá em realizar um teste de usabilidade em
uma das duas interfaces e responder os questionários indicados.
Não há nenhum risco relacionado à sua participação.
Você será beneficiado com esta participação através da aquisição de conhecimentos
sobre a execução dos testes de usabilidade bem como a experiência da interação com a
ferramenta.
Todas as informações obtidas através desta pesquisa serão confidenciais, assegurando
assim o sigilo sobre a sua participação. Todas as informações obtidas não serão divulgadas de
forma a possibilitar a sua identificação.
Daniel Alberto Rover_________________________________
Nome e assinatura do pesquisador
Declaro que os objetivos, riscos e benefícios da minha participação na pesquisa foram
esclarecidos e concordo em participar.
___________________________________________________
Nome e Assinatura
Participante da pesquisa
APÊNDICE C. AVALIAÇÃO DE SATISFAÇÃO
QUESTIONÁRIO DE AVALIAÇÃO DA SATISFAÇÃO DO PARTICIPANTE
ATRAVÉS DA INTERAÇÃO COM O SISTEMA
O objetivo deste questionário é obter as informações sobre a opinião do participante do teste
de usabilidade que foi realizado no sistema SAPI 2.0.
Todas as informações aqui fornecidas são de extrema importância para o aprimoramento do
sistema, pois auxiliarão na sugestão de melhorias das interfaces do sistema.
Por favor, marque com um “X” a interface que foi avaliada.
[ ] Docente
[ ] Validador
1. Por favor, circule apenas um número para cada alternativa que melhor reflete a sua
impressão sobre a interface da ferramenta em análise.
NA = Não se Aplica ( deve ser usado em itens onde não se deseja opinar ).
a. Em geral, a interface SAPI 2.0 é
Péssima Excelente
1 2 3 4 5 6 7 8 9 10 NA
b. Aprender a utilizar a interface é
Difícil Fácil
1 2 3 4 5 6 7 8 9 10 NA
c. A organização das informações é
Péssima Excelente
1 2 3 4 5 6 7 8 9 10 NA
d. A sequencia das telas é
Confusa Clara
1 2 3 4 5 6 7 8 9 10 NA
e. O retorno a tela anterior é
Confuso Claro
1 2 3 4 5 6 7 8 9 10 NA
f. As interfaces apresentam cores
que tornam a interação agradável
Péssima Excelente
1 2 3 4 5 6 7 8 9 10 NA
g A personalização da interface (
aumento das letras, troca de
cores, teclas de atalho) é bem
definida no SAPI 2.0
Discordo Concordo
1 2 3 4 5 6 7 8 9 10 NA
h Comparado com o SAPI 2.0
anterior, ao SAPI novo pode se
dizer que é
Péssimo Excelente
1 2 3 4 5 6 7 8 9 10 NA
i A ajuda disponibilizada pelo
sistema é
Péssima Excelente
1 2 3 4 5 6 7 8 9 10 NA
j O sistema SAPI 2.0 corresponde
com as suas expectativas de uso
Discordo Concordo
1 2 3 4 5 6 7 8 9 10 NA
1. Por favor, descreva quais situações onde foi encontrada maior dificuldade:
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
______________________________
2. Por favor, descreva quais foram os pontos positivos encontrados no sistema:
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
______________________________
3. Descreva qual sua opinião geral sobre a utilização do sistema e caso possua sugestões
de melhorias podem ser descritas abaixo:
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
_____________________________________________________________________
______________________________
APÊNDICE D. SCRIPT DE TAREFAS - DOCENTE
SCRIPT DE TAREFAS – INTERFACE DOCENTE
Muito obrigado por participar neste teste que tem como objetivo avaliar a interface do sistema
SAPI 2.0 módulo docente a fim de verificar a usabilidade do mesmo. Abaixo se encontra a
lista de tarefas a qual você deverá efetuar, porém não se preocupe com erros que possam ser
cometidos, pois a avaliação que esta sendo feita é do sistema e não do seu desempenho.
Por favor, verbalize todas as suas dúvidas, e toda vez que terminar a tarefa. Dúvidas que
gerem perguntas devem ser ditas, porém não serão respondidas, pois é necessário que você
utilize o sistema de forma independente, simulando o mais real possível o ambiente de
trabalho.
O objetivo deste teste de usabilidade não é avaliar o seu conhecimento e sim, medir a
eficiência, eficácia e satisfação do sistema SAPI 2.0.
Tarefa 1 – Efetue o acesso no sistema com o usuário e senha informados pelo avaliador no
formulário em anexo antes do início dos testes.
Tarefa 2 – Seu acesso ao sistema está sendo efetuado pela primeira vez, sendo assim é
necessário ser efetuado uma configuração inicial antes da utilização do sistema, preencha as
informações conforme formulário em anexo.
Tarefa 3 – Agora que as configurações iniciais foram efetuadas será necessário que você
inclua uma produção ao seu currículo conforme os dados no formulário em anexo.
Tarefa 4 – Localize a Produção que você acabou de criar e verbalize qual o status dela.
Tarefa 5 – Comprove a produção criada, os dados para comprovação estão no formulário em
anexo.
APÊNDICE E. SCRIPT DE TAREFAS - VALIDADOR
SCRIPT DE TAREFAS – INTERFACE VALIDADOR
Muito obrigado por participar neste teste que tem como objetivo avaliar a interface do sistema
SAPI 2.0 módulo docente a fim de verificar a usabilidade do mesmo. Abaixo se encontra a
lista de tarefas a qual você deverá efetuar, porém não se preocupe com erros que possam ser
cometidos, pois a avaliação que esta sendo feita é do sistema e não do seu desempenho.
Por favor, verbalize todas as suas dúvidas, e toda vez que terminar a tarefa. Dúvidas que
gerem perguntas devem ser ditas, porém não serão respondidas, pois é necessário que você
utilize o sistema de forma independente, simulando o mais real possível o ambiente de
trabalho.
O objetivo deste teste de usabilidade não é avaliar o seu conhecimento e sim, medir a
eficiência, eficácia e satisfação do sistema SAPI 2.0.
Tarefa 1 – Efetue o acesso no sistema com o usuário e senha informados pelo avaliador no
formulário em anexo antes do início dos testes.
Tarefa 2 – Faça a busca da produção informada no formulário em anexo, verifique se os
atributos preenchidos correspondem ao comprovante enviado e aprove ou rejeite a produção
caso as informações estejam corretas ou contenham erros.
Tarefa 3 – O SAPI 2.0 disponibiliza relatórios de produtividade, você deverá gerar um
relatório de produtividade conjunta para os Docentes especificadas no formulário em anexo e
em seguida gerar em arquivo "PDF".
Tarefa 4 – O SAPI 2.0 trabalha com escores para dar pesos as atividades enviadas pelos
docentes, acesse a tela de escores e altere o peso do escore informado no formulário em
anexo.
APÊNDICE F. CHECKLIST DO AVALIADOR - INTERFACE
DOCENTE
FORMULÁRIO PARA COLETA DOS DADOS – INTERFACE DOCENTE
O objetivo deste documento é a coleta das informações no momento do teste de
usabilidade com os participantes selecionados, onde as informações contidas nele serão
originadas da observação do participante durante a interação com o sistema SAPI 2.0.
Nome do Participante: _________________________________.
Data e hora de inicio do teste: ___/___/___ ___:___
Data e hora de fim do teste: ___/___/___ ___:___
Tarefa Instrução dada ao
participante
Tempo
decorrido
(Eficiência)
Quantidade
de erros
(Eficácia)
Número de
reclamações
(Satisfação)
Observações
1
Efetue o acesso no
sistema com o usuário
e senha informados
pelo avaliador no
formulário em anexo
antes do início dos
testes.
2
Seu acesso ao sistema
está sendo efetuado
pela primeira vez,
sendo assim é
necessário ser efetuado
uma configuração
inicial antes da
utilização do sistema,
preencha as
informações conforme
formulário em anexo
serão solicitados.
3
Agora que as
configurações iniciais
foram efetuadas será
necessário que você
inclua uma produção
ao seu currículo
conforme os dados no
formulário em anexo.
4
Localize a Produção
que você acabou de
criar e verbalize qual o
status dela.
5
Comprove a produção
criada, os dados para
comprovação estão no
formulário em anexo.
APÊNDICE G. CHECKLIST DO AVALIADOR - INTERFACE
VALIDADOR
FORMULÁRIO PARA COLETA DOS DADOS – INTERFACE VALIDADOR
O objetivo deste documento é a coleta das informações no momento do teste de
usabilidade com os participantes selecionados, onde as informações contidas nele serão
originadas da observação do participante durante a interação com o sistema SAPI 2.0.
Nome do Participante: _________________________________.
Data e hora de inicio do teste: ___/___/___ ___:___
Data e hora de fim do teste: ___/___/___ ___:___
Tarefa Instrução dada ao
participante
Tempo
decorrido
(Eficiência)
Quantidade
de erros
(Eficácia)
Número de
reclamações
(Satisfação)
Observações
1
Efetue o acesso no
sistema com o usuário
e senha informados
pelo avaliador no
formulário em anexo
antes do início dos
testes.
2
Faça a busca da
produção informada
no formulário em
anexo, verifique se os
atributos preenchidos
correspondem ao
comprovante enviado
e aprove ou rejeite a
produção caso as
informações estejam
corretas ou contenham
erros.
3
O SAPI 2.0
disponibiliza relatórios
de produtividade, você
deverá gerar um
relatório de
produtividade conjunta
para os Docentes
especificadas no
formulário em anexo e
em seguida gerar em
arquivo "PDF".
4
O SAPI 2.0 trabalha
com escores para dar
pesos as atividades
enviadas pelos
docentes, acesse a tela
de escores e altere o
peso do escore
informado no
formulário em anexo.
APÊNDICE H. FORMULÁRIO PARA EXECUÇÃO DAS
TAREFAS - INTERFACE VALIDADOR
FORMULÁRIO PARA EXECUÇÃO DAS TAREFAS - INTERFACE
VALIDADOR
Tarefa 1 –
USUÁRIO: XXXXXXXX
SENHA: XXXXXXXXX
Tarefa 2 –
Docente: XXXXXXX
Produções: XXXXXXXXXXXXXX
XXXXXXXXXXXXXX
XXXXXXXXXXXXXX
Tarefa 3 –
Docente XXXXX
XXXXX
XXXXX
Escore XXXXXXX
Ano Inicial XXXXX
Ano Final XXXXXX
Tarefa 4 –
Grupo de Escore: XXXXXXXXX
Tipo: XXXXXXXXXXX
Escore XXXXXXXXXX
Peso = XXX
APÊNDICE I. FORMULÁRIO PARA EXECUÇÃO DAS
TAREFAS - INTERFACE DOCENTE
FORMULÁRIO PARA EXECUÇÃO DAS TAREFAS - INTERFACE
DOCENTE
Tarefa 1 –
USUÁRIO: XXXXXXXX
SENHA: XXXXXXXXX
Tarefa 2 –
Departamento = XXXXXXXX
Curso = XXXXXX
Áreas de Atuação = XXXXXXX
XXXXXXX
XXXXXXX
Tarefa 3 –
Categoria: XXXXXXXXXX
Produção Tipo: XXXXXXXXXX
Atributos
Título: XXXXXXXXXXXX
Ano: XXXX
Descrição: XXXXX
Observações: XXXXX
Tipo: XXXXX
Tarefa 5 –
Tipo de Comprovação XXXXXXX
Comprovante: XXXXXXX
ANEXOS
ANEXO A. NORMA NBR 941 - PARTE 10 EM CD
ANEXO B. UTILIZAÇÃO DO SAPI 2.0
Será apresentado em detalhes as atividades que podem ser efetuadas dentro do sistema
SAPI 2.0 as quais serão analisadas neste trabalho.
Perfil do Docente no SAPI 2.0
O sistema do SAPI 2.0 possui interface distinta para ambos os perfis que são
acessados, porém o padrão permanece, adiante serão apresentadas as principais interfaces que
são necessárias para execução da tarefa pelo docente.
A Figura 1 mostra a tela de boas vindas ao sistema exibida no primeiro acesso pelo
usuário contendo as orientações necessárias para a configuração inicial do sistema (Manual
Docente SAPI).
Figura 1. Tela de boas vindas do SAPI 2.0
Fonte: SAPI 2.0(2011).
Após a confirmação da leitura das informações iniciais o sistema automaticamente
redireciona para a tela representada na Figura 2 a qual solicita a informação do departamento
o qual o docente está lotado SAPI 2.0(2011).
Figura 2. Tela definição do departamento
Fonte: SAPI 2.0(2011).
Após a seleção do departamento o qual deve ser único o usuário deve avançar através
do botão exibido na extremidade inferior direita demonstrada na Figura 2, após esta
confirmação o sistema direciona o usuário para a próxima etapa que é a inserção dos cursos os
quais o docente leciona, deixando-o livre para a escolha dos cursos oferecidos pela instituição
assim como exibe a Figura 3.
Figura 3. Tela definição dos cursos
Fonte: SAPI 2.0(2011).
Após a seleção dos cursos os quais o docente leciona na instituição o mesmo deve
avançar através do botão exibido na extremidade inferior direita demonstrada na Figura 3,
após esta confirmação o sistema direciona o usuário para a próxima e última etapa da
configuração inicial que é a inserção das áreas de atuação do docente as quais dentro do
sistema SAPI 2.0 são nomeadas como “Áreas Qualis”, o usuário deve selecionar no mínimo
uma e no máximo duas “Áreas Qualis” tendo sua interface demonstrada na Figura 4.
Figura 4. Tela definição de “Áreas Qualis”
Fonte: SAPI 2.0(2011).
Após o término da inserção dos dados de configuração inicial o usuário é direcionado
a pagina principal do sistema onde é apresentado o menu principal contendo todas as funções
do sistema disponíveis para o perfil do usuário conforme ilustrado na Figura 5.
Figura 5. Menu principal
Fonte: SAPI 2.0(2011).
Antes de iniciar as suas atividades o docente deve importar o seu currículo Lattes para
que o sistema possa associar toda a sua produção ao mesmo na Figura 6 demonstra a tela
exibida ao usuário ao efetuar a importação do seu currículo pela primeira vez.
Figura 6. Resumo da importação do currículo Lattes
Fonte: SAPI 2.0(2011).
Após estas configurações iniciais o docente pode começar a efetuar as suas inserções,
visualizações e exclusões de materiais ao sistema as quais ficaram pendentes de validação. Na
Figura 7 temos a tela a qual é exibida ao usuário no momento em que ele seleciona a opção
“Minhas Produções” no menu principal. Nesta tela pode-se procurar por produções já
inseridas no sistema para efetuar ações como exclusão ou visualização bem como criar o
cadastro de uma nova produção e enviá-la para validação.
Figura 7. Tela de visualização das produções
Fonte: SAPI 2.0(2011).
Toda produção criada no SAPI 2.0 deve ser validada para poder contar escore no
currículo do docente, esta validação se dá através de uma comprovação que dentro do SAPI
2.0 pode ser feita de quatro formas assim como mostra a Figura 8, comprovação via papel,
comprovação via anexo, comprovação via DOI, comprovação via URL.
Figura 8. Tela de seleção do tipo de comprovação
Fonte: SAPI 2.0(2011).
A comprovação via papel, a validação será efetivada mediante comprovação da
produção através de fotocópias das partes que identificam o documento. No entanto a
informação de que a comprovação desta produção será feita desta forma o SAPI 2.0 dá opção
de enviar para a validação com mensagem para o validador informando assim algumas
informações que venham a ser importantes para a validação do material. Figura 9 à esquerda
temos o campo que é apresentado ao docente na hora em que o mesmo envia o material para
validação pelo meio de comprovação via papel, e a direita a mensagem confirmando o envio e
o número de registro do envio o qual pode ser anexado a documentação para maior facilidade
do validador em localizar no sistema.
Figura 9. Tela de observações ao validador à esquerda e informação do registro a
direita
Fonte: SAPI 2.0(2011).
Para comprovação via anexo, o documento original deve ser digitalizado caso seja
impresso e anexado a produção por meio da segunda opção na janela de escolha de método
comprobatório, a Figura 10 apresenta a tela aberta para a inserção do arquivo para envio por
meio eletrônico, o qual deve ser localizado no sistema e enviado.
Figura 10. Tela de inserção de arquivo comprobatório
Fonte: SAPI 2.0(2011).
A terceira opção apresentada é a comprovação através de código DOI que é um código
único alfanumérico que é atribuído à produção no momento de sua publicação. O DOI é uma
instituição especializada, garantido assim a segurança elevada à comprovação da produção.
Mais informações podem ser adquiridas no site5 DOI.
A quarta e última opção é a comprovação via URL, onde este método é o menos
aconselhável e deve ser utilizado em último caso, o docente deve publicar sua produção
online e informar a URL onde ela está localizada, seleciona-se a opção de comprovação
através da tela de seleção do tipo de comprovação e a tela demonstrada na Figura 11 é exibida
para a inserção do link para a visualização do material. É importante deixar esclarecido que se
por algum motivo o link for inserido estiver incorreto o mesmo será identificado e informado
ao usuário para que efetue as correções necessárias.
Figura 11. Tela de inserção de URL
Fonte: SAPI 2.0(2011).
Concluímos por aqui as principais atividades efetuadas pelo docente na interação com
o sistema SAPI 2.0 desde a sua configuração inicial até a inclusão de seu material e
comprovação de sua veracidade. A seguir serão demonstradas as principais funcionalidades
do módulo validador.
Perfil do Validador no SAPI 2.0
Serão abordadas aqui as principais funcionalidades do módulo validador do sistema
SAPI 2.0. Após o usuário com características de validador efetuar o acesso no sistema o
mesmo é direcionado a tela principal onde o menu principal é exibido ao lado esquerdo
conforme ilustrado.
5http://www.doi.org/
Dentre as atividades atribuídas ao validador as quais serão explanadas mais adiante,
está à atividade de validação dos materiais que foram inseridos no sistema SAPI 2.0 pelos
docentes de todas as áreas dentro da instituição, após a seleção desta atividade no menu
principal é exibida a tela conforme ilustra a Figura 12, nota-se que há duas opções para busca
que podem facilitar na tarefa do validador.
Figura 12. Menu de busca de produções
Fonte: SAPI 2.0(2011).
Após a seleção do tipo de busca a tela conforme a Figura 14 é exibida, onde são
mostradas todas as produções pendentes de aprovação.
Figura 14. Lista de produções por docente
Fonte: SAPI 2.0(2011).
Após a localização de uma produção pendente de aprovação a mesma é exibida em
detalhes conforme demonstra a Figura 15 para a visualização e conferência das informações
fornecidas pelo docente na hora do seu cadastro. Nesta tela pode ser feita a escolha entre a
aprovação ou rejeição da produção inserida.
Figura 15. Tela com os atributos de uma produção
Fonte: SAPI 2.0(2011).
Algumas produções inseridas no SAPI 2.0 para que possam ser validadas e atribuídas
escores precisam que atributos específicos sejam escolhidos a Figura 16 ilustra este tipo de
produção o qual necessita que este atributo seja definido para que o cálculo de sua pontuação
seja feito de forma correta.
Figura 16. Tela de edição de uma produção para preenchimento de atributos
Fonte: SAPI 2.0(2011).
O SAPI 2.0 disponibiliza ao validador a opção de gerar relatórios de produtividade,
tanto individual para um docente como para vários indivíduos ou até mesmo por
departamentos, a Figura 17 ilustra a seleção de apenas um docente para e geração do relatório
o qual pode ser visualizado na Figura 18.
Figura 17. Seleção de docente para geração de relatório
Fonte: SAPI 2.0(2011).
Figura 18. Relatório de produtividade do docente.
Fonte: SAPI 2.0(2011).