Relatório de Monitorização do Período 2020/21

Análise aos Requisitos de Acessibilidade dos Sítios Web e das Aplicações Móveis parte do DL n.º 83/2018

AMA, I.P. / Abril 2022

conteúdo do relatório:

Lista de Gráficos

• Gráfico 01 - Estratificação da amostra dos 281 Sítios Web selecionados para o 1º periodo de monitorização 2020 - 2021 (por sector)
• Gráfico 02 - Taxa média de não conformidade dos sítios Web para com as cláusulas da Norma Europeia EN 301 549 aplicáveis
• Gráfico 03 - Taxa média de não conformidade das Apps por Sistema Operativo
• Gráfico 04 - Taxa média de não conformidade dos Sítios Web e das Apps – monitorização aprofundada
• Gráfico 05 - Quais são as Utilizações mais comprometidas face às cláusulas não conformes da EN 301 549?
• Gráfico 06 - Conformidade dos sítios web com as cláusulas de nível ‘A’ da EN 301 549 testadas
• Gráfico 07 - Distribuição de páginas por sítio Web (amostra Home+)
• Gráfico 08 - Histograma de pontuações AccessMonitor por sítio web (amostra Home+)
• Gráfico 09 - Histograma de pontuações AccessMonitor por página (amostra Home+)
• Gráfico 10 - Distribuição de páginas por sítio Web (amostra 2K)
• Gráfico 11 - Histograma de pontuações AccessMonitor por sítio web (amostra 2K)
• Gráfico 12 - Histograma de pontuações AccessMonitor por página (amostra 2K)
• Gráfico 13 - Conformidade dos sítios web com as cláusulas de nível ‘A’ da EN 301 549 testadas
• Gráfico 14 - Conformidade dos sítios web com as cláusulas de nível ‘AA’ da EN 301 549 testadas
• Gráfico 15 - Sítios Web - Taxa média de conformidade das cláusulas que compõem as Declarações de Desempenho Funcional considerando as relações primárias
• Gráfico 16 - Sítios Web - Taxa média de conformidade das cláusulas que compõem as Declarações de Desempenho Funcional considerando as relações primárias e secundárias

Lista de Tabelas

• Tabela 01 - Distribuição dos sítios web por nível de administração
• Tabela 02 - Distribuição dos sítios web por tipo de serviço
• Tabela 03 - Estatísticas descritivas da amostra de páginas
• Tabela 04 - Cláusulas da EN 301 549 testadas pelo AccessMonitor
• Tabela 05 - Cláusulas da EN 301 549 testadas pelas regras ACT do QualWeb
• Tabela 06 - Cláusulas da EN 301 549 consideradas na metodologia aprofundada para sítios Web
• Tabela 07 - Informações demográficas dos participantes dos testes com utilizadores de sítios Web
• Tabela 08 - Informações demográficas dos participantes dos testes com utilizadores de sítios Web (continuação)
• Tabela 09 - Cláusulas da EN 301 549 consideradas na metodologia aprofundada para aplicações móveis
• Tabela 10 - Informações demográficas dos participantes dos testes com utilizadores de aplicações móveis
• Tabela 11 - Informações demográficas dos participantes dos testes com utilizadores de aplicações móveis
• Tabela 12 - Distribuição de páginas por sítio web (amostra Home+)
• Tabela 13 - Conformidade dos sítios web com as cláusulas da EN 301 549 testadas para a amostra Home+
• Tabela 14 - Conformidade dos sítios web com as declarações de desempenho funcional considerando as relações primárias para a amostra Home+
• Tabela 15 - Conformidade dos sítios web com as declarações de desempenho funcional considerando as relações primárias e secundárias para a amostra Home+
• Tabela 16 - Número de sítios web em que cada teste do AccessMonitor é verdadeiro (amostra Home+)
• Tabela 17 - Número de sítios web em que cada regra ACT do QualWeb passa, falha ou precisa de validação manual pelo menos uma vez na amostra Home+
• Tabela 18 - Número de páginas em que cada teste do AccessMonitor é verdadeiro na amostra Home+
• Tabela 19 - Número de páginas que passam, falham ou precisam de validação manual para cada regra ACT do QualWeb na amostra Home+
• Tabela 20 - Distribuição de pontuações AccessMonitor por sítio Web (amostra Home+)
• Tabela 21 - Distribuição de pontuações AccessMonitor por página (amostra Home+)
• Tabela 22 - Distribuição de páginas por sítio web (amostra 2K)
• Tabela 23 - Conformidade dos sítios web com as cláusulas testadas para a amostra 2K
• Tabela 24 - Conformidade dos sítios web com as declarações de desempenho funcional considerando as relações primárias para a amostra 2K
• Tabela 25 - Conformidade dos sítios web com as declarações de desempenho funcional considerando as relações primárias e secundárias para a amostra 2K
• Tabela 26 - Número de sítios web em que cada teste do AccessMonitor é verdadeiro na amostra 2K
• Tabela 27 - Número de sítios web em que que cada regra ACT do QualWeb passa, falha ou precisa de validação manual pelo menos uma vez na amostra 2K
• Tabela 28 - Número de páginas em que cada teste do AccessMonitor é verdadeiro na amostra 2K
• Tabela 29 - Número de páginas que passam, falham ou precisam de validação manual para cada regra ACT do QualWeb na amostra 2K
• Tabela 30 - Distribuição de pontuações AccessMonitor por sítio Web (amostra 2K)
• Tabela 31 - Distribuição pontuações AccessMonitor por página (amostra 2K)
• Tabela 32 - Conformidade dos sítios web com as cláusulas testadas
• Tabela 33 - Conformidade dos sítios web com as declarações de desempenho funcional considerando as relações primárias
• Tabela 34 - Taxa média de conformidade com as cláusulas de cada declaração de desempenho funcional considerando as relações primárias
• Tabela 35 - Conformidade dos sítios web com as declarações de desempenho funcional considerando as relações primárias e secundárias
• Tabela 36 - Taxa média de conformidade com as cláusulas de cada declaração de desempenho funcional considerando as relações primárias e secundárias
• Tabela 37 - Conformidade das aplicações móveis com as cláusulas testadas
• Tabela 38 - Conformidade das aplicações móveis com as declarações de desempenho funcional considerando as relações primárias
• Tabela 39 - Conformidade das aplicações móveis com as declarações de desempenho funcional considerando as relações primárias e secundárias
• Tabela 40 - Conformidade das aplicações móveis por sistema operativo com as cláusulas testados
• Tabela 41 - Taxa média de não conformidade dos sítios Web para com as cláusulas aplicáveis da Norma Europeia EN 301 549
• Tabela 42 - Taxa de não conformidade das Apps por Sistema Operativo
• Tabela 43 - Taxa de não conformidade dos Sítios Web e das Apps (monitorização aprofundada)
• Tabela 44 - Taxa de não conformidade por Declaração de Desempenho Funcional
• Tabela 45 - Lista de sítios web incluídos na amostra para o método de monitorização simplificado
• Tabela 46 - Lista de sítios web incluídos na amostra para o método de monitorização aprofundada
• Tabela 47 - Lista de aplicações móveis incluídos na amostra para o método de monitorização aprofundada

Sumário Executivo

No âmbito do DL n.º 83/2018, de 19 de outubro, que define os requisitos de acessibilidade dos sítios web e das aplicações móveis, compete à Agência para a Modernização Administrativa, I.P. (AMA), apresentar à Comissão Europeia, de três em três anos, um relatório sobre o resultado da monitorização efetuada, incluindo os dados de medição. O presente documento contém os resultados e os dados de medição relativos ao 1º período de monitorização compreendido entre 2020 e 2021.

Para a realização da análise deste 1º período de monitorização foram selecionados, de acordo com a metodologia proposta pela Decisão de Execução (UE) 2018/1524, 281 sítios Web e 16 aplicações móveis. Os sítios Web foram alvo de dois tipos de monitorização: monitorização simplificada e monitorização aprofundada. A primeira baseia-se, no essencial, em fazer passar por uma amostra de páginas um validador automático. A segunda consiste numa validação humana manual feita por um perito de acessibilidade. As aplicações móveis foram sujeitas apenas a uma monitorização do tipo aprofundada.

Na seleção da amostra de sítios Web levou-se em linha de conta o critério geográfico (central, regional e local) mas também o tipo de serviço, a procura do mesmo e o sector de atividade. Quer a amostra de sítios Web quer a amostra de aplicações móveis foram submetidas para apreciação às organizações representantes de pessoas com deficiência por via da Comissão de Políticas de Inclusão coordenada pela Secretaria de Estado para a Inclusão das pessoas com deficiência.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 02.

Sítios Web

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 41.

No caso da presente análise, usámos duas composições de amostras para submeter aos validadores automáticos: uma com menos páginas e outra com mais páginas. A primeira baseada no método que a AMA, I.P. está a usar no Observatório Português da Acessibilidade Web, que consiste numa amostra composta pela 1ª página mais todas as páginas hiperligadas à primeira pertencentes ao domínio, a que designámos de Home+ (H+). A segunda, a que designámos de 2K por ser composta por uma recolha com vários níveis de profundidade até ao máximo de 2 mil páginas. Em média, a Home+ produziu amostras com uma média de 80 páginas por sítio Web enquanto a 2K produziu amostras de 1000 páginas em média por sítio Web.

No essencial queríamos responder à questão: será a amostra Home+ suficientemente representativa ou teremos que aumentar o número de páginas que estamos a usar no Observatório? Ao analisar o Gráfico 2 que nos mostra as taxas médias de não conformidade das cláusulas da Norma Europeia que compõem cada princípio de acessibilidade, constatamos que as taxas de não conformidade para os 4 princípios seguem tendências semelhantes em ambas as amostras analisadas automaticamente (i.e. H+ e 2K).

Outra das interrogações à partida estava relacionada com o efeito nos resultados provocado por uma validação pericial (monitorização aprofundada). Até que ponto a monitorização aprofundada corrobora ou não os resultados das duas análises feitas exclusivamente com validadores automáticos (monitorização simplificada)? Pela análise do Gráfico 2 percebe-se que os princípios com os melhores e os piores estados de conformidade na monitorização simplificada são também os piores e os melhores na monitorização aprofundada, mas o cenário encontrado pela monitorização aprofundada é, em média, uma vez e meia pior do que o revelado pela monitorização simplificada. Para o princípio “Compreensível”, a monitorização aprofundada chega mesmo a revelar um panorama três vezes pior ao encontrado pela monitorização simplificada. Isto espelha bem a importância de se efetuarem avaliações manuais periciais. Há, no entanto, um aspeto em que os dois métodos de avaliação concordam. Quando observadas as taxas de não conformidade por cada um dos 4 princípios de acessibilidade Web enumerados pelo W3C, ambos os métodos apontam o princípio “Percetível” e o princípio “Robusto” como sendo os que têm taxas de não conformidade maiores – na ordem dos 78% e dos 94%, respetivamente. É também de salientar que os cenários encontrados pelas avaliações automática e manual nestes dois princípios distam apenas 10%, o que nos leva a concluir o bom trabalho das ferramentas automáticas na deteção de não conformidades nos princípios de acessibilidade “Percetível” e “Robusto”.

A monitorização aprofundada é mais eficaz na deteção dos níveis de conformidade do que a monitorização simplificada, contudo ela é mais consumidora de recursos de análise e de tempo. Por essa razão, ela é aplicada a um número reduzido de páginas. Na presente análise a monitorização simplificada foi efetuada a um universo de 281.706 páginas (amostra 2K) e 19.931 (amostra Home+). Já a monitorização aprofundada foi aplicada a um universo de 477 páginas.

Aplicações móveis

A seleção das aplicações móveis recaiu sobre 8 aplicações que compunham o top das aplicações mais usadas, presentes no catálogo https://www.app.gov.pt, na sua versão iOS e na sua versão Android, perfazendo, na prática, um total de 16 aplicações – está comprovado que uma mesma aplicação para versão iOS e para versão Android requer, em termos de acessibilidade, duas análises independentes. Foram analisados 144 ecrãs, numa média de 9 ecrãs por aplicação. A taxa média de não conformidade foi de 51% para as aplicações iOS e de 53% para as aplicações Android, não permitindo assim dizer-se com clareza que as aplicações de uma dada versão estão melhores do que as outras. No princípio de acessibilidade “Robusto”, a taxa média de não conformidade por versão é igual – i.e. 87,5%. As aplicações iOS apresentam-se melhores nos princípios “Operável” e “Compreensível”, mas, no princípio “Percetível”, as aplicações Android apresentam-se ligeiramente melhores às de iOS.

Dos 4 princípios de acessibilidade, os que se apresentam com os maiores níveis de não conformidade são o “Percetível” e o “Robusto”. O “Percetível” é muito penalizador, por exemplo, de utilizadores com deficiência visual (pessoas cegas ou com baixa visão), e de pessoas surdas. Já o “Robusto” penaliza todos os utilizadores que fazem uso de tecnologias para transformar a informação às suas capacidades de leitura e navegação. Tecnologias de apoio – leitores de ecrã com sintetizador de fala ou linha braille, usadas por pessoas cegas – mas também, globalmente, qualquer tecnologia de indexação ou de visualização que necessitem de interoperar com a informação. O princípio “Percetível” aparece com taxas de não conformidade na ordem dos 65%. Já o princípio “Robusto” surge com taxas de não conformidade muito elevadas, na ordem dos 90%.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 42.

Sítios e Apps

Os 4 princípios de acessibilidade são afetados da mesma forma nos sítios Web e nas aplicações móveis – os melhores coincidem com os melhores e os piores com os piores. No entanto, as aplicações móveis apresentam-se sempre melhores que os sítios Web, em todos os 4 princípios – em média 10 pontos percentuais acima dos sítios Web. O princípio “Robusto” apresenta-se com taxas de não conformidade na ordem dos 90%, seguido do princípio “Percetível” com valores na ordem dos 70%. Já os princípios “Compreensível” e “Operável” apresentam taxas de não conformidade bastante mais baixas, respetivamente na ordem dos 15% e 40% para o caso das aplicações e de 30% e 50% para os sítios Web.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 43.

Utilizadores e principais problemas

Quais são os utilizadores que se confrontam com um maior número de barreiras? Na Norma Europeia EN 301 549 é feita uma relação entre as cláusulas que representam as boas práticas de acessibilidade a aplicar e os utilizadores beneficiários dessas práticas a que se dá o nome de Declarações de Desempenho Funcional. Este nome mais elaborado prende-se com o facto de, ao referir, por exemplo, “Utilização na ausência de visão”, se pretende fazer alusão não apenas a pessoas com deficiência da visão, mas a todas as pessoas que, numa determinada situação, estão impossibilitadas ou limitadas na utilização da visão – p.e. alguém que, devido à luz solar intensa de um dia de Verão não consegue, ou tem maior dificuldade, em usar um smartphone na rua.

Assim, os dados recolhidos (ver Gráfico 5) dizem-nos que a presente amostra tem não conformidades nas cláusulas que afetam em primeira linha a: “Utilização com visão limitada” (46% de não conformidades); “Utilização na ausência da perceção da cor” (45%) e “Utilização na ausência da visão” (41%). “Utilização com capacidade de manipulação e/ou força limitada”, “Utilização com capacidades cognitivas limitadas”, “Utilização na ausência de audição” surgem com taxas médias de não conformidade entre os 30% e os 40%.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 44.

Da análise efetuada aos sítios Web e às aplicações móveis foram detetadas, independentemente do tamanho da amostra e independentemente do método de monitorização utilizado, elevadas taxas de não conformidade nos princípios “Percetível” e “Robusto” entre os 80% e os quase 100% – 97% de não conformidade do princípio “Robusto” na monitorização aprofundada de sítios Web.

Não é, por isso, de estranhar que as 11 cláusulas com maior taxa de falha nos sítios Web na monitorização aprofundada tenham sido:

• 9.1.1.1 Conteúdo não textual, com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.1 Apenas áudio e apenas vídeo (pré-gravado), com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.2 Legendas (pré-gravadas), com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.3 Audiodescrição ou alternativa em multimédia (pré-gravada), com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.5 Audiodescrição (pré-gravada), com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.3.1 Informações e relações, com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.4.2 Controlo de áudio, com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.4.1.1 Análise sintática (parsing), com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.4.10 Re-alinhar, com uma taxa de falha de 96% face aos sítios web aplicáveis;
• 9.2.4.4 Finalidade da hiperligação (em contexto), com uma taxa de falha de 96% face aos sítios web aplicáveis; e
• 9.4.1.2 Nome, função, valor, com uma taxa de falha de 96% face aos sítios web aplicáveis.

Deste grupo de 11 cláusulas, 8 fazem parte do princípio “Percetível”, onde está a utilização dependente da visão e também da audição, 2 para o princípio “Robusto”, onde está a interoperabilidade com as tecnologias de apoio e 1 para o princípio “Operável” onde está a manipulação das interfaces digitais com tecnologias alternativas ao rato como é o caso do teclado e de todos os emuladores dos mesmos.

É igualmente interessante analisar a distribuição das cláusulas da EN 30 15 49 pelos níveis “A” e “AA” das WCAG 2.1. Embora a Norma Europeia não faça esta distinção, considerando todas as cláusulas por igual, a distribuição pode facilitar quem tem pela frente a tarefa de correção dos problemas encontrados. Diz o W3C que os problemas de nível “A” afetam mais pessoas e que é um bom ponto de partida começar o trabalho de retificação por aí. Assim puxamos para este sumário executivo (ver gráfico abaixo) o Gráfico 13 que nos mostra as cláusulas de nível ‘A’ que foram alvo de análise no presente estudo. Consulte também o Gráfico 14 para as cláusulas de nível ‘AA’.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 32.

O gráfico acima mostra-nos um cenário em que é possível verificar as taxas médias de não conformidade das cláusulas de acessibilidade. As taxas de não conformidade mais elevadas ocupam as posições mais à esquerda no gráfico de barras e é possível percecionar de forma imediata que a não conformidade afeta 30% a 40% do total das cláusulas aplicáveis. Por oposição percebe-se que 60% a 70% das cláusulas estão conformes ou não se aplicam. Este tipo de dados revela com maior clareza o trabalho que é necessário empreender. Os dados recolhidos pelo validador de acessibilidade Web AccessMonitor também nos deixaram uma pista positiva, ao ter encontrado 78% dos sítios com um índice AccessMonitor superior a 5 (isto numa escala de 0 a 10, em que 10 corresponde a boas práticas de acessibilidade).

Resultados semelhantes foram observados nas 24 aplicações móveis. Problemas com:

• 11.1.4.4 Redimensionar texto - 16 aplicações (100%)
• 11.1.3.4 Orientação - 15 aplicações (93.75%)
• 11.2.4.4 Finalidade da hiperligação (em contexto) - 14 aplicações (87.5%)
• 11.4.1.2 Nome, função, valor - 14 aplicações (87.5%)
• 11.1.3.1 Informações e relações - 13 aplicações (81.25%)

Mais uma vez estamos a falar de cláusulas que estão por detrás do princípio “Percetível” (3 cláusulas), Robusto (1) e Operável (1).

Declarações de Acessibilidade

Nos 281 sítios Web analisados, foram encontradas declarações de acessibilidade em 13, o que corresponde a 4.6% da amostra. No entanto, foram identificados 29 outros sítios web com uma página relativa à acessibilidade, mas que não correspondia a uma declaração construída de acordo com o modelo proposto no Decreto-lei n.º 83/2018. Se as entidades a quem pertencem estes sítios Web corrigirem as suas declarações, passaremos a ter, no curto prazo, 15% de sítios Web com Declaração de Acessibilidade.

Parte I – Descrição das atividades de monitorização

Informações gerais

As atividades de monitorização decorreram no período que mediou de outubro de 2021 a março de 2022, de acordo com a seguinte distribuição:

• Monitorização simplificada de sítios Web
  • Definição da amostra: outubro e novembro de 2021
  • Recolha da amostra: dezembro de 2021
  • Avaliação da amostra: janeiro de 2022
• Monitorização aprofundada de sítios Web
  • Definição da amostra: fevereiro de 2022
  • Avaliação da amostra: fevereiro e março de 2022
• Monitorização aprofundada de aplicações móveis
  • Definição da amostra: outubro e novembro de 2021
  • Avaliação da amostra: fevereiro e março de 2022
• Avaliação de sítios web e aplicações móveis através de testes com utilizadores com deficiência: março de 2022

A monitorização é da responsabilidade da Agência para a Modernização Administrativa, I.P. (AMA). Para a realização das atividades de monitorização e para a elaboração deste relatório, a AMA contratou os serviços da FCIÊNCIAS.ID - Associação para a Investigação e Desenvolvimento de Ciências.

A amostra de sítios web foi fornecida pela AMA, sendo composta por um total de 281 sítios web. O número de sítios web na amostra resulta da dimensão mínima estabelecida no ponto 2.1 do anexo I da Decisão de Execução (UE) 2018/1524, sendo o valor equivalente a dois sítios por 100,000 habitantes mais 75 sítios. Atendendo a que a população residente em Portugal em 2020 é de 10,298,252 habitantes (de acordo com as estatísticas do INE) o número mínimo é de 281 sítios. A amostra inicial foi analisada para garantir que os sítios incluídos estavam acessíveis às atividades de monitorização e que correspondiam efetivamente a domínios diferentes (i.e., que não redirecionavam para outros domínios na amostra). Após alguns ajustes, a amostra final é a apresentada em anexo na Tabela 45.

Composição da amostra

A amostra é composta por um total de 281 sítios web e 16 aplicações móveis. A amostra inclui sítios Web de diferentes níveis de administração como se pode ver na Tabela 01.

Tentou-se também garantir que os sítios web representassem os diferentes serviços prestados pelos organismos do sector público. A distribuição de sítios web por tipo de serviço, apresentada na Tabela 02, ilustra a diversidade de serviços que foram considerados na amostra.

Amostra de sítios Web para o método de monitorização simplificada

A totalidade dos 281 sítios web foi inicialmente considerada para o método de monitorização simplificada. Para este período de monitorização foi decidido construir duas amostras de páginas para a monitorização simplificada:

• Amostra "Home+” – Esta amostra é composta, para cada sítio web, pela página inicial do sítio mais todas as páginas, pertencentes ao domínio, hiperligadas à página inicial.
• Amostra “2K” – Esta amostra é composta, para cada sítio web, pelas primeiras duas mil páginas do sítio, obtidas através de busca em largura a começar na página inicial. Se o sítio tiver menos de duas mil páginas, então todas as páginas do sítio constam da amostra.

A Tabela 03 apresenta estatísticas descritivas da amostra de páginas. Analisando a amostra é possível perceber que, em média, os sítios amostrados têm 79 páginas ligadas a partir da página inicial e que, em média, cada sítio tem mais de mil páginas. Este valor será, na realidade, maior visto que limitámos a recolha a duas mil páginas por sítio, tendo 63 sítios atingido este limite. Isto significa também que em 78% (218/281 sítios) dos sítios Web da amostra se está a trabalhar com o universo total das páginas. A Tabela 03 apresenta ainda estatísticas associadas à dimensão das páginas. Para cada página contou-se o número de elementos HTML e, com base neste número, identificaram-se os sítios com pelo menos 10 páginas que tivessem pelo menos 100 elementos HTML cada. Como resultado desta análise percebeu-se que, na amostra Home+, 15% dos sítios web não atingiam este limite. Com a amostra 2K, a percentagem de sítios web que não atinge este limite é de 9%.

Amostra de sítios Web para o método de monitorização aprofundada

A amostra de sítios web levou em consideração os resultados da monitorização simplificada, sendo composta a partir dos seguintes critérios:

• 5 sítios web apresentando os melhores resultados na monitorização simplificada;
• 5 sítios web apresentando os piores resultados na monitorização simplificada;
• 4 sítios web que exigem autenticação para aceder a uma parte significativa do seu conteúdo, e;
• 10 sítios web do conjunto de sítios que na monitorização simplificada foram classificados como tendo menos de 10 páginas com 100 ou mais elementos HTML.

A amostra final de sítios web para monitorização aprofundada é apresentada em anexo na Tabela 46.

Amostra de aplicações móveis para o método de monitorização aprofundada

As aplicações móveis incluídas na amostra foram indicadas pela AMA, tendo sido escolhidas as aplicações de topo da lista de aplicações da administração pública disponível em https://www.app.gov.pt. As aplicações iOS e Android da mesma entidade foram consideradas individualmente nesta análise, tendo sido analisadas as duas versões de 8 aplicações, totalizando 16 aplicações móveis.

A amostra final de aplicações móveis para monitorização aprofundada é apresentada em anexo na Tabela 47.

Correlação com as normas, as especificações técnicas e as ferramentas utilizadas para monitorização

Metodologia aplicada na monitorização simplificada de sítios Web

As páginas das amostras dos 281 sítios web foram obtidas através do mecanismo de web crawling. De modo a garantir a melhor cobertura possível, foram usadas duas ferramentas para este efeito:

• QualWeb Crawler foi usado como o principal mecanismo para obtenção das páginas, tendo como vantagem poder processar páginas que utilizem JavaScript, e;
• simplecrawler foi usado como mecanismo secundário, tendo a vantagem de conseguir procurar em subdomínios.

Para a avaliação da acessibilidade de cada página da amostra consideraram-se testes de duas ferramentas automáticas de avaliação de acessibilidade:

• AccessMonitor - Com esta ferramenta validou-se a conformidade com 37 testes baseados em diferentes técnicas suficientes e aconselhadas das Web Content Accessibility Guidelines (WCAG).
• QualWeb - Com esta ferramenta validou-se a conformidade com 54 regras ACT. As regras ACT são uma interpretação objetiva das WCAG, obtidas através de um processo de harmonização conduzido de forma a garantir a participação da comunidade de testers de acessibilidade.

As cláusulas da EN 301 549 testadas pelo AccessMonitor são apresentadas na Tabela 04, juntamente com os correspondentes critérios de sucesso das WCAG.

A Tabela 05 apresenta as cláusulas da EN 301 549, bem como os correspondentes critérios de sucesso, testadas pelo QualWeb através de regras ACT.

Da conjugação das cláusulas testadas pelo AccessMonitor e pelo QualWeb referenciadas respetivamente na Tabela 04 e Tabela 05 constata-se que a taxa de cobertura das 2 ferramentas face ao total das cláusulas constantes do capítulo 9 da Norma Europeia é de 65%. Das que foram testadas, 75% já usaram regras harmonizadas ACT (Accessibility Conformance Testing).

O processo de avaliação consistiu na recolha das avaliações do QualWeb seguido do cálculo dos resultados do AccessMonitor a partir dos resultados do QualWeb. Desta forma garante-se que os resultados apresentados pelas duas ferramentas dizem respeito ao mesmo código fonte.

Durante o processo de avaliação houve várias ocorrências de páginas que não respondiam aos pedidos do avaliador. Foram realizadas múltiplas tentativas para obter resposta, separadas de pelo menos dois dias entre elas. Ainda assim, não foi possível avaliar um total de 27,022 páginas, o que corresponde a 9.6% das páginas na amostra. De notar que, como resultado dos problemas com as avaliações, não foi possível avaliar nenhuma página de três sítios da amostra Home+, bem como nenhuma página de dois sítios Web da amostra 2K.

Metodologia aplicada na monitorização aprofundada de sítios Web

Foi aplicada a metodologia de testes para avaliações manuais Trusted Tester. Esta metodologia baseia-se nas Diretrizes de Acessibilidade para Conteúdo Web (WCAG) 2.0. Considerando que esta análise segue a norma EN 301 549, baseado nas WCAG 2.1, novos testes foram adicionados aos testes originalmente incluídos na metodologia Trusted Tester, compreendendo os Critérios de Sucesso WCAG não abrangidos. Os testes adicionados basearam-se nas técnicas suficientes fornecidas nas WCAG 2.1 e são apresentados na Tabela 48 nos anexos. Para suportar os testes realizados foram usadas três ferramentas auxiliares:

• ANDI (Accessible Name & Description Inspector);
• Color Contrast Analyzer (CCA), e;
• Marcador para teste de espaçamento de texto (Bookmarklet for testing Text Spacing).

Na Tabela 06 apresentam-se as cláusulas da norma EN 301 549 que foram consideradas nesta avaliação, conjuntamente com os critérios de sucesso WCAG correspondentes.

Para cada sítio web incluído na amostra, foi estabelecido um conjunto de páginas a serem incluídas em cada avaliação, de acordo com o definido na Decisão de Execução (UE) 2018/1524 da Comissão de 11 de outubro de 2018. Esta amostra representativa considera as seguintes páginas:

• Página inicial;
• Página de autenticação;
• Mapa do sítio;
• Contactos;
• Ajuda;
• Advertência jurídica;
• Pelo menos uma página por cada tipo de serviço fornecido pelo sítio web;
• Outras utilizações primárias previstas, incluindo a pesquisa;
• Declaração de acessibilidade;
• Páginas para retorno sobre a declaração;
• Páginas com aparência substancialmente distinta ou com conteúdo diferente;
• Documento descarregável pertinente para cada tipo de serviço;
• Qualquer página considerada pertinente;
• Todas as páginas pertencentes a um mesmo processo, e;
• Páginas escolhidas de maneira aleatória, correspondendo a 10% do total de páginas previamente selecionadas.

Cada página incluída na amostra representativa de cada sítio web foi avaliada segundo os critérios de sucesso das WCAG 2.1 AA. Para cada página, um dos seguintes resultados foi fornecido:

• Em conformidade – A página passa em todos os testes estabelecidos para o critério de sucesso correspondente.
• Violação – A página não passa em um ou mais testes estabelecidos para o critério de sucesso correspondente.
• Não aplicável – A página não possui o elemento ou os elementos abrangidos pelo critério de sucesso correspondente.

A recolha de dados foi suportada pela ferramenta WCAG-EM Report Tool. Ao fim da avaliação de cada sítio web, o relatório gerado foi registado para futura análise.

Os resultados da monitorização aprofundada de sítios Web foram complementados com a realização de testes de usabilidade com pessoas com deficiência.

Para estes testes foram recrutados 6 participantes, dois com deficiência visual, dois com deficiência motora e dois com deficiência auditiva. Todos os participantes foram recrutados através de contactos com instituições locais. Na Tabela 07 e Tabela 08 podemos observar que todos são utilizadores de computadores há mais de cinco anos, e que se autoavaliam com diferentes níveis de expertise no uso de computadores (entre 1 e 5, onde 1 representa principiante e 5 especialista). Todas as sessões foram conduzidas remotamente usando a ferramenta Zoom e a partilha de ecrã. Cada sessão demorou cerca de 45min. Cada sessão começou com uma breve introdução ao estudo, seguido por um questionário demográfico com perguntas relacionadas com o uso e experiência com computadores. Cada participante foi instruído para executar uma tarefa de cada vez, podendo pedir a qualquer momento ao avaliador para repetir a tarefa. Foi pedido aos participantes para pensarem em voz alta (think aloud) enquanto realizavam a tarefa. O avaliador presente tirou notas enquanto observava as interações dos participantes com os sítios Web. Quando um participante ficava preso num passo da tarefa, o avaliador ajudava a ultrapassar o problema para o participante poder explorar o restante da tarefa. No final de cada duas tarefas com cada um dos sítios Web era executada uma entrevista semiestruturada com três perguntas iniciais focadas na experiência com o sítio Web, na sua acessibilidade, e finalmente no que poderia ser melhorado. Os participantes foram recompensados pela sua contribuição com um cartão presente no valor de 20€.

Para estes testes, foram considerados os 5 sítios Web com maiores taxas de falha na metodologia aprofundada, de acordo com a declaração de desempenho funcional para cada grupo de utilizadores recrutados. Alguns sítios Web obtiveram a mesma taxa de falha na respetiva declaração de desempenho funcional. Nestes casos, foram considerados os sítios web com maior taxa de falha considerando todas as cláusulas. Esta amostra contou com 5 sítios web, e, para cada um deles, foram definidas 2 tarefas considerando o uso primário ou funcionalidades essenciais de cada um. As tarefas foram distribuídas em dois grupos, com esforço equivalente. Cada tarefa foi realizada por um participante de cada grupo de utilizadores recrutados.

Metodologia aplicada na monitorização aprofundada de aplicações móveis

As versões iOS e Android da mesma aplicação foram consideradas individualmente nesta análise. As aplicações foram instaladas diretamente das respetivas App Stores e foram usadas contas standard de utilizador para a sua avaliação. Selecionámos um conjunto de ecrãs para avaliar em cada aplicação seguindo a metodologia definida no ponto 2 e 3 do anexo I da DECISÃO DE EXECUÇÃO (UE) 2018/1524 DA COMISSÃO de 11 de outubro de 2018. Esta amostra representativa considera os seguintes ecrãs:

• Home page (primeiro ecrã de cada aplicação)
• Ecrã Login
• Sitemap
• Contactos
• Ajuda
• Advertência jurídica
• Pelo menos um ecrã por cada tipo de serviço
• Outras utilizações primárias previstas, incluindo a pesquisa
• Declaração de acessibilidade
• Ecrãs para retorno sobre a declaração
• Ecrãs com aparência substancialmente distinta ou com conteúdo diferente
• Documento descarregável pertinente para cada tipo de serviço
• Qualquer outro ecrã considerado pertinente
• Total acima + 10% escolhidos aleatoriamente
• Se qualquer dos ecrãs selecionados forem etapas de processo, incluir os outros ecrãs do processo

Na análise dos ecrãs, os componentes de interfaces móveis como App Drawers que estão presentes em múltiplos ecrãs, foram considerados como sendo parte de todos os ecrãs onde estão presentes.

Para apoio à avaliação manual das aplicações móveis usaram-se as seguintes ferramentas e dispositivos:

• Talkback e VoiceOver, os leitores de ecrã disponíveis de raiz nos sistemas operativos Android e iOS, respetivamente;
• Teclado Bluetooth;
• Accessibility Scanner – aplicação que permite análise semi-automática de contraste;
• Colour Contrast Analyser – aplicação que permite determinar o contraste entre duas cores.

A recolha de dados das avaliações foi suportada pela ferramenta WCAG-EM Report Tool.

A metodologia de testes para avaliações manuais foi baseada na metodologia Trusted Tester. Esta metodologia baseia-se nas Diretrizes de Acessibilidade para Conteúdo Web (WCAG) 2.0. Considerando que esta análise segue o padrão EN 301 549, baseado nas WCAG 2.1, novos testes foram adicionados aos testes originalmente incluídos na metodologia Trusted Tester, compreendendo os Critérios de Sucesso não abrangidos. Os testes adicionados basearam-se nas técnicas suficientes fornecidas nas WCAG 2.1. Todos os testes possíveis de executar ou adaptações dos mesmos foram realizados em todas as aplicações. Os critérios de sucesso considerados nesta avaliação correspondem ao nível de conformidade AA das WCAG 2.1, conforme estabelecido no padrão EN 301 594, e são apresentados na Tabela 09. Os critérios marcados como ‘parcialmente’ devem-se a não ter sido possível aplicar o teste a uma ou mais aplicações. No caso concreto da cláusula ‘10.1.4.10 Realinhar’, o critério não foi possível de avaliar em iOS (por não existir funcionalidade equivalente) sendo apenas avaliado em Android. As cláusulas ‘10.1.4.3 Contraste (mínimo)’ e ‘10.1.4.11 Contraste não textual’ não foram avaliados em 3 aplicações Android por a funcionalidade de captura de ecrã se encontrar bloqueada nas mesmas o que impede a realização de testes de contraste.

No fim da avaliação de cada aplicação, um relatório foi registado para futura análise. Após a condução das avaliações, procedeu-se à análise dos resultados obtidos, considerando as cláusulas que são verificadas ou violadas.

Após finalizar a avaliação pericial de todas as aplicações Android, as duas menos conformes foram selecionadas para conduzir um estudo com utilizadores.

Foram recrutados quatro participantes, dois com deficiência visual e utilizadores de leitor de ecrã, um utilizador com deficiência motora e um utilizador surdo. Nas Tabela 10 e Tabela 11 podemos observar que todos são utilizadores de dispositivos móveis há mais de três anos, e que se autoavaliam com diferentes níveis de expertise no uso de smartphone (entre 1 e 5, onde 1 representa principiante e 5 especialista). Dois tinham experiência prévia com uma das aplicações e um tinha tentado no passado, sem sucesso, usar a segunda. Os participantes foram recrutados por contactos com instituições locais. A sessão com o participante P3 foi conduzida presencialmente, enquanto, que com os participantes P1, P2 e P4, a sessão foi remota usando o Zoom e a partilha de ecrã. As sessões duraram cerca de 45min. Cada sessão começava com um breve questionário demográfico com perguntas relacionadas com o uso e a experiência com smartphones. De seguida os participantes instalavam as duas aplicações selecionadas para o estudo, caso não as tivessem no seu dispositivo. Cada participante foi instruído para executar uma tarefa de cada vez, podendo pedir a qualquer momento ao avaliador para repetir a tarefa. Foi pedido aos participantes para pensarem em voz alta (think aloud) enquanto realizavam a tarefa. O avaliador presente tirou notas enquanto observava as interações dos participantes com os seus dispositivos. Quando um participante ficava preso num passo da tarefa, o avaliador ajudava a ultrapassar o problema para o participante poder explorar o restante da tarefa. No final de cada duas tarefas com cada uma das aplicações era pedida autorização para gravar áudio, e era executada uma entrevista semiestruturada com três perguntas iniciais focadas na experiência com a aplicação: 1) “Como foi a sua experiência com esta aplicação?”; 2) “Qual a sua opinião sobre a acessibilidade desta aplicação?”; e 3) “O que pode ser melhorado?” Os participantes foram recompensados pela sua contribuição com um cartão presente no valor de 20€.

Segundo a Statcounter Global, em Portugal a percentagem de utilizadores de Android é de 72%, contra 27% de iOS. Sendo Android o sistema operativo mais popular (por mais do dobro) em Portugal, as avaliações com utilizadores foram conduzidas sobre as aplicações Android. É de salientar que não foram impostas restrições no recrutamento e que todos os utilizadores contactados para participar no estudo revelaram ser utilizadores Android.

Foram selecionadas as aplicações Android com menor conformidade. No entanto é de salientar que duas outras, se selecionadas, teriam sido inacessíveis a utilizadores de leitor de ecrã visto que não é possível interagir com os elementos necessários à navegação usando um leitor de ecrã. Nas aplicações selecionadas foram criadas duas tarefas típicas para os objetivos inerentes às mesmas.

Parte II – Resultados da monitorização

Resultados pormenorizados

Monitorização simplificada de sítios web

No total foram analisados 281 sítios web, dos quais se obtiveram 281,706 páginas. Deste total, conseguiu-se avaliar 254,684 páginas, o que corresponde a 90.4% da amostra. Pode ainda destacar-se que em seis sítios web só se conseguiu obter uma página.

Análise da amostra Home+

Na amostra Home+, dos 281 sítios web, recolheram-se 22,489 páginas, correspondendo a uma média de 80 páginas por sítio web. No Gráfico 7 é possível visualizar a distribuição do número de páginas por sítio web, sendo percetível que, para esta amostra, a maioria dos sítios web se apresenta com menos de 50 páginas. A moda é mesmo sítios que se apresentam com 25 a 50 páginas. De notar que, atendendo ao método de recolha de páginas da amostra Home+, este número de páginas representa também o número de hiperligações existentes na Homepage para o domínio. O facto de três quartos dos sítios se apresentar com uma quantidade de hiperligações inferior a 100 na Homepage pode ser positivo e benéfico para a acessibilidade do sítio. Pelo contrário, 6.5% dos sítios tem mais de 200 ligações só na Homepage e 1% atinge mesmo um valor superior a 500 hiperligações, o que, por si só, leva a antever uma homepage complexa para navegar.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 12.

A Tabela 12 apresenta detalhes sobre a distribuição de páginas por sítio web nesta amostra.

Dos 281 sítios web, 3 falharam o requisito de ter pelo menos uma página avaliada, e mais 38 falharam o requisito de ter pelo menos 10 páginas avaliadas com 100 ou mais elementos HTML, e por isso não são considerados na análise automática que se segue. Assim, para esta análise são considerados apenas os 240 sítios web com pelo menos 10 páginas avaliadas com 100 ou mais elementos HTML. No total, nesta amostra, foram analisados os resultados das avaliações de 19,931 páginas pertencentes a 240 sítios.

Distribuição das cláusulas EN 301 549 (H+)

Na Tabela 13 é apresentada o número (e percentagem) de sítios web que verificam ou violam cada cláusula, bem como aqueles que necessitam de validação manual ou que não são aplicáveis em nenhuma página do sítio web.

Observando a Tabela 13 podemos concluir que houve uma baixa taxa de conformidade face às cláusulas da EN 301 549.

As cláusulas com maior índice de não conformidade foram:

• 9.4.1.2 Nome, função, valor com 97.9% dos sítios web aplicáveis não conformes;
• 9.1.4.3 Contraste (mínimo) com 92.1% dos sítios web aplicáveis não conformes;
• 9.2.4.4 Finalidade da hiperligação (em contexto) com 89.2% dos sítios web aplicáveis não conformes;
• 9.1.3.1 Informações e relações com 74.6% dos sítios web aplicáveis não conformes;
• 9.1.1.1 Conteúdo não textual com 72.1% dos sítios web aplicáveis não conformes;
• 9.4.1.1 Análise sintática (parsing) com 69.6% dos sítios web aplicáveis não conformes.

Distribuição das Declarações de Desempenho Funcional EN 301 549 (H+)

Foram feitas duas análises em relação a estas declarações:

• A primeira tendo em conta as cláusulas que suportam as declarações de desempenho funcional (relações primárias). Para esta análise, com base nas cláusulas avaliadas, foi possível considerar 8 das 11 declarações de desempenho funcional;
• A segunda tendo em conta todas as cláusulas que suportam, total ou parcialmente, as declarações de desempenho funcional (relações primárias e secundárias). Para esta análise, com base nas cláusulas avaliadas, foi possível considerar 10 das 11 declarações de desempenho funcional.

A Tabela 14 apresenta os resultados obtidos na primeira análise, em que apenas foram tomadas em consideração as cláusulas das relações primárias.

Observando a Tabela 14 podemos concluir que existe um grande índice de não conformidade face às declarações de desempenho funcional, quando avaliadas apenas as cláusulas das relações primárias. A declaração de desempenho funcional com a menor taxa de não conformidade foi:

• Utilização com alcance limitado (LR) com 33.9% de não conformidade dos sítios web aplicáveis.

A Tabela 15 apresenta os resultados obtidos na segunda análise, em que foram tomadas em consideração todas as cláusulas das relações primárias e secundárias.

Observando a Tabela 15 podemos concluir que existe um grande índice de não conformidade face às declarações de desempenho funcional, quando avaliadas todas as cláusulas. A declaração de desempenho funcional com a menor taxa de não conformidade foi:

• Utilização com alcance limitado (LR) com 33.9% de não conformidade dos sítios web aplicáveis.

Distribuição dos testes AccessMonitor e das regras ACT por sítio web (H+)

Na Tabela 16 são apresentadas as boas e as más práticas de acessibilidade web identificadas pelo AccessMonitor nos sítios web.

A boa prática mais frequente nos sítios web é “Encontrei um título na página e ele parece-me correto”, aplicada em 99.6% dos sítios web. A boa prática menos frequente é “Localizei nos metadados da página X elementos <link> que poderão servir para construir um sistema de navegação”, aplicada em apenas 0.4% dos sítios web.

A má prática mais frequente nos sítios web é “Localizei X combinações de cor cuja relação de contraste é inferior ao mínimo rácio de contraste permitido pelas WCAG, ou seja 3 para 1 para texto com letra grande e 4,5 para 1 para texto com letra normal”, verificada em 92.1% dos sítios web. A má prática menos frequente nos sítios web é “Encontrei X abreviaturas em que se esqueceu de colocar a extensão”, verificada em 0.4% dos sítios web.

Na Tabela 17 é apresentado o número de sítios web em que cada regra ACT testada passa, falha ou requer validação manual pelo menos uma vez. Pela análise da Tabela 17 podemos verificar que 33 regras ACT passaram pelo menos uma vez e 27 regras ACT falharam pelo menos uma vez, em toda a amostra Home+. Encontraram-se seis regras ACT que falham em mais sítios web do que aqueles em que passam:

• Link has non-empty accessible name
• ARIA required context role
• ARIA required owned elements
• Object element rendering non-text content has non-empty accessible name
• iframe with negative tabindex has no interactive elements
• First focusable element is link to non-repeated content

Se não considerarmos a regra “First focusable element is link to non-repeated content” devido a esta apenas conseguir detetar automaticamente casos em que a regra não é cumprida, sem conseguir detetar automaticamente casos em que é, podemos verificar que estamos na presença de quatro tipos de problemas: falta de nomes acessíveis em elementos HTML, utilização incorreta de ARIA, atribuição incorreta de foco a , e utilização de cores com contraste insuficiente.

Algumas das regras apresentam um zero em todas os colunas. Isso significa que não foi encontrada nenhuma página na amostra em que a regra fosse aplicável.

Distribuição dos testes AccessMonitor e das regras ACT por página web (H+)

Na Tabela 18 é apresentado o número de páginas em que cada teste do AccessMonitor é verdadeiro, bem como o tipo de prática que o teste valida. Pela análise da Tabela 18 podemos verificar que todas as boas práticas e todas as más práticas foram detetadas em pelo menos uma página. Das 11 boas práticas analisadas, todas ocorrem em pelo menos 6 páginas. Das 28 más práticas, todas ocorrem em mais do que uma página. A média de páginas que seguem cada boa prática é de 45%, enquanto a média de páginas que aplicam cada má prática é de 18%.

A boa prática aplicada por mais páginas é “Encontrei um título na página e ele parece-me correto”, aplicada em 99.1% das páginas. A boa prática menos aplicada é “Localizei nos metadados da página X elementos que poderão servir para construir um sistema de navegação”, aplicada em apenas 0.03% das páginas. As boas práticas nestas condições são as mesmas que foram localizadas na análise por sítio web.

A má prática aplicada em mais páginas é “Constatei que a primeira hiperligação da página não permite saltar diretamente para a área do conteúdo principal”, verificada em 70% das páginas. As más práticas aplicadas em menos páginas são “Encontrei X abreviaturas em que se esqueceu de colocar a extensão” e “Verifiquei que esta página não tem título - falta-lhe o elemento <title>", verificadas em 0.01% das páginas. As más práticas nestas condições variam relativamente ao que foi encontrado na análise por sítio web.

Na Tabela 19 é apresentado o número de páginas que passam, falham e que requerem validação manual por regra ACT testada. Pela análise da Tabela 19 podemos verificar que, há semelhança do que acontece com os sítios web, 33 regras ACT passaram pelo menos uma vez e 27 regras ACT falharam pelo menos uma vez. Também nesta análise encontraram-se seis regras ACT que falham em mais páginas do que aquelas em que passam. No entanto, as seis regras não são as mesmas:

• Link has non-empty accessible name
• Visible label is part of accessible name
• headers attribute specified on a cell refers to cells in the same table element
• Object element rendering non-text content has non-empty accessible name
• Menuitem has non-empty accessible name
• First focusable element is link to non-repeated content

Continuando a não considerar a regra “First focusable element is link to non-repeated content” devido às razões apresentadas anteriormente, podemos verificar que estamos na presença de três tipos de problemas: falta de nomes acessíveis em elementos HTML, utilização incorreta do atributo headers em tabelas, e utilização de cores com contraste insuficiente.

Distribuição de pontuações AccessMonitor (H+)

No Gráfico 8 é apresentado a distribuição das pontuações dos 240 sítios web. A partir do gráfico podemos observar que o intervalo de pontuações de 5 a 6 (inclusive) contém a maior concentração de sítios web. Adicionalmente, apenas 1 sítio web, correspondente a 0.42% da amostra, tem uma pontuação de 10.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 20.

Na Tabela 20 é apresentada a distribuição das pontuações dos 240 sítios web. A partir da tabela podemos observar que o percentil 50% se encontra no intervalo de pontuações de 5 a 6 (inclusive).

No Gráfico 9 é apresentado a distribuição das pontuações das 19,931 páginas avaliadas dos 240 sítios web. A partir do gráfico podemos observar que o intervalo de pontuações de 6 a 7 (inclusive) contém a maior concentração de páginas. Adicionalmente, apenas 41 páginas, correspondentes a 0.2% da amostra, têm uma pontuação de 10.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 21.

Na Tabela 21 é apresentada a distribuição das pontuações das 19,931 páginas dos 240 sítios web. A partir da tabela podemos observar que o percentil 50% se encontra no intervalo de pontuações de 5 a 6 (inclusive) apesar da moda ser o intervalo de 6 a 7 (inclusive) com 31.3% das páginas.

Análise da amostra 2K

Na amostra 2K, dos 281 sítios web, recolheram-se 281,706 páginas, correspondendo a uma média de 1003 páginas por sítio web. No Gráfico 10 é possível visualizar a distribuição do número de páginas por sítio web. 30% dos sítios tem mais de 1750 páginas. No extremo oposto 33% tem menos de 250 páginas.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 22.

A Tabela 22 apresenta detalhes sobre a distribuição do número de páginas por sítio web nesta amostra.

Dos 281 sítios web, 2 falharam o requisito de ter pelo menos uma página avaliada, e 24 falharam o requisito de ter pelo menos 10 páginas avaliadas com 100 ou mais elementos, e por isso não são considerados na análise que se segue. Assim, para esta análise são considerados apenas os 255 sítios web com pelo menos 10 páginas avaliadas com 100 ou mais elementos HTML. No total, nesta amostra, foram avaliadas 223,331 páginas.

Distribuição das cláusulas EN 301 549 (2K)

Na Tabela 23 é apresentado o número (e percentagem) de sítios web que verificam ou violam cada cláusula da EN 301 549, bem como aqueles que necessitam de validação manual ou que não são aplicáveis em nenhuma página do sítio web.

Observando a Tabela 23 podemos concluir que houve uma baixa taxa de conformidade face às cláusulas testadas.

As cláusulas com maior índice de não conformidade foram:

• 9.4.1.2 Nome, função, valor com uma taxa de falha de 99.2% face aos sítios web aplicáveis;
• 9.2.4.4 Finalidade da hiperligação (em contexto) com uma taxa de falha de 95.3% face aos sítios web aplicáveis;
• 9.1.4.3 Contraste (mínimo) com uma taxa de falha de 94.9% face aos sítios web aplicáveis;
• 9.1.3.1 Informações e relações com uma taxa de falha de 84.3% face aos sítios web aplicáveis;
• 9.1.1.1 Conteúdo não textual com uma taxa de falha de 82% face aos sítios web aplicáveis;
• 9.4.1.1 Análise sintática (parsing) com uma taxa de falha de 79.2% face aos sítios web aplicáveis;

Distribuição das Declarações de Desempenho Funcional EN 301 549 (2K)

Foram feitas duas análises em relação a estas declarações:

• A primeira tendo em conta as cláusulas que suportam as declarações de desempenho funcional (relações primárias). Para esta análise, com base nas cláusulas avaliadas, foi possível considerar 9 das 11 declarações de desempenho funcional;
• A segunda tendo em conta todas as cláusulas que suportam, total ou parcialmente, as declarações de desempenho funcional (relações primárias e secundárias). Para esta análise, com base nas cláusulas avaliadas, foi possível considerar 10 das 11 declarações de desempenho funcional.

A Tabela 24 apresenta os resultados obtidos na primeira análise, em que apenas foram tomadas em consideração as cláusulas das relações primárias.

Observando a Tabela 24 podemos concluir que existe uma grande taxa de falha face às declarações de desempenho funcional, quando avaliadas apenas as cláusulas das relações primárias. A declaração de desempenho funcional com menor taxa de não conformidade foi:

• Utilização com alcance limitado (LR) com 34.9% de não conformidade dos sítios web aplicáveis.

A Tabela 25 apresenta os resultados obtidos na segunda análise, em que foram tomadas em consideração todas as cláusulas das relações primárias e secundárias.

Observando a Tabela 25 podemos concluir que existe um grande índice de não conformidade face às declarações de desempenho funcional, quando avaliadas todas as cláusulas da EN 301 549. A declaração de desempenho funcional com menor taxa de não conformidade foi:

• Utilização com alcance limitado (LR) com 34.9% de não conformidade dos sítios web aplicáveis.

Distribuição dos testes AccessMonitor e das regras ACT por sítio web (2K)

Na Tabela 26 é apresentado o número de sítios web em que cada teste do AccessMonitor é verificado, bem como o tipo de prática (boa ou má prática) que o teste valida. Pela análise da Tabela 26 podemos verificar que das 12 boas práticas analisadas, duas são verificadas em apenas um sítio web (“Identifiquei X casos em que se faz uso de manipuladores de eventos redundantes” e “Localizei nos metadados da página X elementos que poderão servir para construir um sistema de navegação”). Por outro lado, das 28 más práticas, todas ocorrem em mais do que um sítio web. A média de sítios web que seguem cada boa prática é de 56%, enquanto a média de sítios web que aplicam cada má prática é de 46%.

Na Tabela 27 é apresentado o número de sítios web em que cada regra ACT testada passa, falha ou requer validação manual pelo menos uma vez. Pela análise desta tabela podemos verificar que 33 regras ACT passaram pelo menos uma vez e 28 regras ACT falharam pelo menos uma vez, em toda a amostra 2K. Encontraram-se seis regras ACT que falham em mais sítios web do que aqueles em que passam, sendo estas as mesmas 6 regras em que isto se verificou na amostra Home+:

• Link has non-empty accessible name
• ARIA required context role
• ARIA required owned elements
• Object element rendering non-text content has non-empty accessible name
• iframe with negative tabindex has no interactive elements
• First focusable element is link to non-repeated content

Se não considerarmos a regra “First focusable element is link to non-repeated content” devido às razões apresentadas anteriormente, podemos constatar os mesmos quatro tipos de problemas: falta de nomes acessíveis em elementos HTML, utilização incorreta de ARIA, atribuição incorreta de foco a iframes, e utilização de cores com contraste insuficiente.

Algumas das regras apresentam um zero em todas os colunas. Isso significa que não foi encontrada nenhuma página na amostra em que a regra fosse aplicável.

Distribuição dos testes AccessMonitor e das regras ACT por página web (2K)

Na Tabela 28 é apresentado o número de páginas em que cada teste do AccessMonitor é verificado, bem como o tipo de prática que o teste valida. Pela análise da tabela podemos verificar que todas as boas práticas e todas as más práticas foram detetadas em pelo menos uma página. Das 11 boas práticas analisadas, todos são verificadas em pelo menos 5 páginas. Das 28 más práticas todas ocorrem em pelo menos 30 páginas. A média de páginas que seguem cada boa prática é de 44%, enquanto a média de páginas que aplicam cada má prática é de 18%.

A boa prática aplicada por mais páginas é “Encontrei um título na página e ele parece-me correto”, aplicada em 99.3% das páginas. A boa prática menos aplicada é “Identifiquei X casos em que se faz uso de manipuladores de eventos redundantes”, aplicada em apenas 5 páginas.

A má prática aplicada em mais páginas é “Localizei X combinações de cor cuja relação de contraste é inferior ao mínimo rácio de contraste permitido pelas WCAG, ou seja 3 para 1 para texto com letra grande e 4,5 para 1 para texto com letra normal.”, verificada em 72% das páginas. A má prática encontrada em menos páginas é “Encontrei X abreviaturas em que se esqueceu de colocar a extensão”, verificada em 0.01% das páginas.

Na Tabela 29 é apresentado o número de páginas que passam, falham e que requerem validação manual por regra ACT testada. Pela análise da tabela podemos verificar que 33 regras ACT passaram pelo menos uma vez e 28 regras ACT falharam pelo menos uma vez. Encontraram-se cinco regras ACT que falham em mais páginas do que aqueles em que passam:

• Link has non-empty accessible name
• Visible label is part of accessible name
• Object element rendering non-text content has non-empty accessible name
• iframe with negative tabindex has no interactive elements
• First focusable element is link to non-repeated content

Continuando a não considerar a regra “First focusable element is link to non-repeated content” devido às razões apresentadas anteriormente, podemos verificar que estamos na presença de três tipos de problemas: falta de nomes acessíveis em elementos HTML, atribuição incorreta de foco a iframes, e utilização de cores com contraste insuficiente.

Distribuição de pontuações AccessMonitor (2K)

No Gráfico 11 é apresentado a distribuição do índice AccessMonitor nos 255 sítios web da amostra 2k. A partir do gráfico podemos observar que o intervalo de pontuações ]5,6] contém a maior concentração de sítios (30%). É de salientar também que 78% dos sítios web tem um índice AccessMonitor superior a 5 – isto numa escala de 1 a 10. Dos dados recolhidos podemos ainda constatar que dos 8 sítios que se encontram no intervalo de pontuação ]9,10] há apenas 1 sítio com pontuação 10.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 30.

Na Tabela 30 é apresentada a distribuição das pontuações dos 255 sítios web. A partir da tabela podemos observar que o percentil 50% se encontra no intervalo de pontuações de 5 a 6 (inclusive).

No Gráfico 12 é apresentado a distribuição das pontuações das 223,331 páginas avaliadas dos 255 sítios web. A partir do gráfico podemos observar que o intervalo de pontuações de 5 a 6 (inclusive) contém a maior concentração de páginas. Adicionalmente, apenas 44 páginas, correspondentes a 0.0018% da amostra, têm uma pontuação de 10.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 31.

Na Tabela 31 é apresentada a distribuição das pontuações das 223,331 páginas dos 255 sítios web. A partir da tabela podemos observar que o percentil 50% se encontra no intervalo de de pontuações de 5 a 6 (inclusive).

| Intervalo de pontuações | Frequência (nº de páginas) | Frequência acumulada | Frequência (%) | Frequência acumulada (%) | | :--- | :---: | :---: | ---: | ---: | | [1,2] | 0 | 0 | 0,0% | 0,0% | | ]2,3] | 4845 | 4845 | 2.2% | 2.2% | | ]3,4] | 1592 | 6437 | 0.7% | 2.9% | | ]4,5] | 36502 | 42939 | 16.3% | 19.2% | | ]5,6] | 75878 | 118817 | 34,0% | 53.2% | | ]6,7] | 62803 | 181620 | 28.1% | 81.3% | | ]7,8] | 23796 | 205416 | 10.7% | 92,0% | | ]8,9] | 9932 | 215348 | 4.4% | 96.4% | | ]9,10] | 7983 | 223331 | 3.6% | 100,0% | [Tabela 31 – Distribuição pontuações AccessMonitor por página (amostra 2K)] [Tabela 31 – Distribuição pontuações AccessMonitor por página (amostra 2K)]

Análise dos resultados da monitorização simplificada de sítios web

O método de monitorização simplificada permitiu identificar os incumprimentos mais frequentes das cláusulas da EN 301 549 que é possível avaliar com as ferramentas automatizadas que foram usadas. Dos incumprimentos destacam-se:

• As duas cláusulas associadas ao princípio WCAG “Robusto” estão em ambas as listas de maior taxa de não conformidade para as duas amostras. Isto é representativo do estado da web em que os conteúdos não são construídos levando em conta as necessidades das tecnologias de apoio. Esta situação impede que estas tecnologias possam comunicar corretamente aos seus utilizadores o conteúdo das páginas que pretendem consultar. Problemas relativos à comunicação do nome acessível ou do role de elementos acontecem em mais de 95% dos sítios web analisados. Problemas associados à utilização correta dos elementos HTML acontecem em pelo menos 70% dos sítios web da amostra.
• Os criadores de conteúdo continuam a não criar ligações com uma descrição que permita aos utilizadores compreender o propósito da ligação. Páginas com múltiplas ligações com o mesmo texto (tipicamente uma variação de “Ler mais” ou de “Clique aqui”) existem em mais de 95% dos sítios web analisados e são problemáticas para utilizadores que navegam nas páginas recorrendo às ligações que nelas existem.
• Os sítios web continuam a não respeitar os rácios mínimos de contraste que asseguram a capacidade de leitura do texto apresentado nas suas páginas. Este problema verificou-se em mais de 90% dos sítios web.
• Verificou-se a inexistência de descrições alternativas para conteúdo não textual, maioritariamente imagens, em mais de 80% dos sítios web analisados. Esta má prática, impede os utilizadores que não conseguem ver as imagens de poder utilizar o sítio web em toda a sua plenitude.
• O incumprimento da cláusula “9.1.3.1 Informações e relações” por mais de 80% dos sítios web é revelador de vários tipos de problemas que impedem os utilizadores de tecnologias de apoio de ter uma perceção correta do conteúdo e estrutura da página. Exemplos de problemas associados a esta cláusula incluem cabeçalhos sem nome acessível, células de tabelas sem cabeçalhos, utilização incorreta de atributos ARIA ou campos de formulário sem etiquetas.

A amostra 2K, relativamente à amostra Home+, permite perceber que os problemas são ainda mais frequentes quando se alarga o número de páginas (a taxa de incumprimento para todas as cláusulas problemáticas cresce na amostra 2K). Várias cláusulas EN apresentam um crescimento significativo na taxa de não cumprimento quando se considera a amostra 2K. Por exemplo, 72% dos sítios web na amostra Home+ não estão conformes com a cláusula “9.1.1.1 Conteúdo não textual” enquanto a percentagem sobe para 82% na amostra 2K. Na cláusula “9.1.3.1 Informações e relações” a evolução é de 75% para 84%. Na “9.2.1.1 Teclado” passa de 8% para 13%. Na “9.2.4.4 Finalidade da hiperligação (em contexto)” passa de 89% para 95%. Na “9.3.1.1 Idioma da página” passa de 20% para 28%. Na “9.4.1.1 Análise sintática (parsing)” passa de 70% para 79%. Pode verificar-se que a amostra Home+ deteta a diversidade dos problemas, mas com uma menor taxa de incidência. não oferece uma cobertura realista dos problemas relacionados com várias cláusulas. Esta situação pode ser um resultado das equipas que gerem os sítios web dedicarem mais atenção às páginas que estão mais perto do topo da hierarquia do sítio por serem, provavelmente, mais visitadas. No entanto, caso isto se verifique, não é uma justificação para não dar o mesmo nível de atenção a todas as páginas disponibilizadas no sítio. No entanto, esta lógica não é assim para todos os princípios de acessibilidade analisados. A média de conformidade do princípio Compreensível mostra-nos que as não conformidades detetadas se diluem mais facilmente em amostras maiores como é a de 2K.

Relembramos que a amostra do tipo Home+ é a usada no Observatório Português da Acessibilidade web e que a lógica de correção das ocorrências encontradas deve ser aplicada não à amostra mas, de forma transversal, a todo o sítio web.

Monitorização aprofundada de sítios web

Os resultados descritos nesta secção referem-se a análise de 24 sítios web. No total, foram analisadas 477 páginas, correspondendo a uma média de 20 páginas por sítio web.

Distribuição das cláusulas EN 301 549 por sítio web

Na Tabela 32 é apresentado o número (e percentagem) de sítios web que verificam ou violam cada cláusula da EN 301 549, bem como aqueles que não são aplicáveis em nenhuma página do sítio web.

No Gráfico 13 e no Gráfico 14 são apresentadas as taxas média de não conformidade e conformidade das cláusulas da EN 301 549 aplicáveis a cada sítio web. Para facilitar a leitura no Gráfico 13 consideraram-se as cláusulas correspondentes ao nível ‘A’ das WCAG e no Gráfico 14 consideraram-se as cláusulas correspondentes ao nível ‘AA’ das WCAG. Embora a Norma Europeia não faça esta divisão por níveis de conformidade, ela revela-se útil para quem necessita de efetuar as correções das práticas encontradas. Na lógica das WCAG 2.1 será racional começar por eliminar os problemas encontrados no nível ‘A’. Numa observação rápida de ambos os gráficos verifica-se que as cláusulas não conformes rondam os 30% para o caso do nível ‘A’ e de 40% a 50% no caso das regras de nível ‘AA’. O número de cláusulas ‘A’ é também significativamente maior que as cláusulas que expressam o nível ‘AA’.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 32.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 32.

De acordo com os dados expostos na Tabela 32, é possível concluir que houve uma baixa taxa de conformidade face às cláusulas.

As 11 cláusulas com maior taxa de sucesso são:

• 9.2.3.1 Três flashes ou abaixo do limite com uma taxa de sucesso de 100% face aos sítios web aplicáveis;
• 9.2.5.2 Cancelamento do apontador com uma taxa de sucesso de 100% face aos sítios web aplicáveis;
• 9.1.3.4 Orientação com uma taxa de sucesso de 96% face aos sítios web aplicáveis;
• 9.2.1.2 Sem bloqueio do teclado com uma taxa de sucesso de 96% face aos sítios web aplicáveis;
• 9.3.2.1 Ao receber o foco com uma taxa de sucesso de 96% face aos sítios web aplicáveis;
• 9.3.2.2 Ao entrar num campo de edição (input) com uma taxa de sucesso de 95% face aos sítios web aplicáveis;
• 9.3.3.4 Prevenção de erros (legais, financeiros, dados) com uma taxa de sucesso de 90% face aos sítios web aplicáveis;
• 9.2.5.1 Gestos por apontador com uma taxa de sucesso de 83% face aos sítios web aplicáveis;
• 9.3.3.1 Identificação de erros com uma taxa de sucesso de 83% face aos sítios web aplicáveis;
• 9.1.3.3 Características sensoriais com uma taxa de sucesso de 80% face aos sítios web aplicáveis; e
• 9.3.2.3 Consistência de navegação com uma taxa de sucesso de 80% face aos sítios web aplicáveis.

As restantes cláusulas obtiveram uma taxa de sucesso inferior ou igual a 78% face aos sítios web aplicáveis.

As 11 cláusulas com maior taxa de falha foram:

• 9.1.1.1 Conteúdo não textual com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.1 Apenas áudio e apenas vídeo (pré-gravado) com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.2 Legendas (pré-gravadas) com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.3 Audiodescrição ou alternativa em multimédia (pré-gravada) com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.2.5 Audiodescrição (pré-gravada) com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.3.1 Informações e relações com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.4.2 Controlo de áudio com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.4.1.1 Análise sintática (parsing) com uma taxa de falha de 100% face aos sítios web aplicáveis;
• 9.1.4.10 Realinhar com uma taxa de falha de 96% face aos sítios web aplicáveis;
• 9.2.4.4 Finalidade da hiperligação (em contexto) com uma taxa de falha de 96% face aos sítios web aplicáveis; e
• 9.4.1.2 Nome, função, valor com uma taxa de falha de 96% face aos sítios web aplicáveis.

As restantes cláusulas obtiveram uma taxa de falha inferior ou igual a 95%.

Distribuição das Declarações de Desempenho Funcional EN 301 549

Foram feitas duas análises em relação a estas declarações:

• A primeira tendo em conta as cláusulas que suportam as declarações de desempenho funcional (relações primárias); e
• A segunda tendo em conta todas as cláusulas que suportam, total ou parcialmente, as declarações de desempenho funcional (relações primárias e secundárias).

Para esta análise, foram consideradas todas as 11 declarações de desempenho funcional.

A Tabela 33 apresenta os resultados obtidos na primeira análise, em que apenas foram tomadas em consideração as cláusulas das relações primárias.

Observando a Tabela 33 podemos concluir que existe uma grande taxa de falha face às declarações de desempenho funcional, quando avaliadas apenas as cláusulas das relações primárias. As declarações de desempenho funcional com maior taxa de sucesso foram:

• Utilização com amplitude de movimentos limitada com uma taxa de 21% face aos sítios web aplicáveis;
• Limitação do risco de desencadeamento de reações fotossensíveis com uma taxa de 14% face aos sítios web aplicáveis, e;
• Utilização com audição limitada com uma taxa de 6% face aos sítios web aplicáveis.

As restantes declarações de desempenho funcional obtiveram uma taxa de sucesso igual ou inferior a 4%, com 3 delas tendo uma taxa de 0%.

A Tabela 34 apresenta os resultados obtidos na primeira análise, considerando, porém, a taxa média de conformidade da amostra analisada.

No Gráfico 15 é apresentado a taxa média de conformidade com as cláusulas de cada declaração de desempenho funcional considerando as relações primárias, representando o estado atual da amostra analisada.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 34.

Observando a Tabela 34 podemos concluir que existe uma grande taxa média de falha face às declarações de desempenho funcional, quando avaliadas apenas as cláusulas das relações primárias. As declarações de desempenho funcional com maior índice de não conformidade são:

• Utilização com visão limitada com uma taxa de não conformidade de 46%;
• Utilização na ausência de percepção da cor com uma taxa de não conformidade de 45%;
• Utilização na ausência de visão com uma taxa de não conformidade de 41%;
• Utilização com capacidade de manipulação e/ou força limitada com uma taxa de não conformidade de 36%;
• Utilização com capacidades cognitivas limitadas com uma taxa de não conformidade de 35%, e;
• Utilização na ausência de audição com uma taxa de não conformidade de 34%.

As restantes declarações de desempenho funcional obtiveram uma taxa de não conformidade inferior a 25%.

A Tabela 35 apresenta os resultados obtidos na segunda análise, em que foram tomadas em consideração todas as cláusulas das relações primárias e secundárias.

Observando a Tabela 35 podemos concluir que existe uma grande taxa de falha face às declarações de desempenho funcional, quando avaliadas todas as cláusulas. Apenas três declarações de desempenho funcional não apresentam taxa de não conformidade igual a 100%.

A Tabela 36 apresenta os resultados obtidos na segunda análise, considerando, porém, a taxa média de conformidade da amostra analisada.

No Gráfico 16 é apresentado a taxa média de conformidade com as cláusulas de cada declaração de desempenho funcional considerando as relações primárias e secundárias, representando o estado atual da amostra analisada.

Nota: caso não consiga consultar, por qualquer razão, o gráfico seguinte, veja os dados na Tabela 36.

Observando a Tabela 36 podemos concluir que existe uma grande taxa média de falha face às declarações de desempenho funcional, quando avaliadas todas as cláusulas. As declarações de desempenho funcional com maior nível de taxa de não conformidade foram:

• Utilização com visão limitada com taxa de não conformidade de 47%;
• Utilização na ausência de capacidade vocal com taxa de não conformidade de 47%, e;
• Utilização na ausência de percepção da cor com taxa de não conformidade de 45%.

As restantes declarações de desempenho funcional obtiveram uma taxa média de não conformidade inferior a 40%.

Análise dos resultados da monitorização aprofundada de sítios web

O método de monitorização aprofundada permitiu identificar os incumprimentos mais frequentes das cláusulas da EN 301 549 aplicáveis a uma análise manual de sítios web. Dos incumprimentos destacam-se:

• Verificou-se a inexistência de descrições alternativas para conteúdos não textuais, maioritariamente imagens, em todos os sítios web analisados. Esta má prática impede os utilizadores que não conseguem ver as imagens de utilizar o sítio web na sua plenitude.
• Conteúdos de media, como áudios e vídeos integrados nas páginas web, são constantemente disponibilizados sem uma versão alternativa com legendagem ou audiodescrição, não considerando utilizadores que necessitam de aceder a essas versões alternativas para compreenderem corretamente o conteúdo.
• Identificaram-se falhas na projeção de conteúdos que impedem uma apresentação adequada sempre que os utilizadores necessitam de ampliar o texto. Alguns dos problemas associados a esta situação consistem na perda de informação ou funcionalidade e aumento significativo do esforço de leitura causado pela necessidade de efetuar varrimentos horizontais.
• O incumprimento da cláusula “9.1.3.1 Info e Relacionamentos” em todos os sítios web analisados é revelador de vários tipos de problemas que impedem os utilizadores de tecnologias de apoio de percecionarem corretamente o conteúdo e a estrutura da página. Exemplos de problemas associados a esta cláusula incluem cabeçalhos sem nome acessível, campos de formulários sem etiquetas, ou listas e tabelas sem correta identificação.
• Os criadores de conteúdo continuam a não criar hiperligações com uma descrição que permita aos utilizadores compreenderem o propósito da hiperligação. Páginas com hiperligações sem uma descrição compreensível fora do contexto são problemáticas para os utilizadores que navegam nas páginas através de listas de hiperligações - é o caso de muitos utilizadores cegos que fazem uso de leitores de ecrã.
• Duas das cláusulas associadas ao princípio WCAG “Robusto” estão na lista das cláusulas com maior taxa de incumprimento. Isto é representativo do estado em que a web se encontra - os conteúdos não são construídos levando em conta as necessidades das tecnologias de apoio. Esta situação impede que estas tecnologias possam comunicar corretamente aos seus utilizadores o conteúdo das páginas que pretendem consultar. Problemas relativos à comunicação do nome acessível ou do role (semântica) de elementos acontecem em todos os sítios web analisados. O mesmo acontece com os problemas associados à utilização correta dos elementos HTML - todos os sítios web apresentam erros gramaticais de HTML.

Monitorização aprofundada de aplicações móveis

Foram analisadas 16 aplicações, sendo 8 aplicações Android e 8 aplicações iOS. No total das avaliações periciais foram contabilizados 144 ecrãs (70 em aplicações Android e 74 em aplicações iOS), correspondendo a uma média de 9 ecrãs por aplicação.

Resultados por cláusula EN 301 549 das aplicações móveis

Na Tabela 37 é apresentado o número (e percentagem) de aplicações que verificam ou violam cada cláusula, bem como aquelas que não são aplicáveis em nenhum dos ecrãs avaliados ou que não podem ser determinados.

De acordo com os dados expostos na Tabela 37, é possível concluir que as taxas de conformidade e de não conformidade têm valores semelhantes. A taxa média de conformidade das cláusulas avaliadas é de 51% enquanto a taxa média de não conformidade é de 49%. Apenas 2 cláusulas passaram nas 16 aplicações analisadas e todas as aplicações falharam, pelo menos, uma cláusula.

As 9 cláusulas com maior taxa de sucesso são:

• 11.2.5.2 Cancelamento do apontador - 16 aplicações (100%)
• 11.3.2.1 Ao receber o foco - 16 aplicações (100%)
• 11.2.1.2 Sem bloqueio do teclado - 14 aplicações (88%)
• 11.2.5.3 Legenda no nome - 14 aplicações (88%)
• 11.3.2.2 Ao entrar num campo de edição (input) - 13 aplicações (81%)
• 11.2.4.3 Ordem do foco - 12 aplicações (75%)
• 11.2.4.6 Cabeçalhos e etiquetas - 12 aplicações (75%)
• 11.2.4.7 Foco visível - 12 aplicações (75%)
• 11.3.3.1 Identificação de erros - 12 aplicações (75%)

As restantes cláusulas obtiveram uma taxa de sucesso inferior a 75%.

As cláusulas com maior taxa de falha foram:

• 11.1.4.4 Redimensionar texto - 16 aplicações (100%)
• 11.1.3.4 Orientação - 15 aplicações (94%)
• 11.2.4.4 Finalidade da hiperligação (em contexto) - 14 aplicações (88%)
• 11.4.1.2 Nome, função, valor - 14 aplicações (88%)
• 11.1.3.1 Informações e relações - 13 aplicações (81%)
• 11.1.1.1 Conteúdo não textual - 12 aplicações (75%)
• 11.1.4.3 Contraste (mínimo) - 12 aplicações (75%)
• 11.2.4.2 Página com título - 12 aplicações (75%)

As restantes cláusulas obtiveram uma taxa de falha inferior a 75%.

Pode-se verificar que nenhuma das aplicações faz uso de feedback áudio, pelo que os critérios associados a áudio e legendagem não foram analisados. É de salientar que duas das aplicações avaliadas eram totalmente inacessíveis por leitor de ecrã.

Distribuição das declarações de desempenho funcional

Foram feitas duas análises em relação a estas declarações:

• A primeira tendo em conta as cláusulas que suportam as declarações de desempenho funcional (relações primárias), e;
• A segunda tendo em conta todas as cláusulas que suportam, total ou parcialmente, as declarações de desempenho funcional (relações primárias e secundárias).

A Tabela 38 apresenta os resultados obtidos na primeira análise, em que apenas foram tomadas em consideração as cláusulas das relações primárias.

Observando a Tabela 38 podemos concluir que existe uma grande taxa de falha face às declarações de desempenho funcional, quando avaliadas apenas as cláusulas das relações primárias. Quatro das declarações de desempenho funcional estão não conformes na totalidade dos sítios analisados. Outras quatro conseguem ter uma taxa de conformidade diferente de zero:

• Utilização com audição limitada com uma taxa de conformidade 50%;
• Utilização na ausência de audição com uma taxa de conformidade de 25%;
• Utilização na ausência de perceção da cor com uma taxa de conformidade de 6%, e;
• Utilização com amplitude de movimentos limitada com uma taxa de conformidade de 6%.

A Tabela 39 apresenta os resultados obtidos na segunda análise, em que foram tomadas em consideração todas as cláusulas das relações primárias e secundárias.

Na Tabela 35 observou-se uma situação semelhante para a primeira análise. Desta feita, 6 declarações de desempenho funcional estão não conformes na totalidade dos sítios analisados, mantendo-se o número de quatro declarações de desempenho funcional que conseguem ter uma taxa de conformidade superior a zero, ainda que com valores mais baixos que na primeira análise:

• Utilização na ausência de audição com uma taxa de conformidade de 25%;
• Utilização com audição limitada com uma taxa de conformidade 25%;
• Utilização na ausência de percepção da cor com uma taxa de conformidade de 6%, e;
• Utilização com amplitude de movimentos limitada com uma taxa de conformidade de 6%.

Análise dos resultados da monitorização aprofundada de aplicações móveis

O método de monitorização aprofundada permitiu identificar os incumprimentos mais frequentes das cláusulas EN 301 549 aplicáveis a uma análise manual de aplicações móveis. De salientar que apenas 59% das cláusulas estão conformes, muitas com impacto significativo no uso destas aplicações. As avaliações móveis foram adaptadas das técnicas descritas da metodologia de teste Trusted Tester e beneficiam de uma estandardização semelhante ao executado para avaliações de sítios web. Dos incumprimentos detetados destacam-se:

• Verificou-se a existência frequente de conteúdos sem alternativa textual.
• As aplicações regularmente forçam o uso do dispositivo numa orientação, limitando o acesso de utilizadores com deficiência motora que tiram partido de outras orientações.
• Elementos gráficos e cor são regularmente usados como o único mecanismo de atribuir significado às interações.
• O incumprimento da cláusula “10.1.3.1 Informações e relações” por diversas aplicações analisadas é revelador de vários tipos de problemas que impedem utilizadores de tecnologias de apoio de terem uma perceção correta do conteúdo e estrutura do ecrã. Exemplos de problemas associados a esta cláusula incluem cabeçalhos sem nome acessível, campos de formulários sem etiquetas, ou listas e tabelas sem correta identificação.
• Os criadores de conteúdo continuam a não criar componentes interativos com uma descrição que permita aos utilizadores compreender o propósito dos mesmos.
• Todas as aplicações iOS avaliadas revelaram problemas com a conformidade com níveis de contraste (10.1.4.3 Contraste (mínimo), 10.1.4.11 Contraste não textual) e com a relação entre conteúdos (10.1.3.1 Informações e relações).
• Nenhuma das aplicações avaliadas permitia o ajuste do tamanho de fonte, nem suportavam as funcionalidades do sistema operativo que fornecem automaticamente o serviço.
• Verificou-se o uso de imensos elementos interativos sem uma definição concreta de função. Por exemplo, botões não eram anunciados como tal e textos eram interativos o que levava os utilizadores a terem que testar virtualmente todos os elementos para descobrirem aqueles que realmente eram interativos.

Conteúdo complementar

Resultados dos testes de usabilidade com utilizadores com deficiência

Testes de usabilidade com sítios web

Neste estudo estiveram presentes 6 participantes, dois com deficiência visual, dois com deficiência motora, e dois com deficiência auditiva. Os participantes deste estudo eram todos utilizadores experientes. Apesar dos diversos problemas encontrados e observados durante a sessão, todas as tarefas foram completadas com sucesso sem grandes intervenções do avaliador presente. Os problemas mais comuns observados e reportados pelos participantes foram os seguintes:

• Diversos elementos, como imagens, hiperligações e botões, sem nome acessível, com nome acessível não descritivo, ou, no caso de imagens decorativas, sem correta identificação. Neste caso, os dois utilizadores de leitor de ecrã reportaram ter de recorrer a diferentes estratégias de navegação para melhor entender o contexto e as possíveis informações disponibilizadas na página web, tornando esta interação muito mais custosa;
• Cabeçalhos de secção inexistentes ou inconsistentes. No primeiro caso, para utilizadores de leitor de ecrã, surgem dificuldades para identificar quando mudaram de uma secção da página web para outra, além de impossibilitar a utilização desses cabeçalhos para encontrarem mais rapidamente o conteúdo de interesse, tornando, novamente, esta interação muito mais custosa. No segundo caso, a estrutura das páginas web anunciada pelo leitor de ecrã não refletia a mesma estrutura hierárquica visual, fazendo com que os participantes demorassem mais tempo para entender a estrutura da página web e, assim, encontrar a informação desejada;
• Incorreta marcação de estados e propriedades de elementos. Este problema origina duas consequências para os utilizadores. A primeira, refletida pela falta de informação e inconsistência no comportamento de elementos semelhantes, como hiperligações e botões direcionando o utilizador para uma nova página ou adicionando conteúdos na mesma página, sem correta notificação ao utilizador de um leitor de ecrã. A segunda consequência deste problema constata-se em mensagens de status que, apesar de não estarem visíveis, ainda estavam disponíveis para leitores de ecrã. Neste caso, o utilizador não conseguia distinguir quais eram realmente as mensagens válidas para o contexto de interação;
• Conteúdos de vídeo sem informação contextual suficiente. No contexto deste estudo, foi identificada a falta de legendagem para conteúdo de media sincronizada, deixando o utilizador com deficiência auditiva sem nenhuma informação do conteúdo que está a ser transmitido por áudio. Para além disso, foram também identificados conteúdos de vídeo utilizados como alternativas a conteúdos textuais, porém, sem a correta identificação. Neste caso, um utilizador de leitor de ecrã não conseguiu identificar a real função do elemento, de modo a compreender que o elemento correspondia a uma alternativa a um conteúdo textual já fornecido na página web;
• Finalmente, todos os participantes reportaram o excesso de informação textual presente na maioria dos sítios web analisados. Embora grande parte desse conteúdo possa ser considerado essencial, ao ocorrer em paralelo com alguns dos problemas previamente mencionados, ou seja, falta de recursos para navegação e elementos estruturais, representou um obstáculo adicional para os utilizadores. Vale ressaltar que alguns dos sítios web analisados forneciam uma funcionalidade de busca, explorada por alguns dos participantes que, concordaram, ser uma solução útil que costumam utilizar sempre que disponível. Outra estratégia utilizada em um sítio web para mitigar este problema, destacada por uma participante, foi o uso de recursos visuais e simbólicos, ajudando no reconhecimento das informações fornecidas também em modo textual. Sugestões adicionais fornecidas pelos participantes incluíram também o fornecimento de conteúdos alternativos em língua gestual, ou o uso de linguagem de mais fácil compreensão.

Testes de usabilidade com aplicações móveis

Os participantes deste estudo são todos utilizadores experientes de smartphones que usam há mais de três anos. Apesar dos inúmeros problemas encontrados e observados durante a sessão, à exceção de duas tarefas com dois utilizadores diferentes, todas as outras foram completadas com sucesso sem intervenção do avaliador presente. A primeira tarefa em questão, na verdade, foi completada na perspetiva do participante com sucesso, mas infelizmente a informação fornecida pela aplicação, que o levou a crer que estava perante o resultado certo, estava incorreta. Tal facto poderia ter tido consequências sérias caso estivéssemos em contexto real de utilização. O insucesso na segunda tarefa deveu-se a um problema de exploração de conteúdo que todos os participantes sentiram quando lhes era indicado para encontrar um serviço específico. Os problemas mais comuns observados e reportados pelos participantes foram os seguintes:

• A estrutura e o grafismo do ecrã facilitava a compreensão da informação, no entanto quando o conteúdo do mesmo era acedido por leitor de ecrã as relações e descrições do conteúdo, apesar de corretas, não eram claras nem percetíveis;
• Os conteúdos e a navegação de uma das aplicações exigiram ao utilizador o prévio conhecimento dos serviços e da sua organização interna, apresentando-se com siglas e sequências de menus que tornaram as escolhas pouco óbvias. A agravar a situação não existia qualquer função de pesquisa;
• Ambas as aplicações apresentam-se com componentes mal identificadas, sem texto alternativo. Algumas componentes apareceram de forma interativa quando não o eram e outras, ainda, apareceram com textos por traduzir, apresentando-se em diferentes idiomas, o que aumenta bastante a dificuldade de acesso a quem usa leitor de ecrã;
• Ambas as aplicações tinham elementos não acessíveis, no entanto não foram fundamentais para a execução das tarefas uma vez que os utilizadores de leitor de ecrã conseguiram encontrar caminhos alternativos e prosseguir.

Comparação entre os resultados da monitorização simplificada e aprofundada de sítios web

A amostra para a monitorização aprofundada selecionou os cinco sítios web com os melhores e os cinco sítios web com os piores resultados na monitorização simplificada. Desta forma é possível comparar os resultados desses sítios web nas duas metodologias de monitorização. Para esta análise calculou-se a percentagem de cláusulas conformes e não conformes em cada sítio web, levando apenas em consideração as cláusulas presentes. Os cinco sítios web que tiveram os melhores resultados na monitorização simplificada são conformes com 38% das cláusulas em média (melhor 57% e pior 24%), e são não conformes com 62% das cláusulas (pior 76% e melhor 43%), na monitorização aprofundada. Os cinco sítios web com piores classificações na monitorização simplificada são conformes com 33% das cláusulas em média (melhor 42% e pior 17%), e são não conformes com 67% das cláusulas (pior 83% e melhor 58%) na monitorização aprofundada. Apesar de estarmos perante ser com uma amostra pequena, com apenas 10 sítios web, é possível perceber que os sítios melhor classificados na monitorização simplificada são também os mais conformes com as cláusulas na monitorização aprofundada. Em média, os sítios web melhor classificados têm uma taxa de conformidade para com as cláusulas da norma europeia 5 pontos percentuais acima dos piores. Comparando o melhor sítio web dos melhores com o melhor sítio web dos piores, percebe-se que o que está no lote dos melhores tem uma taxa de conformidade média 15 pontos percentuais acima do seu congénere pior.

Também analisámos a parte da amostra aprofundada que corresponde aos sítios web que não foram avaliados na monitorização simplificada por não terem pelo menos 10 páginas com mais de 100 elementos HTML. Apesar de alguns destes sítios web terem sido classificados como contendo poucas páginas, devido a problemas com o processo de crawling, foi possível perceber através da monitorização aprofundada que os sítios se apresentam com boas taxas de conformidade. Eles apresentam-se inclusivamente com melhores resultados que os que foram melhor classificados na monitorização simplificada. Estes 10 sítios web revelaram uma taxa de conformidade média de 46% para com as cláusulas da Norma (melhor 56% e pior 40%) e uma não conformidade com 54% das cláusulas (pior 60% e melhor 44%).

Acessibilidade das aplicações móveis por sistema operativo

Nesta secção apresentamos os resultados por sistema operativo assim como uma comparação entre as duas versões das aplicações de cada entidade pública. Na Tabela 40 é apresentado o número (e percentagem) de aplicações que verificam ou violam cada cláusula, bem como aquelas que não são aplicáveis em nenhum dos ecrãs avaliados ou que não podem ser determinados.

De acordo com os dados expostos na Tabela 40, é possível concluir que as taxas de conformidade face às cláusulas EN 301 549 em ambos os sistemas operativos aproximam-se dos 50%. Apenas quatro das cláusulas avaliadas obtiveram uma conformidade de 100% em ambos os sistemas operativos. Em Android a taxa média de conformidade das cláusulas avaliadas é de 53%, com apenas cinco cláusulas em total conformidade (ou não presentes), e em iOS 51% com nove cláusulas em total conformidade (ou não presentes):

Cláusulas conformes em Android e iOS

• 11.1.4.5 Imagens de texto
• 11.2.1.2 Sem bloqueio do teclado
• 11.2.5.2 Cancelamento do apontador
• 11.3.2.1 Ao receber o foco

Cláusulas conformes apenas em Android

• 11.2.4.7 Foco visível

Cláusulas conformes apenas em iOS

• 11.1.3.3 Características sensoriais
• 11.1.4.1 Utilização da cor
• 11.2.4.6 Cabeçalhos e etiquetas
• 11.3.3.1 Identificação de erros
• 11.3.3.4 Prevenção de erros (legais, financeiros, dados)

As cinco cláusulas com maior discrepância entre os sistemas operativos são:

• 11.1.4.1 Utilização da cor (75% Android vs 0% iOS não conformes)
• 11.2.4.6 Cabeçalhos e etiquetas (50% Android vs 0% iOS não conformes)
• 11.2.4.7 Foco visível (0% Android vs 50% iOS não conformes)
• 11.2.1.1 Teclado (50% Android vs 87.5% iOS não conformes)
• 11.1.3.1 Informações e relações (62.5% Android vs 100% iOS não conformes)

As oito cláusulas com maior taxa de falha foram:

Em Android e iOS

• 11.1.4.4 Redimensionar texto (100%)
• 11.1.4.11 Contraste não textual (87.5% Android, 100% iOS)
• 11.1.3.4 Orientação (87.5% Android, 100% iOS)
• 11.2.4.4 Finalidade da hiperligação (em contexto) (87.5%)
• 11.4.1.2 Nome, função, valor (87.5%)
• 11.1.4.3 Contraste (mínimo) (60% Android, iOS 100%)

Apenas em iOS

• 11.1.3.1 Informações e relações (100%)
• 11.2.1.1 Teclado (87.5%)

As restantes cláusulas obtiveram uma taxa de falha igual ou inferior a 75%.

Informação relativa a declarações de acessibilidade

Nos 281 sítios web analisados, foram encontradas declarações de acessibilidade em apenas 13, o que corresponde a 4.6% da amostra. Foram identificados 29 outros sítios web com uma página relativa a acessibilidade, mas que não correspondia a uma declaração construída de acordo com o modelo proposto no Decreto-lei n.º 83/2018, de 19 de outubro, que transpõe a Diretiva (UE) 2016/2102 do Parlamento Europeu e do Conselho, relativa à acessibilidade dos sítios web e das aplicações móveis. Bastaria as entidades a quem pertencem estes sítios web corrigirem as suas declarações e passaríamos a ter 15% de sítios web com Declaração de Acessibilidade.

As 13 declarações de acessibilidade reportavam os seguintes níveis de conformidade:

• 6 apresentam o sítio web como plenamente conforme;
• 6 apresentam o sítio web como parcialmente conforme;
• 1 apresenta o sítio web como não conforme.

A idade média (a 31 de dezembro de 2021) das declarações de acessibilidade identificadas é de 13.9 meses, tendo a declaração mais recente pouco menos de 4 meses e a mais antiga aproximadamente 2 anos e 5 meses. Levando isto em consideração, é normal que os sítios web de várias destas declarações de acessibilidade já tenham sofrido alterações desde a data de publicação da declaração. Ainda assim, analisou-se a pontuação atribuída pelo AccessMonitor a cada um dos sítios web, tendo-se obtido as seguintes médias para cada nível de conformidade reportado:

• 7.7 para os sítios web que afirmam ser plenamente conformes;
• 7.1 para os sítios web que afirmam ser parcialmente conformes;
• 5.6 para o sítio web que afirma ser não conforme.

Utilização do procedimento de execução e comentários dos utilizadores finais

Em Portugal a entidade responsável por receber e recolher notificações de organismos do setor público que estejam em incumprimento dos requisitos de acessibilidade é o Instituto Nacional para a Reabilitação, I.P. (INR). O INR disponibiliza um formulário para denunciar situações de discriminação, encaminhando as queixas apresentadas às entidades competentes.

A informação prestada pelo INR relativamente a queixas recebidas relativamente ao ano de 2021 foi a seguinte:

• Duas queixas relacionadas com a inacessibilidade de sítios web
• Duas queixas relacionadas com a inacessibilidade de aplicações móveis
• Duas das queixas foram submetidas por pessoas individuais
• Duas das queixas foram submetidas por pessoas coletivas
• As quatro queixas relatam situações relacionadas com deficiência visual
• Nenhum dos casos se constituiu em contra-ordenação e o INR não os encaminhou às entidades competentes para a sua instrução nos termos do DL n.º 34/2007.

Para além do processo formal de reclamação, em que os utilizadores alegam factos suscetíveis de constituírem contra-ordenação no âmbito da Lei de Não-Discriminação (Lei n.º 46/2006) – alegando formalmente que estão a ser discriminados –, os utilizadores podem ainda contactar as entidades, dando conta de dificuldades de acesso a determinados documentos ou elementos da interface, sugestões de melhoria, alertas de situações inacessíveis, solicitar o acesso a formatos alternativos (p.e. solicitar impressões em braille, impressões em caracteres ampliados, ou outros) para documentos específicos, solicitar formatos acessíveis de documentos específicos que, por estarem excecionados (p.e. documentos de arquivo, com datas de edição anteriores a setembro de 2018), se apresentem em formatos não conformes com a Norma Europeia EN 301 549. Para este efeito, a Declaração de Acessibilidade, que cada entidade é obrigada a disponibilizar para o seu sítio web ou aplicação móvel, dispõe, na sua secção III, dos dados de contacto da respetiva entidade.

Conteúdo relacionado com medidas adicionais

Para a atividade de monitorização e elaboração deste relatório foram consultadas as seguintes partes interessadas:

• Comissão de Políticas de Inclusão, através da sua coordenação – a Secretaria de Estado para a Inclusão das pessoas com deficiência.
• Instituto Nacional para a Reabilitação, I.P., para recolha de notificações relativas ao incumprimento dos requisitos de acessibilidade por parte de organismos do setor público.

Anexos

Tabelas de suporte ao sumário executivo

Lista de sítios web da amostra para monitorização simplificada