Estudo reutilizado do Halo 3 distorce completamente os resultados para enquadrar a agenda sexista …

Esta é uma peça editorial. As visões e opiniões expressas neste artigo são de responsabilidade do autor e não representam necessariamente as visões e opiniões do Niche Gamer como organização, e não devem ser atribuídas a ele.

[Update]

Este artigo recebeu uma resposta oficial do autor deste estudo. Nele, o autor detalha as decisões tomadas que levam a muitos dos meus problemas com o artigo. Dentro dessa resposta, ele entra em detalhes sobre o motivo de incluir apenas as respostas específicas que foram registradas, por que ele escolheu apenas considerar as mortes e mortes como um fator de habilidade, em vez de adicionar assistências de jogadores para ajudar a esclarecer uma habilidade de jogadores, como bem como outros problemas que não considerei na época em que escrevi este artigo. Se você está lendo este Sr. Kasumovic, muito obrigado pela sua resposta.

_____________________________________________________________________________________

Recentemente, houve uma explosão de pesquisas científicas em videogames, e por boas razões. Com um valor de mais de 85 bilhões de dólares em 2014 [1], os videogames se tornaram rapidamente a maior indústria de entretenimento do mundo. No entanto, o potencial que os videogames têm para mudar de jogador permanece relativamente desconhecido e é um aspecto que os pesquisadores estão ansiosos para entender.

Centenas de novos estudos são publicados a cada ano, analisando vários aspectos dos jogos, como a forma como os plataformas aumentam o raciocínio espacial ou como os jogos cooperativos online melhoram as habilidades sociais, e assim por diante. No entanto, como tem sido o caso, uma parte desses estudos é enganosa e falha, e resultados dramáticos e ainda dramáticos parecem mais propensos a receber a atenção da mídia.

Infelizmente, parece que nem mesmo a revisão por pares pode impedir que todos os estudos como esses entrem nas revistas acadêmicas. Tomemos, por exemplo, um estudo publicado recentemente discutindo como as pessoas que jogaram o jogo Halo 3 mal eram mais propensos a serem sexistas. Este estudo, apresentado de maneira factual por vários sites de jogos e tecnologia, possui várias falhas distintas que precisam ser corrigidas antes que a pesquisa seja levada a sério por qualquer pessoa.

Isso não quer dizer que todo o estudo deva ser jogado fora. Alguns aspectos, como a maneira como os pesquisadores obtêm seu material original, são bastante úteis. Por exemplo, no estudo, os pesquisadores decidiram usar 3 gamertags diferentes no Xbox Live. Duas dessas tags usaram uma voz masculina e feminina para determinar se os jogadores reagiram de maneira diferente em relação a diferentes gêneros, a terceira tag foi usada como controle e não falou nada. Devido a esse fato, os dados foram removidos porque não informaram nada sobre as interações de gênero.

halo 3 07-31-15-1

Esse método pode ser um método muito útil para determinar se os jogadores geralmente são mais hostis online quando determinados significantes são apresentados a diferentes sexos. Outro fator que foi muito útil foi o uso de transcritores externos para determinar o que foi dito em cada partida. Isso ajuda a evitar viés pessoal e permite que o estudo quantifique adequadamente os dados exatos necessários para determinar suas estatísticas. No entanto, embora esses aspectos sejam dignos de nota, eles não impedem que este estudo seja um estudo ruim.

Para começar, os dados que este estudo utilizou não eram atuais. Foi obtido de um estudo sobre Halo 3 realizado em 2012, um momento em que o jogo já tinha cinco anos. Embora o uso dos dados de estudos mais antigos seja uma prática perfeitamente aceitável, os pesquisadores deturparam os dados mais antigos de maneira nova e original. Isso se reflete na página de resultados, que afirmava “tocamos”, em vez da mais precisa “que obtivemos dos dados originais”. Devido à redação, os leitores ficam com a falsa noção de que essas informações são uma descrição atual e precisa do jogador de hoje, em vez de um reflexo do Halo 3 comunidade de jogos em 2012.

Apesar disso, os pesquisadores forneceram uma descrição completa de como eles foram ao processar os dados de seu estudo original. Para cada correspondência no conjunto de dados, os pesquisadores fizeram com que os transcritores independentes registrassem qualquer coisa falada, sem que os transcritos soubessem o objetivo por trás das transcrições. Os pesquisadores então checaram 10% de todas as transcrições e determinaram que elas eram precisas. Em seguida, o autor e um codificador independente examinaram as transcrições em busca de comentários para o reprodutor experimental. Esses comentários foram divididos em natureza positiva, negativa e neutra. Comentários negativos foram verificados para ver se eles continham comentários sexistas feitos à jogadora experimental.

Embora a distinção tenha sido feita para determinar quando as mulheres eram mais propensas a receber comentários sexistas, ignorou de bom grado quaisquer observações sexistas direcionadas aos homens. Sem essa informação crítica, leitores e pesquisadores não podem determinar se a quantidade de comentários sexistas negativos observados era normal para jogadores masculinos e femininos, ou se as jogadoras recebiam uma quantidade estatisticamente significativamente maior de comentários sexistas do que os homens. Se o primeiro for verdadeiro, as descobertas provariam apenas que jogadores com desempenho ruim geralmente são mais negativos do que jogadores com desempenho bom, dificilmente a percepção das normas de gênero e dos jogos on-line que os autores e a cobertura da mídia anunciaram.

halo 3 07-31-15-2

O estudo sofre de outro grande problema, pois generalizou as informações antigas para o público de hoje, sem nenhuma indicação de quem compôs sua amostra demográfica, exceto os homens que falaram quando brincavam. Halo 3 cinco anos depois de lançado. Essa falta de informação é parcialmente devida à natureza semi-anônima dos pseudônimos do Xbox live, mas a falta de informações importantes, como local, etnia ou idade, torna impossível generalizar adequadamente essas informações para o público. Eles nem registraram a única informação demográfica disponível, a habilidade do jogador.

A maneira que a habilidade foi determinada não distinguiria, por exemplo, um adolescente que talvez nunca tenha jogado jogos online competitivos ao lado de mulheres antes, ou um Klansman de 50 anos. Sem as informações demográficas necessárias, não é possível determinar a significância dos dados em relação ao público em geral. Sem considerar outras causas potenciais para o comportamento sexista, ou mesmo tentar controlar esses fatores, o autor tentou convencer o público de que a única razão para tais atitudes sexistas é o fato de uma mulher ter um desempenho melhor do que um homem em um jogo e nada mais.

Embora os pesquisadores não controlassem fatores como idade, nacionalidade, localização ou mesmo etnia, eles se certificaram de explicar cuidadosamente exatamente quais informações foram usadas. No total, o estudo mais antigo do qual os dados foram obtidos tinha 1136 participantes, com aproximadamente 574 participantes jogando contra a voz feminina e 567 contra a voz masculina. No entanto, esses números exatos foram omitidos no estudo porque o autor se certificou de escrever apenas o que considerava “necessário” para o leitor apresentar sua própria opinião.

Essa informação necessária significava apenas olhar para os participantes que realmente falaram, que acabaram sendo 189 participantes. Embora seja fácil para um leitor casual supor que as pessoas não falaram significa que essas informações não foram úteis, é essencial que os pesquisadores publiquem todas as informações que obtiveram. A importância de incluir essas informações “desnecessárias” significa a diferença entre 1,9% ou 13,4% dos participantes que usam comentários sexistas, uma vez que o contexto é despojado, como na cobertura da mídia, número sete vezes maior do que os resultados iniciais.

halo 3 07-31-15-4

Um dos meus antigos professores de estatística me disse no meu curso de graduação que você pode provar qualquer coisa usando estatística. Altere a quantidade de participantes em um estudo e você pode provar que aumentar a temperatura na sala de aula pode aumentar a probabilidade de obter um A em um exame final. Isso é o que os pesquisadores provaram: se você manipular os dados o suficiente, poderá mostrar que jogadores do sexo masculino que jogam mal farão comentários sexistas em relação às mulheres enquanto perdem.

De todos os jogadores que participaram do lado feminino do estudo, apenas 1,9% exibiram um comentário sexista. Isso é 11/574 (ou 1,9%), dividindo isso apenas para jogadores que eram companheiros de equipe ativos do experimento feminino, e ficamos com 11/246 (ou 4,47%). Se reduzirmos os números para apenas os 84 participantes que realmente conversaram e estivermos em 11/84 (ou 13,4%) de todos os participantes usando comentários sexistas.

Essa generalização promovida por dados manipulados está longe de ser a única generalização excessiva devido a dados inconsistentes ou incompletos. Fatores como a classificação da lista de reprodução são mais dependentes da quantidade de tempo jogada do que da habilidade. Esse sistema de classificação da lista de reprodução leva em consideração apenas a quantidade de vezes que um jogador venceu ou empatou, perdeu ou desconectou, em vez de fatores como cooperação, assistência ou até mesmo dirigir veículos, sem falar na proporção adequada de mortes. Neste estudo, acredita-se que Rank seja um “símbolo de status” que mostra “domínio” para os outros jogadores, em vez de um fator que poderia ser facilmente manipulado ou pago.

A esse respeito, Rank não passa de um adesivo cosmético que mostra há quanto tempo uma pessoa toca. Embora isso pudesse ter sido um fator contribuinte, se este estudo analisasse jogos como Chamada do dever, onde a atividade específica está diretamente relacionada à classificação e, portanto, a um aumento da competitividade para garantir uma classificação mais alta, esse não é o caso em Halo 3. A única habilidade no tempo que se torna um fator no sistema de classificação do Halo 3 está em um nível muito mais alto do que o normalmente usado neste estudo.

halo 3 07-31-15-3

Um segundo fator que este estudo tenta usar é uma taxa de morte / morte para mostrar a habilidade do jogador. A quantidade de mortes que você tem sobre a quantidade de mortes que você teve normalmente mostra seu nível geral de habilidade, de acordo com o estudo. Novamente, isso elimina todo comportamento cooperativo de equipe. Só porque um jogador não está matando o time adversário não significa que ele não seja um crédito para seu time. Auxilia a matéria em um jogo em equipe, é importante dirigir o veículo enquanto outras pessoas matam. Ao remover esses fatores importantes, os dados não podem representar com precisão quem tem o melhor desempenho em um jogo em equipe, como Halo 3e inclina os dados para mostrar apenas os jogadores que tomam ações agressivas como dominantes.

Este estudo mostrou significância estatística para várias interações entre o jogador experimental e os participantes. É importante entender que a significância estatística não prova as conclusões que tiram dela, mas que a probabilidade desses eventos ocorrerem novamente é maior que o acaso. Dado o pequeno tamanho da amostra, até a variação devido ao acaso é bastante grande.

Ele não conta de inúmeros cofundadores demográficos ou outros preconceitos que eles não controlam e que poderiam facilmente se correlacionar com os hábitos de comunicação no jogo, incluindo o uso inadequado de Rank (que mede efetivamente a quantidade de tempo jogando o jogo) e taxa de morte / morte (que é influenciada por estilos de jogo cooperativos orientados para equipes). Em vez disso, eles usam isso como um ponto de partida para propor uma hipótese elaborada sobre a sociologia dos “homens de baixo status”, como se esses dados descontrolados, escassos e barulhentos fossem capazes de fornecer informações sobre a condição humana.

halo cortana 07-31-15-2

Apesar da manipulação deliberada das estatísticas, da generalização excessiva dos motivos dos participantes, da negação de um controle muito útil, da recusa em reconhecer diferenças demográficas e do fato de que esses dados provêm de um jogo com quase oito anos de idade, os jornalistas continuaram para usar esta informação.

Esses dados foram usados ​​para dizer que as pessoas que são ruins em jogos são sexistas. Este estudo teve apenas 11 participantes dizendo coisas sexistas, mas 11 participantes se tornaram o público em geral. É por isso que todos devem aprender a analisar um artigo científico, apenas para chegar às suas próprias conclusões.

Fontes:

Artigos Relacionados

Back to top button