Mudanças nas pesquisas em psicologia?

A postagem abaixo afirma que as pesquisas em psicologia estariam mudando – para melhor. Ela aborda, inicialmente, um problema apontado em levantamentos feitos em 1959 e 1995, por Ted Sterling, e em 2010, por Daniele Fanelli, de que a quase totalidade dos artigos científicos em psicologia publicados traria somente resultados positivos. Contra o que Sterling teria protestado, ainda quando da primeira pesquisa: “Onde estão todos os resultados negativos – os achados menos excitantes ou conclusivos?”.

Em seguida, o autor defende que atualmente estariam ocorrendo mudanças auspiciosas neste quadro – embora, a meu ver, não se reporte exatamente ao viés de “positividade” criticado por Sterling. Isto é, não demonstra que tenha havido um recuo na predominância de publicações – feitas pelos próprios autores das pesquisas – noticiando resultados positivos.  De qualquer modo, ele relaciona alguns casos em que outras tendências igualmente lamentáveis, em sua opinião, estariam se revertendo.

O primeiro deles registraria uma maior disposição à replicação de experimentos. O autor, acreditando que a reprodutibilidade de descobertas seja uma qualidade científica em si, advoga não apenas que a psicologia tem carecido dela, mas que este mal está se reduzindo. Contudo, a impressão que seus exemplos dão é de que têm acontecido apenas algumas iniciativas isoladas neste sentido. Sendo assim, tão somente com o apresentado no texto fica difícil de concordar que as pesquisas em psicologia estejam em vias de se curar da deficiência apontada. Porém, considero importante fazer duas observações a respeito. A primeira é de que é bastante discutível o que seria efetivamente replicar um experimento em psicologia – ou em ciências cognitivas, em geral. Com base em que critérios se pode afirmar que se trata dos mesmos elementos examinados? Ou, ainda: se for para promover alguma variação na replicação, como precisar o que se manteve idêntico e o que se modificou? Evidentemente, não é o caso de propor aqui uma discussão satisfatória deste tópico, por ser suficientemente complexo e controverso – mesmo no caso das ciências consideradas como “mais exatas”. Porém, esta dificuldade não deveria ser omitida ao se festejar uma suposta mudança de padrão experimental em psicologia. Além, disso, e malgrado este obstáculo, há vários exemplos importantes de experimentos refeitos nas ciências do comportamento ou cognitivas — com mais ou menos inevitáveis variações. Sua importância nasce, muitas vezes, da relevância que o achado em questão conquistou na sociedade. Tenhamos em consideração, por exemplo, o Iowa Gambling Task, nome dado ao experimento reportado em 1994 por Antoine Bechara, António Damásio, Hanna Damásio e Steven Anderson, e que buscou confirmar a hipótese do marcador somático, apresentada pouco antes por António Damásio (Bechara, A., Damasio, A., Damasio, H., Anderson, S., 1994. “Insensitivity to future consequences following damage to human prefrontal cortex”. In: Cognition nº 50, p. 7–15, 1994). A hipótese do marcador somático defende que as decisões humanas são realizadas com ampla e crucial participação de “marcas” emocionais não conscientes, produzidas por experiências anteriores em que decisões semelhantes foram adotadas. Tal hipótese ousa dizer que as decisões humanas em sua maioria não são propriamente nem racionais, nem conscientes – o que, evidentemente, abala alguns dos principais pressupostos das ciências humanas (como, na Economia, a Teoria das Escolhas Racionais), mas também do senso comum. Portanto, tem sido grande a repercussão desta ideia. Pois é impressionante notar como o Iowa Gambling Task (experimento que combinou jogo de cartas com medições de resposta à condutância dérmica – para correlacionar efeitos emocionais na pele com decisões de jogo) tem sido alvo de replicações e variações – e contestado, e defendido, e novamente contestado em suas conclusões iniciais –, tal como se noticia no artigo, de Barnaby D. Dunn e outros, “The somatic marker hypothesis: a critical evaluation” (Neuroscience and Biobehavioral Reviews, nº 30, p. 239-271, 2006). Com este exemplo quero sugerir que, quando a polêmica subjacente é suficientemente forte, não falta disposição no ambiente científico para a reprodução de experimentos – ainda que seja muitas vezes interminável a discussão sobre quão corretamente reproduzidos foram eles.

Em seguida, a postagem lastima o fato de que não se pode falar de efetiva publicidade quando o livre acesso aos artigos – muitas vezes produzidos a partir de recursos públicos – é impedido através de preços exorbitantes, mesmo pela internet. Concordo com a extrema relevância do tema, não apenas para a psicologia, nem somente para as ciências: a produção recente em filosofia tem sido protegida pela mesma caixa-forte. Embora algumas iniciativas – inclusive por parte de autores – estejam sendo tomadas como alternativas aos cadeados que escondem a produção acadêmica, é preciso ainda muito debate a respeito.

O terceiro ponto é o da disponibilização de dados pelos autores de pesquisas, que é vista como um valor científico social, pelo autor. Não compreendo, contudo, como tratar deste item sem ir diretamente ao quarto e ao quinto assuntos do texto: um, menciona as, em geral, reduzidas amostras utilizadas em experimentos psicológicos e, o outro, o tratamento estatístico ao qual se obrigaria a psicologia em decorrência desta limitação amostral e de outros fatores, e que conduziria a um excessivo, e pernicioso, “grau de liberdade” de escolha dos pesquisadores de seus critérios metodológicos. Em outras palavras, estas questões demonstram que – ao menos no caso das ciências do comportamento e da cognição humana, mas sabemos que não apenas neste caso – não é trivial determinar quais são os dados, definitiva e indubitavelmente, relevantes nas pesquisas, ou como devem ser “corretamente” tratados. Embora este tema possa ser até mesmo avaliado como “batido” no seio dos estudos de CTS, falta muito para se disseminar na sociedade, e mesmo no estrato científico. Ou seja, não podemos desprezar os perigos de um descompasso entre os estudos especializados sobre ciência e a imagem que a sociedade faz da ciência. Talvez a leitura da postagem abaixo recomende (recorde) que não deve deixar de fazer parte dos estudos – críticos – de CTS o que se pensa e propaga sobre a ciência, e sobre a feitura da ciência, pelo mundo afora.

Por fim, embora talvez a esperança da exatidão e do método perfeito vá se dissipando quanto mais estes são perseguidos – ou quem sabe por isso mesmo –, a postagem de Chris Chambers registra aspectos de uma discussão, em minha opinião, inevitável. Assim, ao menos quando debatida, nos termos em que o é nesta postagem, a psicologia pode, sim, beneficiar as ciências em geral.

Tom Lemos.

The changing face of psychology

Postado por

Chris Chambers

Em sexta-feita, 24 de janeiro 2014, às 07h01 GMT

No blog Headquarters, do site do jornal inglês The Guardian

After 50 years of stagnation in research practices, psychology is leading reforms that will benefit all life sciences

 C37NWD human brain. Image shot 2010. Exact date unknown.

Photograph: Sebastian Kaulitzki/Alamy

Psychology is championing important changes to culture and practice, including a greater emphasis on transparency, reliability, and adherence to the scientific method.

In 1959, an American researcher named Ted Sterling reported something disturbing. Of 294 articles published across four major psychology journals, 286 had reported positive results – that is, a staggering 97% of published papers were underpinned by statistically significant effects. Where, he wondered, were all the negative results – the less exciting or less conclusive findings? Sterling labelled this publication bias a form of malpractice. After all, getting published in science should never depend on getting the “right results”.

You might think that Sterling’s discovery would have led the psychologists of 1959 to sit up and take notice. Groups would be assembled to combat the problem, ensuring that the scientific record reflected a balanced sum of the evidence. Journal policies would be changed, incentives realigned. 

Sadly, that never happened. Thirty-six years later, in 1995, Sterling took another look at the literature and found exactly the same problem – negative results were still being censored. Fifteen years after that, Daniele Fanelli from the University of Edinburgh confirmed it yet again. Publication bias had turned out to be the ultimate bad car smell, a prime example of how irrational research practices can linger on and on.

Now, finally, the tide is turning. A growing number of psychologists – particularly the younger generation – are fed up with results that don’t replicate, journals that value story-telling over truth, and an academic culture in which researchers treat data as their personal property. Psychologists are realising that major scientific advances will require us to stamp out malpractice, face our own weaknesses, and overcome the ego-driven ideals that maintain the status quo.

Here are five key developments to watch in 2014.

1. Replication

The problem: The best evidence for a genuine discovery is showing that independent scientists can replicate it using the same method. If it replicates repeatedly then we can use it to build better theories. If it doesn’t then it belongs in the trash bin of history. This simple logic underpins all science – without replication we’d still believe in phlogiston and faster-than-light neutrinos.

In psychology, attempts to closely reproduce previous methods are rarely attempted. Psychologists tend to see such work as boring, lacking in intellectual prowess, and a waste of limited resources. Some of the most prominent psychology journals even have explicit policies against publishing replications, instead offering readers a diet of fast food: results that are novel, eye catching, and even counter-intuitive. Exciting results are fine provided they replicate. The problem is that nobody bothers to try, which litters the field with results of unknown (likely low) value.

How it’s changing: The new generation of psychologists understands that independent replication is crucial for real advancement and to earn wider credibility in science. A beautiful example of this drive is the Many Labs project led by Brian Nosek from the University of Virginia. Nosek and a team of 50 colleagues located in 36 labs worldwide sought to replicate 13 key findings in psychology, across a sample of 6,344 participants. Ten of the effects replicated successfully.

Journals are also beginning to respect the importance of replication. The prominent outlet Perspectives on Psychological Science recently launched an initiative that specifically publishes direct replications of previous studies. Meanwhile, journals such as BMC Psychology and PLOS ONE officially disown the requirement for researchers to report novel, positive findings.

2. Open access

The problem: Strictly speaking, most psychology research isn’t really “published” – it is printed within journals that expressly deny access to the public (unless you are willing to pay for a personal subscription or spend £30+ on a single article). Some might say this is no different to traditional book publishing, so what’s the problem? But remember that the public being denied access to science is the very same public that already funds most psychology research, including the subscription fees for universities. So why, you might ask, is taxpayer-funded research invisible to the taxpayers that funded it? The answer is complicated enough to fill a 140-page government report, but the short version is that the government places the business interests of corporate publishers ahead of the public interest in accessing science.

How it’s changing: The open access movement is growing in size and influence. Since April 2013, all research funded by UK research councils, including psychology, must now be fully open access – freely viewable to the public. Charities such as the Wellcome Trust have similar policies. These moves help alleviate the symptoms of closed access but don’t address the root cause, which is market dominance by traditional subscription publishers. Rather than requiring journals to make articles publicly available, the research councils and charities are merely subsidising those publishers, in some cases paying them extra for open access on top of their existing subscription fees. What other business in society is paid twice for a product that it didn’t produce in the first place? It remains a mystery who, other than the publishers themselves, would call this bizarre set of circumstances a “solution”.

3. Open science

The problem: Data sharing is crucial for science but rare in psychology. Even though ethical guidelines require authors to share data when requested, such requests are usually ignored or denied, even when coming from other psychologists. Failing to publicly share data makes it harder to do meta-analysis and easier for unscrupulous researchers to get away with fraud. The most serious fraud cases, such as Diederik Stapel, would have been caught years earlier if journals required the raw data to be published alongside research articles.

How it’s changing: Data sharing isn’t yet mandatory, but it is gradually becoming unacceptable for psychologists not to share. Evidence shows that studies which share data tend to be more accurate and less likely to make statistical errors. Public repositories such as Figshare and the Open Science Framework now make the act of sharing easy, and new journals including the Journal of Open Psychology Data have been launched specifically to provide authors with a way of publicising data sharing.

Some existing journals are also introducing rewards to encourage data sharing. Since 2014, authors who share data at the journal Psychological Science will earn an Open Data badge, printed at the top of the article. Coordinated data sharing carries all kinds of other benefits too – for instance, it allows future researchers to run meta-analysis on huge volumes of existing data, answering questions that simply can’t be tackled with smaller datasets.

4. Bigger data

The problem: We’ve known for decades that psychology research is statistically underpowered. What this means is that even when genuine phenomena exist, most experiments don’t have sufficiently large samples to detect them. The curse of low power cuts both ways: not only is an underpowered experiment likely to miss finding water in the desert, it’s also more likely to lead us to a mirage.

How it’s changing: Psychologists are beginning to develop innovative ways to acquire larger samples. An exciting approach is Internet testing, which enables easy data collection from thousands of participants. One recent study managed to replicate 10 major effects in psychology using Amazon’s Mechanical Turk. Psychologists are also starting to work alongside organisations that already collect large amounts of useful data (and no, I don’t mean GCHQ). A great example is collaborative research with online gaming companies. Tom Stafford from the University of Sheffield recently published an extraordinary study of learning patterns in over 850,000 people by working with a game developer.

5. Limiting researcher “degrees of freedom”

The problem: In psychology, discoveries tend to be statistical. This means that to test a particular hypothesis, say, about motor actions, we might measure the difference in reaction times or response accuracy between two experimental conditions. Because the measurements contain noise (or “unexplained variability”), we rely on statistical tests to provide us with a level of certainty in the outcome. This is different to other sciences where discoveries are more black and white, like finding a new rock layer or observing a supernova.

Whenever experiments rely on inferences from statistics, researchers can exploit “degrees of freedom” in the analyses to produce desirable outcomes. This might involve trying different ways of removing statistical outliers or the effect of different statistical models, and then only reporting the approach that “worked” best in producing attractive results. Just as buying all the tickets in a raffle guarantees a win, exploiting researcher degrees of freedom can guarantee a false discovery.

The reason we fall into this trap is because of incentives and human nature. As Sterling showed in 1959, psychology journals select which studies to publish not based on the methods but on the results: getting published in the most prominent, career-making journals requires researchers to obtain novel, positive, statistically significant effects. And because statistical significance is an arbitrary threshold (p<.05), researchers have every incentive to tweak their analyses until the results cross the line. These behaviours are common in psychology – a recent survey led by Leslie John from Harvard University estimated that at least 60% of psychologists selectively report analyses that “work”. In many cases such behaviour may even be unconscious.

How it’s changing: The best cure for researcher degrees of freedom is to pre-register the predictions and planned analyses of experiments before looking at the data. This approach is standard practice in medicine because it helps prevent the desires of the researcher from influencing the outcome. Among the basic life sciences, psychology is now leading the way in advancing pre-registration. The journals Cortex, Attention Perception & Psychophysics, AIMS Neuroscience and Experimental Psychology offer pre-registered articles in which peer review happens before experiments are conducted. Not only does pre-registration put the reins on researcher degrees of freedom, it also prevents journals from selecting which papers to publish based on the results. 

Journals aren’t the only organisations embracing pre-registration. The Open Science Framework invites psychologists to publish their protocols, and the 2013 Declaration of Helsinki now requires public pre-registration of all human research “before recruitment of the first subject”.

We’ll continue to cover these developments at HQ as they progress throughout 2014.

Link original da postagem: http://www.theguardian.com/science/head-quarters/2014/jan/24/the-changing-face-of-psychology

Anúncios

Sobre estudosdects

Oficializado junto ao CNPq em 2010, este grupo existe informalmente desde 2004, ano em que o prof. dr. Antonio Augusto Passos Videira começou a ministrar disciplinas no Programa de Pós-Graduação em Filosofia especificamente voltadas para os problemas, temas e autores dos chamados Science Studies. O objetivo, ao ministrar tais disciplinas, era apresentar aos alunos do PPGFil uma nova perspectiva para a análise da ciência que abarcasse outros eixos teóricos que não apenas aqueles tradicionalmente empregados pela Filosofia. Esses outros eixos temáticos incluem a História e a Sociologia das Ciências. No entanto, e diferentemente do que se pode esperar da perspectiva dos Science Studies, o grupo em torno do prof. Antonio Augusto Videira considera relevante analisar a ciência a partir das suas implicações e/ou pressupostos ontológicos e metafísicos. Desse modo, ocorre também uma ampliação no recurso que se faz da Filosofia, uma vez que esta última não se resume à Filosofia da Ciência. Em outras palavras, a ciência é mais do que apenas um tipo específico de conhecimento sobre a natureza.
Esse post foi publicado em Artigos sugeridos e marcado , , , , , , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s