O processo que levou às nossas recomendações de 2018 (Animal Charity Evaluators)

 

Por Aaron Call (Animal Charity Evaluators)

TOP-ACE(19)

Como encontrar a melhor ONG de defesa animal? (Arte digital: José Oliveira | Fotografias: Pixabay)

Esta publicação fornece uma breve abordagem ao processo específico que levou à atualização das nossas recomendações de 2018. Para uma descrição mais detalhada do processo, por favor consulte a nossa página sobre o Processo de Avaliação de 2018. Para uma descrição mais geral do nosso processo de avaliação, por favor leia o nosso Processo Geral de Avaliação.

Visão Geral

Este ano, fizemos algumas atualizações no nosso processo de avaliação de instituições de caridade, incluindo o envolvimento de consultores em cada um dos nossos sete critérios de avaliação, oferecendo um manual de avaliação para cada instituição de caridade e solicitando que distribuíssem nosso novo questionário sobre cultura organizacional a todos os funcionários e principais voluntários, cujos resultados nos foram enviados diretamente.

Nosso processo de avaliação formal ocorreu de junho a novembro. O cronograma geral do nosso processo de avaliação foi o seguinte:

  • Selecionamos instituições de caridade para analisar e enviamos convites de participação, juntamente com o manual de avaliação de instituições de caridade, no início de julho.
  • Começamos a recolher informações e a realizar pesquisas para avaliações abrangentes em julho.
  • Concluímos os rascunhos completos de nossas avaliações abrangentes em setembro.
  • Em setembro, solicitamos a opinião de nossa diretoria, nosso diretor executivo, nosso ex-diretor de pesquisa e dos consultores de critérios e trabalhamos para incorporar essa opinião nos rascunhos iniciais.
  • Concluímos nossas decisões de recomendações no início de outubro e as comunicamos às instituições de caridade em análise entre 22 de outubro e 24 de outubro de 2018.
  • Publicamos nossas recomendações em 26 de novembro de 2018.

O processo levou à publicação de 11 avaliações abrangentes, novas ou atualizadas, e a uma atualização de nossas recomendações.

gráfico-TOP-ACE(19)

Fig. 1 – Fluxograma representando o processo de avaliação de 2018

 

Nosso Processo de Seleção

Começamos nosso processo de avaliação de 2018 compilando uma lista interna de instituições de caridade para considerarmos serem avaliadas. No final deste processo, obtivemos uma lista interna de 112 instituições de caridade para considerarmos serem avaliadas em 2018. Em seguida, analisamos essa lista e tentamos identificar as instituições que pareciam mais valiosas para avaliar.[1] Inicialmente, selecionamos um total de 15 instituições de caridade para avaliação neste ano com base em fatores como: qual julgávamos ser a probabilidade dessa instituição de caridade vir a ser recomendada e qual a utilidade que julgávamos que teria o conhecimento que iríamos adquirir e potencialmente publicar a partir dessa avaliação abrangente. Em seguida, enviamos nosso manual de avaliação de instituições de caridade para cada uma dessas 15 instituições e as convidamos formalmente a participar do processo de avaliação. Cinco das 15 instituições de caridade se recusaram a ser avaliadas e uma não respondeu.[2] Selecionamos mais três instituições de caridade e as convidamos a participar. Duas destas três aceitaram e ficamos com um total de 11 instituições de caridade para avaliar. Isso incluía as três de nossas Melhores Instituições de Caridades de 2017, quatro de nossas Instituições de Caridades de Destaque de 2016 e quatro instituições que até agora não haviam sido avaliadas.

Avaliações Abrangentes

No início do processo de avaliação, pedimos a cada instituição que fornecesse a documentação de suas finanças, realizações e estratégias, e agendamos entrevistas com os seus dirigentes para recolhermos informação. Para avaliar a cultura do local de trabalho, solicitamos as informações de contato de todos os funcionários para efetuar chamadas confidenciais e fornecemos um questionário para que fosse distribuído à equipe e aos voluntários.[3] Depois de realizar as entrevistas e de reunir a documentação solicitada, começamos a redigir as avaliações preliminares e enviamos perguntas complementares.

Solicitamos a opinião sobre os rascunhos iniciais de nossas avaliações aos nossos consultores de critérios, diretor executivo, ex-diretor de pesquisa, diretor administrativo, editor administrativo, a um pesquisador da divisão de pesquisa experimental e a dois membros da diretoria.

Depois de editarmos as avaliações abrangentes e de tomarmos nossas decisões de recomendações (descritas abaixo), enviamos as avaliações para as instituições de caridade correspondentes para aprovação, juntamente com nossos resumos de conversas e outros documentos de apoio que pretendíamos publicar. As instituições de caridade tiveram a oportunidade de solicitar edições, incluindo pedidos para remover informações confidenciais ou para corrigir erros factuais. No entanto, todas as avaliações representam nossa própria perspetiva e opiniões, que não são necessariamente as mesmas das instituições de caridade avaliadas. Este ano, todas as 11 instituições de caridade para as quais elaboramos avaliações abrangentes concordaram em que se publicassem as suas avaliações.

Recomendações

Depois de se elaborar  a maior parte de cada rascunho da avaliação abrangente, mas antes que as avaliações fossem totalmente concluídas ou enviadas para a aprovação das instituições de caridade, seis membros da equipe de pesquisa, nosso ex-diretor de pesquisa, nosso diretor executivo, nosso diretor administrativo e dois membros da diretoria se reuniram para discutir a seleção das Melhores Instituições de Caridade e das Instituições de Destaque. Como preparação para esta reunião, todos os participantes indicaram em um gráfico suas sugestões, preparadas individualmente, para as Melhores Instituições e para as de Destaque. Houve um acordo inicial substancial sobre a posição de algumas instituições de caridade, mas não todas. Discutimos os pontos fortes e fracos de cada instituição de caridade e atualizamos nossos votos no quadro quando estes mudavam após a discussão. Embora os membros do conselho e ex-diretor de pesquisa fornecessem pontos para a discussão e suas opiniões a respeito das decisões de recomendação, todas as decisões foram tomadas por meio de votos da equipe de pesquisa, diretor administrativo e diretor executivo. Na conclusão desta primeira reunião, chegamos a um acordo unânime sobre a posição de recomendação de três instituições de caridade.

Os mesmos seis membros da equipe de pesquisa, diretor executivo e diretor administrativo se reuniram mais três vezes na semana seguinte e participaram de várias sequências de e-mails para finalizar nossa seleção de 2018 das Melhores Instituições de Caridade e das Instituições de Destaque. Chegamos a um acordo unânime em torno da maior parte de nossas decisões de recomendações. Quanto ao restante, as decisões foram tomadas por maioria dos votos.

Este ano foi a primeira vez que selecionamos quatro Melhores Instituições de Caridade ao invés de três. Acreditamos que, no geral, cada uma de nossas Melhores Instituições de Caridade tem um excelente desempenho face aos nossos critérios. Elas têm planos claros para usar eficazmente fundos adicionais, têm estruturas organizacionais sólidas e demonstraram interesse e capacidade para avaliar seus próprios programas. Houve um consenso unânime ou quase unânime entre a equipe de avaliação de que cada uma destas instituições de caridade deveria ser selecionada como uma das Melhores Instituições de Caridade.

Nossas Instituições de Caridades de Destaque são aquelas que não selecionamos para recomendar como sendo das melhores, no entanto, gostaríamos de chamar a atenção de nossos leitores porque achamos que são bastante promissoras; acreditamos que as doações para essas instituições parecem ter um valor esperado relativamente alto. Achamos que algumas dessas instituições tiveram um desempenho admirável em todos os nossos critérios, mas não tão bom quanto as nossas Melhores. Outras Instituições de Caridade de Destaque têm resultados especialmente bons em apenas alguns dos nossos critérios. Por exemplo, podem trabalhar em uma área promissora, mas faltar-lhes um histórico significativo de impacto. Quando as instituições de caridade tiveram um desempenho muito bom em alguns critérios e não tão bom em outros, tomou mais tempo e discussão para se chegar a um consenso sobre as decisões de recomendação de Destaque. Nesses casos, tivemos várias discussões em que foram apresentados os argumentos a favor e contra a recomendação de Destaque para as instituições de caridade em questão. Assim que esses pontos foram estabelecidos, tomamos as decisões de acordo com o voto da maioria.

Considerações Importantes

Uma série de questões importantes surgiram em nossas discussões sobre quais instituições de caridade recomendar. Discutimos os pontos fortes e fracos relativamente às instituições de caridade que avaliamos, bem como o papel da Animal Charity Evaluators no movimento em defesa dos animais.

Algumas das questões que discutimos são as mesmas que tendemos a enfrentar anualmente. Por exemplo:

  • Existe um número ideal para as Melhores Instituições de Caridade e para as de Destaque?
  • Quanto dinheiro esperamos que nossas recomendações façam chegar às nossas Melhores Instituições de Caridade no próximo ano, e como isso afeta o número de Melhores Instituições que devemos selecionar?
  • Como devemos considerar os tipos de impacto que são especialmente difíceis de estimar? Por exemplo, temos relativamente poucas — ou, em alguns casos, nenhumas — provas que quantifiquem o impacto a longo prazo e o impacto de algumas intervenções relativamente novas.

Outras questões foram mais significativas este ano do que nos anos anteriores. Por exemplo:

  • Em comparação com a defesa de animais da pecuária nos EUA ou na Europa, quão valiosa é a defesa de animais em outras regiões, como a América Latina?
  • Como devemos avaliar as chamadas anônimas de não-liderança e as informações dos questionários de cultura ao avaliar a cultura de uma organização?
  • Dado nosso relatório recente sobre a alocação de recursos dentro do movimento, como deve ser distribuído o financiamento marginal entre diferentes tipos de consequências?
  • Como devemos pesar indicadores mais diretos de impacto marginal (tais como um tipo de intervenção, ou estimativas de custo-eficácia) face a indicadores mais indiretos (como esforços para desenvolver a diversidade e inclusão dentro do movimento) quando estes últimos provavelmente têm impactos significativos, mas mais difíceis de quantificar?

Achamos que responder bem a qualquer uma dessas perguntas é muito difícil e que essa atividade está cheia de incertezas. Ainda assim, de acordo com nossa missão, trabalhamos continuamente para melhorar nossa compreensão da defesa eficaz dos animais.

Para mais informações sobre o nosso pensamento, por favor, veja as próximas publicações no nosso blog sobre vários tópicos, incluindo aspectos que nos surpreenderam no nosso processo de avaliação de 2018 e um gráfico comparando nossas Melhores Instituições de Caridade e as de Destaque.

 

Notas:

[1] Identificamos instituições que estavam em um ou mais dos seguintes grupos como sendo valiosas para que as avaliássemos:

  • Melhores Instituições de Caridade de 2017 e Instituições de Caridade de Destaque de 2016
  • Instituições de caridade que pareciam ser candidatas promissoras para recomendação, incluindo:
    • Instituições de caridade que em sessões anteriores tínhamos assinalado como fortes candidatas a uma avaliação
    • Instituições de caridade fazendo um trabalho incomum ou algum tipo de pesquisa relacionada à defesa animal que pensávamos ser promissora
    • Instituições de caridade fora dos EUA que pareciam ser influentes e de custo-eficácia plausível
    • Instituições de caridade que sabíamos que tinham feito progressos significativos no seu trabalho em comparação com a última vez que as avaliamos
  • Instituições de caridade grandes ou muito conhecidas sobre as quais frequentemente nos questionam, mas que ainda não avaliamos
  • Instituições de caridade que trabalham em outras áreas além da defesa de animais da pecuária que são plausivelmente custo-eficazes

Novas instituições de caridade que podem não ter um longo histórico, mas sobre as quais queríamos saber mais

[2] Das instituições de caridade que se recusaram a participar, a maioria respondeu que estava demasiado ocupada na época e/ou que preferira esperar até 2019 porque esperava que sua situação fosse mudar em breve.

[3] Embora tenhamos solicitado que todas as instituições de caridade enviassem nosso questionário sobre cultura de trabalho, não fizemos com que a participação no processo de avaliação dependesse disso. Três instituições de caridade pediram para em alternativa nos fornecerem resultados de questionários semelhantes que tinham realizado recentemente em vez de aplicar o nosso questionário.


Texto publicado originalmente por Aaron Call na Animal Charity Evaluators a 26 de novembro de 2018.

Tradução de Ligea Hoki. Revisão de José Oliveira.

Botao-assineBoletim

Anúncios

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s