Um relatório da Deloitte sobre saúde, encomendado pelo governo canadense e que custou quase US$ 1,6 milhão a uma província, contém erros potencialmente gerados por IA, marcando o segundo país neste ano, depois da Austrália, a apontar falhas da consultoria em verificação de fatos.
Os erros, identificados em uma investigação publicada no sábado pelo theIndependent, um veículo progressista canadense que cobre a província mais oriental do país, Newfoundland e Labrador, aparecem em um relatório de 526 páginas divulgado pelo governo em maio.
O documento orientava o então governo liderado pelos liberais, por meio do Departamento de Saúde e Serviços Comunitários, sobre temas como telessaúde, incentivos de retenção de profissionais e os impactos da pandemia de Covid-19 sobre trabalhadores da saúde, em um momento em que a província enfrenta escassez de médicos e enfermeiros.
Segundo o theIndependent, o relatório da Deloitte continha citações falsas, retiradas de artigos acadêmicos inexistentes para embasar análises de custo-efetividade, além de atribuir a pesquisadores reais trabalhos nos quais eles nunca atuaram. O texto também incluiu artigos fictícios supostamente coassinados por acadêmicos que afirmaram jamais ter trabalhado juntos.
“Deloitte Canadá defende firmemente as recomendações apresentadas em nosso relatório”, disse um porta-voz da consultoria, em nota enviada à Fortune. “Estamos revisando o documento para corrigir um pequeno número de citações, que não impactam as conclusões do relatório. A IA não foi usada para escrever o relatório; ela foi utilizada pontualmente para apoiar um número limitado de referências de pesquisa.”
O extenso relatório também citou um artigo acadêmico do Canadian Journal of Respiratory Therapy, que não pôde ser encontrado no banco de dados da publicação.
“Parece que, se você está produzindo coisas desse tipo, pode haver um uso bastante intenso de IA para gerar o trabalho”, disse ao theIndependent Gail Tomblin Murphy, professora adjunta da Escola de Enfermagem da Universidade Dalhousie, na Nova Escócia. Tomblin Murphy foi citada pela Deloitte em um artigo acadêmico que “não existe”. Ela acrescentou que trabalhou com apenas três dos seis coautores mencionados na citação falsa.
“E eu definitivamente acho que há muitos desafios nisso. Precisamos ter muito cuidado para garantir que as evidências que embasam os relatórios sejam de alta qualidade, sejam validadas. E que, no fim das contas, esses relatórios, não apenas porque custam ao governo e ao público, sejam precisos, baseados em evidências e úteis para avançar as políticas.”
Até a terça-feira (25), o relatório permanecia disponível no site do governo canadense.
O governo federal gastou pouco menos de US$ 1,6 milhão no documento, pago em oito parcelas, segundo um pedido de acesso à informação publicado na última quarta-feira.
Tony Wakeham, líder do Partido Conservador Progressista na província e novo premier provincial, assumiu o cargo no fim de outubro. O gabinete do premier e o Departamento de Saúde e Serviços Comunitários de Newfoundland e Labrador não responderam imediatamente ao pedido de comentários da Fortune sobre o relatório de maio e não se pronunciaram publicamente sobre o caso.
A revelação surge semanas após vir à tona que a Deloitte utilizou IA em um relatório de US$ 290 mil publicado em julho para ajudar o governo australiano a reforçar a fiscalização do sistema de assistência social. Mas um pesquisador identificou alucinações no estudo de 237 páginas, incluindo referências a artigos acadêmicos inexistentes e até uma citação fabricada de uma decisão judicial federal.
Na versão revisada, que foi carregada discretamente no site do governo australiano, a consultoria admitiu que utilizou o sistema de linguagem de IA generativa Azure OpenAI para auxiliar na elaboração do relatório.
“As atualizações feitas de forma alguma alteram ou afetam o conteúdo substantivo, as conclusões ou as recomendações do relatório”, escreveu a Deloitte em um trecho da versão atualizada.
A unidade australiana da Deloitte foi obrigada a reembolsar parcialmente o governo pelo estudo. Ainda não há informações públicas sobre um possível reembolso referente ao relatório canadense.
