Como Verificar as Respostas da IA

As respostas do chat de IA são fluentes, bem organizadas e frequentemente corretas. É precisamente isso que torna as respostas erradas arriscadas: uma estatística inventada parece tão convincente como uma real. Não precisa de verificar tudo, mas precisa de uma rotina rápida e fiável para o que realmente importa. Este guia apresenta esse método.

Por que motivo as respostas da IA podem estar erradas

• Prevê texto plausível. Um modelo de linguagem gera palavras que se encaixam no contexto; não pesquisa factos a menos que utilize uma ferramenta de pesquisa. O nosso guia sobre como funcionam os chatbots de IA explica o porquê.
• O seu conhecimento tem uma data-limite. Preços, leis, titulares de cargos públicos, versões de produtos e horários mudam após a recolha dos dados de treino.
• Pode inventar fontes. Títulos, autores, números de página, ligações e processos judiciais podem ser fabricados com um formato perfeitamente realista.
• Tende a concordar consigo. Uma pergunta indutora, como "Não é verdade que...?", pode levar o modelo a confirmar aquilo em que já acredita.
• Confunde temas semelhantes. Duas pessoas com nomes parecidos, duas leis semelhantes ou duas versões do mesmo software.

Decidir o que precisa de verificação

Adapte o esforço à importância da situação. Como orientação geral:

As afirmações específicas merecem a maior atenção: números, datas, nomes, citações, leis, dosagens, preços, especificações técnicas e referências bibliográficas.

Uma rotina de verificação em cinco passos

1. Divida a resposta em afirmações individuais

Peça à IA para fazer a primeira parte por si:

Lista todas as afirmações factuais da tua resposta anterior numa lista numerada.
Para cada uma, indica o teu grau de certeza (alto, médio ou baixo) e que
tipo de fonte permitiria confirmá-la.

Os níveis de certeza não são totalmente fiáveis por si só, pois os modelos podem errar com grande convicção, mas a lista mostra-lhe exatamente o que deve verificar.

2. Procure a fonte original

Para cada afirmação importante, descubra a sua origem. Dê prioridade a fontes primárias: o instituto nacional de estatística para números, o portal oficial de legislação do governo para leis, o estudo publicado na revista científica, o manual do fabricante ou o site oficial da organização. Um artigo de notícias ou um blogue que cita um número já está a um passo de distância da fonte.

3. Faça uma leitura lateral

Os verificadores de factos profissionais não avaliam uma fonte apenas pelo seu aspeto profissional. Abrem novos separadores e verificam o que outras fontes credíveis dizem sobre a afirmação e sobre a própria fonte. Se várias entidades independentes e conceituadas concordarem, está em terreno seguro.

4. Verifique se as citações existem e dizem o que é alegado

Se a IA fornecer uma referência, pesquise o título exato num motor de busca, catálogo de biblioteca ou base de dados académica. Depois abra o documento e confirme se suporta realmente a afirmação. Por vezes, a IA cita um estudo real para sustentar algo que o estudo não refere.

5. Verifique a data

A informação continua atual? Veja quando a fonte foi publicada ou atualizada pela última vez e se algo mudou entretanto: novos regulamentos, novas versões ou novos preços.

Prompts para obter respostas mais fáceis de verificar

A forma como faz a pergunta pode reduzir os erros à partida:

Fraco:
Quais são os efeitos secundários de [medicamento]?

Mais eficaz:
Quais são os efeitos secundários frequentemente descritos para [medicamento]? Separa
os factos comprovados daquilo de que estás menos seguro e indica claramente
se não souberes. Diz-me qual o documento oficial, como o folheto informativo,
que devo consultar para confirmar.

Outras frases úteis a acrescentar:

• "Se não tiveres a certeza, diz-me em vez de tentar adivinhar."
• "Responde apenas com base no texto que colei abaixo. Se o texto não referir a resposta, avisa-me."
• "O que diria alguém que discorda desta resposta?"
• "Que partes desta resposta podem estar desatualizadas?"

Pedir respostas com base em texto fornecido por si é especialmente fiável. Cole o documento e faça perguntas sobre ele, ou use o resumidor, verificando depois o resultado contra o original. Também pode abrir um prompt de verificação de afirmações no chat para planear as suas verificações.

Sinais de alerta numa resposta de IA

• Números invulgarmente precisos sem qualquer fonte, como uma percentagem com uma casa decimal.
• Citações atribuídas a figuras públicas que não se encontram em mais lado nenhum.
• Referências com pormenores estranhos: uma revista científica que não aborda o tema, um autor que não trabalha na área ou uma ligação que não abre.
• Uma resposta que muda por completo ao regenerá-la ou ao perguntar "Tens a certeza?".
• Afirmações legais ou médicas sem qualquer menção ao país, dosagem ou circunstâncias.
• Informação sobre acontecimentos recentes apresentada sem indicação de data.

Perguntar "Tens a certeza?" pode ser revelador, mas não considere a nova resposta necessariamente correta. Por vezes, os modelos também recuam em respostas certas sob pressão. Confirme sempre fora do chat.

Perguntar a outra IA ajuda?

Comparar respostas de diferentes modelos no menu do chat, ou recorrer a outro serviço de IA, pode revelar discrepâncias que merecem atenção. No entanto, os sistemas de IA são treinados em dados coincidentes e podem partilhar os mesmos erros, pelo que a concordância entre duas IAs não serve de prova. Utilize-as para identificar o que precisa de verificar, não como a verificação em si.

Estudantes e investigadores encontrarão mais ideias em IA para estudantes, ChatG para investigadores e nos prompts de estudo.

Onde verificar diferentes tipos de afirmações

Perguntas frequentes

Com que frequência a IA se engana?

Varia bastante consoante o modelo, o tema e o tipo de pergunta, pelo que não existe uma percentagem única e rigorosa. Temas amplamente conhecidos são geralmente tratados com mais precisão do que assuntos de nicho, acontecimentos recentes, números exatos e citações.

É seguro usar a IA para dúvidas médicas ou jurídicas?

Pode usá-la para compreender termos técnicos, preparar perguntas e obter contexto geral. Não a utilize para tomar decisões sobre tratamentos, medicação, processos judiciais ou finanças sem consultar um profissional qualificado. Em caso de emergência, contacte as autoridades de socorro locais.

Devo pedir fontes à IA?

Sim, porque isso indica-lhe o que procurar. Mas consulte sempre cada fonte diretamente, pois a IA pode criar referências que não existem ou que não corroboram o que ela afirma.

Porque é que as ligações nas respostas da IA às vezes não funcionam?

A menos que a IA tenha acedido à internet em tempo real, uma ligação na sua resposta é texto gerado como qualquer outro. Pode apontar para uma página que mudou de sítio ou para um endereço que nunca existiu, apesar de parecer credível. Pesquise pelo título ou pela organização em vez de confiar no endereço exato.

Qual é a forma mais rápida de verificar um facto isolado?

Pesquise pela afirmação específica e procure uma fonte primária ou de elevada reputação entre os primeiros resultados. Se não encontrar nenhuma em poucos minutos, não tome a afirmação como certa.