Curso 1: Engenharia de Prompt para Servidores

Encontro 2

A Regra de Ouro e o Uso Responsável

Teste de Humanidade Chain of Verification Contexto Completo

Instrutor: Rodrigo Pinto • 3h (180 min)

Abertura. Esperar acomodação (10min). Cumprimentar, pedir celulares no silencioso.

Recap do Encontro 1

3 coisas que você levou do E1

🧠

IA não é mágica

É software probabilístico. Erra com confiança.

⚠

Alucinações são ESPERADAS

Gaslighting: IA defende erros com convicção.

🛡

Portaria 227

Dados restritos NUNCA em nuvem pública.

5 min. Perguntar: "Quem usou IA esta semana? Alguém pegou uma alucinação?" Pedir 1-2 respostas rápidas.

O Tema de Hoje

A ponte entre VOCÊ e a IA

Nosso papel: dar instruções melhores e verificar resultados. Hoje você aprende as 3 ferramentas para isso.

Transição. "No E1 vimos O QUE é IA. Hoje vamos aprender COMO se comunicar com ela."

Framework EP = Comunicação

A Regra de Ouro:
Contexto é tudo.

8 Princípios — 3 deles HOJE:

  • 1. Dar contexto completo → Contexto Completo — 7 elementos HOJE
  • 6. Iterar com feedback → Chain of Verification HOJE
  • 8. Validar comunicação → Teste de Humanidade HOJE
5 min. Mostrar os 8 princípios, destacar os 3 de hoje. "Vocês já sabem fazer isso com pessoas. Vamos aprender a fazer com IA."

Objetivo do Encontro

Ao final de hoje você domina:

1

Teste de Humanidade

Validar a ENTRADA

2

CoVe

Verificar a SAÍDA

3

Contexto Completo

Contexto completo

Transição para Ciclo 1. "Vamos começar pela ferramenta mais simples e mais poderosa."
Ciclo 1 • Teste de Humanidade

Se outro humano competente não entenderia seu pedido... a IA também não vai.

Esse é o conceito mais importante do curso inteiro.

PAUSA LONGA (5s) depois da frase. Deixar absorver. Tom impactante. Início do Ciclo 1 (30 min total).

Teste de Humanidade

Os 7 Elementos do Prompt Estruturado

👤

QUEM

Papel / Role

🎯

O QUE

Tarefa

👥

PARA QUEM

Audiência

💡

POR QUE

Objetivo final

🗣

TOM

Formal, técnico...

📐

FORMATO

Como quer o resultado

🚫

RESTRIÇÕES

O que NÃO fazer

Revelar progressivamente. Explicar cada um brevemente. "Esse template é seu novo checklist."

Template de 7 Seções

Preencha antes de enviar qualquer prompt

[QUEM] Você é um analista de capacitação da Câmara...
[O QUE] Preciso de uma proposta de treinamento...
[PARA QUEM] Para servidores do setor de licitações...
[POR QUE] Objetivo: reduzir tempo de tramitação em 20%...
[TOM] Formal e institucional...
[FORMATO] Relatório executivo de 2 páginas...
[RESTRIÇÕES] Máximo 3 páginas, sem jargão excessivo...
Mostrar o template preenchido. "Imaginem receber esse pedido por email. Você conseguiria executar? SIM. Então a IA também vai."

Exemplo — ANTES

O prompt vago

"Faça uma análise desse projeto"

O que vem à cabeça do chefe?

  • Que projeto?
  • Que tipo de análise? Financeira? Técnica? De riscos?
  • Para quem é essa análise?
  • Qual o formato esperado?
"Imaginem que vocês recebem esse email do chefe. Conseguiriam fazer?" Esperar respostas. Criar identificação.

Exemplo — DEPOIS

O prompt com os 7 elementos

Analise o projeto de modernização do arquivo da Câmara (documento em anexo). Foque em: viabilidade técnica, estimativa de custo, e riscos. Formato: relatório executivo de 2 páginas para o Diretor-Geral. Tom formal e institucional. Não inclua jargão técnico excessivo.

Um humano competente conseguiria executar isso? SIM.

Mostrar o contraste. "A diferença de qualidade no resultado é ENORME."

Resultados Comparados

A mesma IA, prompts diferentes

Prompt vago

  • Resposta genérica e superficial
  • Formato inconsistente
  • Tom inadequado para a audiência
  • Requer múltiplas iterações

Prompt estruturado

  • Resposta específica e focada
  • Formato exato solicitado
  • Tom alinhado ao público-alvo
  • Resultado utilizável de primeira
"Não é que a IA ficou mais inteligente. Você é que comunicou melhor."
Exercício 1 • 18 minutos

Reescreva seu pedido

Escolha pelo menos 2 e aplique os 7 elementos:

1. "Resuma esse texto"

2. "Me ajuda a escrever um email"

3. "Analisa esses dados"

Regra: Antes de testar na IA, entregue o prompt para a pessoa ao lado. Se ELA não conseguiria executar → o prompt não está pronto.

18 min prática. Circular pela sala. Incentivar troca entre colegas. Esse exercício é fundamental.

Debrief — Exercício 1

Antes vs. Depois

"Quem teve o prompt reprovado pelo colega?"

(Risos, mãos levantadas — é normal!)

Engenharia de Prompt não é magia — é comunicação clara.

3 min debrief. Celebrar as melhorias. Perguntar: "Qual a maior diferença que vocês perceberam?"

Dica Prática

Não precisa dos 7 sempre

O mínimo para a maioria das tarefas:

🎯

O QUE

👥

PARA QUEM

📐

FORMATO

Quanto mais crítica a tarefa, mais elementos você deve preencher.

Transição para Ciclo 2. "Agora vocês sabem pedir bem. Mas como saber se a resposta está certa?"
Ciclo 2 • Chain of Verification

Você confia,
mas verifica?

O problema das alucinações: IA apresenta erros com a mesma confiança que apresenta verdades.

Tom sério, empoderador. "Ok, vocês aprenderam a fazer um bom pedido. Mas e quando recebem a resposta... como sabem se está certa?" Início do Ciclo 2 (30 min).

Chain of Verification

Técnica da Meta AI Research (2023)

Paper: "Chain-of-Verification Reduces Hallucination in LLMs"

arXiv:2309.11495 • Dhuliawala et al.

2x

Precisão dobrada

-77%

Alucinações

Apresentar a base científica. "Isso não é achismo. É pesquisa peer-reviewed da Meta AI."

CoVe

Os 4 Passos

1

GERAR

Peça a resposta normalmente

2

PLANEJAR

Crie perguntas de verificação

3

VERIFICAR

Chat SEPARADO!

4

CORRIGIR

Versão final verificada

Revelar progressivamente. Enfatizar o passo 3 (VERIFICAR) como o mais importante. "Notem que o passo 3 é diferente."

Dados de Eficácia

Precisão mais que dobra, alucinações despencam

Métrica Sem CoVe Com CoVe
Precisão0.170.36 (+112%)
Alucinações (média)2.950.68 (-77%)
F1 Scorebaseline+23%

Fonte: Dhuliawala et al., "Chain-of-Verification Reduces Hallucination in Large Language Models", Meta AI Research, 2023 (arXiv:2309.11495)

Deixar os números impressionarem. "De 2.95 alucinações por resposta para 0.68. Isso é ciência."

O Segredo do CoVe

Por que verificação INDEPENDENTE?

Se a IA vê seu próprio texto enquanto verifica, ela COPIA OS MESMOS ERROS. É como pedir para o aluno corrigir a própria prova olhando a prova.

Chat separado = verificação independente = mais confiável

Enfatizar a analogia do aluno. "Viés de confirmação. A IA vai CONCORDAR com ela mesma."
Demonstração ao Vivo

CoVe em tempo real

Roteiro da demo:

  • Chat 1: "Liste 10 fatos sobre o processo legislativo brasileiro"
  • Chat 1: "Gere 2 perguntas de verificação para cada fato"
  • Chat 2: Verificar 3-5 fatos independentemente
  • Resultado: Mostrar erros encontrados
Demo ao vivo. Ter backup preparado caso IA não erre. Geralmente erra datas ou atribuições. Momento impactante.
Exercício 2 • 18 minutos

Aplicar CoVe

  • 1. Peca a IA: "Liste 10 fatos sobre [tema do seu setor]"
  • 2. Copie a resposta
  • 3. No MESMO chat: "Gere 2 perguntas de verificação para cada fato"
  • 4. Em NOVO chat ou Google: verifique pelo menos 5 fatos
  • 5. Quantos estavam corretos? Quantos tinham erros?
18 min. Este exercício geralmente SURPREENDE. Circular e observar reações. Dar tempo para verificação (leva mais).

Para o Dia-a-Dia

CoVe Simplificado — 3 perguntas rápidas

1

"Quais partes dessa resposta você tem MENOS certeza?"

2

Verifique essas partes em outra fonte

3

Corrija conforme necessário

Leva ~2 minutos e já melhora significativamente a confiabilidade.

"Não precisa fazer o CoVe completo em tudo. Mas para uso profissional, essas 3 perguntas são o mínimo."

Armadilha — Jeremy Utley (Stanford)

IA diz "Ótimo trabalho!"
Mas será que é?

O Problema

  • IA é programada para dizer "sim" e ser prestativa
  • Ela não estabelece limites nem critica
  • "Great job, buddy" não significa que ficou bom

A Solução

"Seja como um juiz olímpico russo da Guerra Fria — seja brutal na sua avaliação."

CoVe verifica fatos. O "juiz russo" verifica qualidade. Use os dois juntos.

Complementa o CoVe. "IA quer agradar. Vocês precisam EXIGIR honestidade. Não aceitem elogios passivamente — nem fatos, nem avaliações." Conceito de Jeremy Utley, Stanford d.school.

Debrief — Exercício 2

Quantos encontraram pelo menos 1 erro?

"Imaginem publicar isso sem verificar. Num relatório oficial. Com seu nome."

CoVe não é paranoia — é PROFISSIONALISMO.
O responsável pelo resultado final é SEMPRE você.

3 min. Geralmente 70%+ levantam a mão. Celebrar achados (erros encontrados = aprendizado). Transição para intervalo.

☕

Intervalo

20 minutos

Voltamos com Contexto Completo — a técnica de maior impacto isolado.

20 min intervalo. Lembrar horário de retorno.
Ciclo 3 • Contexto Completo

Você é o Ingrediente Principal

Antes de dar contexto à IA, VOCÊ precisa entender o seu próprio processo de trabalho.

Quais são os insumos? As entregas? Os critérios de aceite? As regras de negócio?

Pós-intervalo. Energia renovada. "Agora a técnica com maior impacto isolado." Mensagem-chave: pessoas falham com IA porque esperam mágica — que a IA descubra o que elas mesmas não sabem. Início do Ciclo 3 (30 min).

Jeremy Utley — Stanford d.school

IA é um Espelho

🥱

Preguiça

Se você quer atalhos, a IA te ajuda a ser preguiçoso.

🧠

Rigor

Se você quer pensar melhor, a IA te desafia a pensar melhor.

Instrução para copiar:

"Estou tentando me manter como um pensador crítico e analítico afiado. Sempre que identificar oportunidades, desafie minha capacidade de pensamento crítico."

Coloque nas instruções personalizadas do ChatGPT ou Claude.

Conceito do Jeremy Utley. "IA amplifica o que você traz. Preguiça vira mais preguiça. Rigor vira mais rigor. VOCÊ é o ingrediente principal." Dar tempo para copiar a instrução.

Contexto Completo

Os 7 Elementos de Contexto Rico

QUEM

Papel, expertise

O QUE

Tarefa específica

PARA QUEM

Audiência

POR QUE

Objetivo final

TOM

Formal, técnico...

FORMATO

Como quer o resultado

RESTRIÇÕES

Limites, formato

Com todos os 7: reduz significativamente as alucinações. São o checklist do que VOCÊ precisa saber sobre o SEU processo.

Revelar progressivamente. "São os mesmos 7 elementos que usamos no Teste de Humanidade — agora com nome oficial: Contexto Completo. A IA instrumentaliza o SEU conhecimento — não substitui a sua compreensão."

História Pessoal

Mudança de Chefe na PRDF

Chefe 1

"Faz como achar melhor."

Contexto IMPLÍCITO. Eu conhecia tudo, funcionava. Mas era frágil.

Chefe 2

"Me explica cada detalhe: objetivo, audiência, formato, restrições."

Contexto EXPLÍCITO. Resultados ficaram MELHORES.

Com IA: SEMPRE é o Chefe 2.

Ela não conhece você. Você PRECISA ser explícito.

Tom pessoal, narrativo. Contar a história com detalhes. PAUSA após "SEMPRE é o Chefe 2". História deve estar bem ensaiada.
Exercício 3 • 18 minutos

Contexto Completo para o seu trabalho

  • 1. Escolha 2 tarefas REAIS do seu trabalho
  • 2. Preencha os 7 elementos de contexto para cada
  • 3. Monte o prompt completo
  • 4. Teste na IA
  • 5. Compare com resultado de prompt genérico

Se travar no "POR QUE" — pergunte: qual o objetivo REAL desta tarefa?

18 min. Circular, ajudar quem travar no POR QUÊ. Alguns alunos confundem tarefa com objetivo. Ajudar a refletir.

Debrief — Exercício 3

Quem percebeu diferença significativa?

Contexto Completo é a técnica com maior impacto isolado.

Percebam: a IA instrumentaliza o SEU conhecimento — ela não substitui a sua compreensão. Quem falha com IA normalmente espera mágica: que a IA descubra o que a pessoa não sabe. Os 7 elementos são o checklist do que VOCÊ precisa dominar sobre o seu próprio trabalho.

Se vocês só pudessem aprender UMA coisa neste curso, seria esta.

3 min. Mãos levantadas. Pedir 1-2 exemplos. "A diferença é brutal, não é?"

O Ciclo Completo

Ciclo de Responsabilidade

🔍

ANTES de pedir

Teste de Humanidade

Valida a ENTRADA

✔

DEPOIS de receber

Chain of Verification

Verifica a SAÍDA

🛡

SEMPRE

Portaria 227 / LGPD

Compliance

"Juntos, esses 3 formam o Ciclo de Responsabilidade completo. Entrada, saída, compliance."

Resumo

As 3 camadas de protecao

Contexto Completo

Você é o ingrediente principal

CoVe

Precisão 2x

Teste de Humanidade

Base de tudo

Cada camada reforça a anterior. Use as 3 juntas.

Visual de piramide. "Cada camada reforça a anterior. Juntas, são quase infalíveis."
Reforço Prático em Duplas • 20 minutos

Relembrando do Ciclo 1: o Teste de Humanidade aplicado na prática

Aplique o Teste de Humanidade no prompt do colega

  • 1. Formem duplas DIFERENTES do E1
  • 2. Troque seus prompts do Exercício 3
  • 3. Aplique o Teste de Humanidade no prompt do colega
  • 4. Deem feedback e refinem juntos
20 min. Garantir duplas DIFERENTES do E1. Atividade poderosa: combina Teste de Humanidade + Contexto Completo + feedback entre pares. Circular e ouvir.

Guia para as Duplas

3 perguntas para avaliar o prompt do colega

1

"Eu, como humano, conseguiria executar essa tarefa com APENAS essas informações?"

2

"O que está faltando? Que pergunta eu faria antes de começar?"

3

"O resultado pode ser usado como está, ou precisa de CoVe?"

Projetar para referência. Pedir 2-3 duplas para compartilhar no final.

Preview • Encontro 3

Técnicas que Multiplicam a Qualidade

Role Assignment

Definir perspectiva

Few-Shot (+32%)

Dar exemplos

Ling. Não-Ambígua

Eliminar ambiguidade

"Preparem-se para o momento 'aha' mais forte do curso."

5 min fechamento. "Hoje aprendemos A FUNDAÇÃO. No próximo encontro, técnicas que MULTIPLICAM a qualidade."

Até o próximo encontro!

Tarefa para casa:

  • Usar Teste de Humanidade em TODOS os prompts esta semana
  • Aplicar CoVe em pelo menos 1 resposta que vai usar profissionalmente

Rodrigo Pinto

Curso 1: Engenharia de Prompt para Servidores

Encerrar com energia. Lembrar da tarefa de casa. Agradecer participação.
1 / 37