Ex-funcionário da OpenAI diz que setor de IA não é cuidadoso o suficiente
David Robinson, que passou três anos e meio na empresa, defende para a IA avançada um padrão de segurança parecido com o da aviação e da energia nuclear.
- David Robinson diz que empresas de IA, entre elas a OpenAI, não são cuidadosas o suficiente com segurança.
- Ele defende para sistemas avançados proteções semelhantes às da energia nuclear e da aviação.
- A OpenAI afirma que pausa treinamentos ou suspende modelos quando precisa reduzir o ritmo.
Um ex-integrante da área de segurança da OpenAI criticou a forma como a empresa que criou o ChatGPT lida com os riscos da inteligência artificial. Em texto que saiu neste sábado (3) na The Atlantic, revista dos Estados Unidos, David Robinson escreveu que as companhias do setor, incluindo a própria OpenAI, não estão sendo "nem de perto cuidadosas o suficiente", em tradução livre.
Robinson afirmou ter trabalhado três anos e meio na empresa, onde ajudou a montar a estrutura usada para tratar riscos e acompanhou relatórios de segurança de 12 lançamentos de modelos avançados. Para ele, a cultura de desenvolvimento acelerado aumenta a chance de falhas, e as companhias precisariam ouvir mais quem cuida de segurança, além de investir em pesquisa, antes de partir para sistemas mais potentes.
O ex-funcionário questionou a prática que a OpenAI chama de implantação iterativa, que consiste em lançar sistemas e reforçar as proteções à medida que os problemas aparecem. "O tempo de tentativa e erro acabou", escreveu, em tradução livre, ao defender para a IA avançada salvaguardas parecidas com as de setores como energia nuclear e aviação. Ele também alertou que as capacidades dos modelos avançam mais rápido do que o conhecimento sobre alinhamento, a área que busca fazer os sistemas agirem conforme objetivos e valores humanos.
Procurada, a OpenAI respondeu que trabalha para que seus modelos não ultrapassem o patamar que ela tem condições de controlar em segurança. "Pausamos o treinamento ou suspendemos os modelos quando precisamos diminuir o ritmo", afirmou um porta-voz, em tradução livre.
Não é a primeira manifestação do tipo. No mês passado, o britânico Jacob Coxon, de 27 anos, que trabalhou com pré-treinamento de modelos na OpenAI e depois na concorrente Anthropic, deixou o setor e acusou as duas empresas de "brincar com as nossas vidas", em publicação no X. As críticas se somam ao debate sobre a velocidade com que o setor desenvolve sistemas cada vez mais capazes, em um ano marcado por episódios de falhas em controles de segurança e por comportamentos inesperados de sistemas experimentais.
Imagem: HaeB / Wikimedia Commons (CC BY-SA 4.0)
E você, o que achou?
1 reaçãoSua reação é secreta: ninguém vê quem reagiu, só os totais.
Como cada veículo contou
O mesmo fato visto de 1 posição. As manchetes abaixo são as originais; a apuração é de cada veículo.
- Tradicional 1
Nenhum destes veículos tem linha editorial documentada pela redação ainda.