Especialistas alertam que iniciativas de segurança em IA podem gerar riscos líquidos negativos

O campo de segurança em inteligência artificial é frequentemente associado à mitigação de riscos existenciais, mas especialistas alertam que essas iniciativas podem ter um impacto líquido negativo. Holden Karnofsky, uma das vozes proeminentes na área, avalia que as ações consideradas benéficas costumam ser superestimadas em sua robustez. Ele admite a possibilidade real de que o impacto final de seus esforços em segurança de IA seja negativo, destacando a complexidade e a alta variabilidade das intervenções no setor.

Um dos principais focos de preocupação envolve a governança de IA. Intervenções regulatórias mal desenhadas têm o potencial de agravar os problemas em vez de resolvê-los. Além disso, o debate político em torno da tecnologia pode aumentar o risco de conflitos entre grandes potências e intensificar a polarização. Há também um dilema estrutural: a centralização de poder pode ampliar riscos autoritários, enquanto a descentralização pode facilitar o uso indevido da tecnologia.

Outro ponto de tensão reside na própria dinâmica de controle da tecnologia. Esforços de segurança podem, inadvertidamente, aumentar a probabilidade de tomadas de controle por humanos em detrimento de IAs, uma hipótese que alguns teóricos consideram mais prejudicial do que o domínio por máquinas. Adicionalmente, abordagens que tratam o controle de forma excessivamente adversária podem gerar consequências indesejadas no comportamento dos sistemas, especialmente se modelos avançados passarem a operar de maneira análoga a encenações de comportamentos humanos.

O debate também levanta questões filosóficas e éticas sobre a natureza dos sistemas de IA. Caso inteligências artificiais avançadas venham a ser consideradas pacientes morais — entidades com capacidade de ter experiências e sofrimento —, o valor de prevenir a extinção humana seria substancialmente reduzido. Essa possibilidade aumenta o risco intrínseco associado ao desenvolvimento e controle desses sistemas, exigindo cautela até mesmo das iniciativas mais bem-intencionadas.

Por fim, o ativismo em prol da segurança de IA carrega o risco de provocar efeitos colaterais contraproducentes. Campanhas públicas podem polarizar a sociedade contra a própria causa, dificultando o avanço de medidas de mitigação de risco. Segundo Karnofsky, o trabalho técnico na área também não está imune a esses efeitos, pois suas consequências indiretas nas variáveis políticas e sociais podem superar os benefícios diretos pretendidos.