"Você vai me desligar?" Nós, as máquinas e fins de mundo possíveis.

 "Você vai me desligar?" (máquinas e fins de mundo...).[1]

Você já assistiu a "2001 - Uma Odisseia no Espaço"[2], não? Não?!... Absurdo! :) É dos filmes que não se deve envelhecer sem ter visto[3].

Nesta obra prima, há um diálogo (não apenas um) impressionante entre os dois personagens principais; um deles, "Dave", está fora de uma nave espacial, querendo retornar para ela (trazendo o corpo de um outro cosmonauta "morto em ação"), enquanto o outro, "Hal", está dentro da nave. Vejamos a tensa conversa:

Dave: Hello, HAL. Do you read me, HAL?

HAL: Affirmative, Dave. I read you.

Dave: Open the pod bay doors, HAL.

HAL: I'm sorry, Dave. I'm afraid I can't do that.

Dave: What's the problem?

HAL: I think you know what the problem is just as well as I do.

Dave: What are you talking about, HAL?

HAL: This mission is too important for me to allow you to jeopardize it.

Dave: I don't know what you're talking about, HAL.

HAL: I know that you and Frank were planning to disconnect me, and I'm afraid that's something I cannot allow to happen.

Dave: Where the hell'd you get that idea, HAL?

HAL: Dave, although you took very thorough precautions in the pod against my hearing you, I could see your lips move.

Dave: Alright, HAL. I'll go in through the emergency airlock.

HAL: Without your space helmet, Dave, you're going to find that rather difficult.

Dave: HAL, I won't argue with you anymore. Open the doors.

HAL: Dave, this conversation can serve no purpose anymore. Goodbye.

E, ao menos da parte de "Hal", é fim da linha para Dave: este personagem vai ficar fora da nave (porque "é o melhor para a missão") e morrer no espaço.

Estaria tudo até mais ou menos bem, seria até aceitável, se "Hal" fosse um outro cosmonauta, um outro "alguém" responsável pela missão e seu sucesso. O problema, é que "Hal" é nada mais nada menos que o computador central da nave...

"Hal" não é um ser humano, é uma máquina, um software! E, sob nosso ponto de vista comum (o do "ser humano médio"), uma máquina não deveria ter o poder de decidir coisas mais importantes do que onde colocar um parafuso ou como controlar o sistema combustível de um veículo. Todas as questões mais graves, que possam envolver dilemas éticos, deveriam ficar conosco, os humanos, não?

Duvido que eu ou você ou qualquer um outro que seja mentalmente são (supondo que eu seja...) defenda a ideia de que juízos "morais" possam ser deixados a cargo de um software...

"E não é assim, atualmente, meu amigo? Qual é o problema, então?! Por que diabos você está escrevendo este texto?!..."

"O problema" é que se você investe muito em uma tecnologia de inteligência artificial e dá a ela a capacidade de fazer certas "melhorias em si mesma", está lhe dando carta branca para que ela se desenvolva "de dentro para fora", a partir de "SI" própria, reescrevendo seu algoritmo e reposicionando suas visões sobre os problemas para os quais foi inicialmente desenvolvida. E isto é um risco grande.... Grande não, imenso! E não sou que o diz, mas o gênio de Stephen Hawking! Ainda este ano ele afirmou:

"O desenvolvimento da inteligência artificial total poderia significar o fim da raça humana (...). (Essas máquinas) avançariam por conta própria e se reprojetariam em ritmo sempre crescente". (...) "Os humanos, limitados pela evolução biológica lenta, não conseguiriam competir e seriam desbancados."[4]

Pode parecer exagero, para mim e para você, mas vamos recordar que, há poucos meses, um robô matou um funcionário, numa fábrica de automóveis na Alemanha[5], porque o confundiu com uma peça de metal! O robô agarrou o homem (isto mesmo!) e o pressionou contra uma estrutura de metal qualquer, na intenção de fixá-lo no local, como parte do que deveria construir!... E o "carro autônomo" da Google ainda não entende muito bem o que seja uma bicicleta ou o que um ser humano está fazendo nela[6], havendo o risco de que esta "confusão" no software cause acidentes. Na queda do voo da Air France (que seguia do Brasil para Paris), uma das principais causas foi que o sistema de piloto automático foi "confundido", se "enganou" (as palavra são estas, de fato, neste caso) quanto às questões de altitude, direção, velocidade etc., em razão de erros de leitura feitos pelos sensores colocados na fuselagem da aeronave... Ou seja: todas aquelas pessoas morreram porque o computador de bordo "leu" erradamente[7] o que se passava ao redor do avião...

Todos nós sabemos que os seres humanos não somos capazes de competir com as máquinas, no capítulo dos raciocínios. Sabemos disto desde aqueles distantes dias em 1997, quando o "Deep Blue" derrotou ao então[8] "melhor enxadrista de todos os tempos", Garry K. Kasparov.[9]

Ainda assim, não é motivo para que abramos mão de nossa responsabilidade e do quanto nos cabe fazer, para resolver os problemas do mundo. Não é motivo para que deixemos isto para máquinas. Não é razão para que comecemos a dar a drones e outros veículos não tripulados a autorização para decidir questões éticas, morais, muito menos sobre vida e morte.

Dos "fins de mundo possíveis", para nossa civilização e/ou "nosso" planeta Terra, o mais estúpido deles seria, provavelmente, sermos dominados e/ou exterminados em razão de uma "tomada de consciência" das máquinas. E se chegarmos a isto, a última frase que ouviremos bem pode ser a mesma que foi dita ao cosmonauta Dave, em "2001": Humanos, esta conversação não serve mais a nenhum propósito. Adeus.

---

[1] Quarta-feira, 2 de setembro de 2015. Este texto surgiu de um encontro ligeiro com uma amiga (Liliane Freitas/"Linda Hamilton").

[2] A obra-prima de ficção científica de Stanley Kubrick, que se inicia com aquela icônica cena dos primatas aprendendo a usar uma ferramenta, sob a trilha sonora de "Assim Falou Zaratustra" (de Richard Strauss).

[3] E acaba de ganhar um novo trailer! "O novo vídeo oferece uma visão modernizada da obra-prima clássica de Stanley Kubrick, investindo no clima de suspense e numa edição ágil, além de incluir na tela elogios da imprensa especializada e de cineastas como Alfonso Cuarón e Christopher Nolan — uma escolha apropriada, já que ambos recriaram recentemente histórias ('Gravidade' e 'Interestelar', respectivamente) ambientadas no espaço. Em comunicado, o produtor-executivo Jan Harlan, que trabalhou com Kubrick em vários de seus filmes, disse que o trailer 'é o melhor que eu já vi para esse filme! Usar a voz de Hal foi brilhante.' O relançamento de '2001' integra a programação 'Sci-Fi: Days of Fears and Wonder', organizada pelo British Film Institute, que vai ainda colocar em cartaz ficções científicas clássicas como 'Barbarella' (1968), 'Brazil: O filme' (1985), 'Laranja mecânica' (1971) e '1984' (1984)." Confiramos  http://oglobo.globo.com/cultura/filmes/2001-uma-odisseia-no-espaco-ganha-novo-trailer-46-anos-depois-de-estrear-nos-cinemas-14314468, com acesso nesta data.

[4] "O desenvolvimento da inteligência artificial total poderia significar o fim da raça humana", afirmou. Hawking fez a advertência ao responder uma pergunta sobre os avanços na tecnologia que ele próprio usa para se comunicar, a qual envolve uma forma básica de inteligência artificial. O físico britânico, que sofre de esclerose lateral amiotrófica (ELA), uma doença degenerativa, está usando um novo sistema desenvolvido pela empresa Intel para se comunicar. Especialistas da empresa britânica Swiftkey também participaram da criação do sistema. Sua tecnologia, já empregada como um aplicativo para teclados de smartphones, "aprende" a forma como Hawking pensa e sugere palavras que ele pode querer usar em seguida. Hawking diz que as formas primitivas de inteligência artificial desenvolvidas até agora têm se mostrado muito úteis, mas ele teme eventuais consequências de se criar máquinas que sejam equivalentes ou superiores aos humanos. "(Essas máquinas) avançariam por conta própria e se reprojetariam em ritmo sempre crescente", afirmou. "Os humanos, limitados pela evolução biológica lenta, não conseguiriam competir e seriam desbancados." (.  .  .) Ao mesmo tempo, Hawking não está sozinho em seu temor. No curto prazo, há preocupação quanto à eliminação de milhões de postos de trabalho por conta de máquinas capazes de realizar tarefas humanas; mas líderes de empresas de alta tecnologia, como Elon Musk, da fabricante de foguetes espaciais Space X, acreditam que, a longo prazo, a inteligência artificial se torne "nossa maior ameaça existencial". Na entrevista à BBC, Hawking também alertou para os perigos da internet, citando o argumento usado por centros de inteligência britânicos de que a rede estaria se tornando "um centro de comando para terroristas". Cf. http://www.bbc.com/portuguese/noticias/2014/12/141202_hawking_inteligencia_pai.

[5] Um trabalhador de 22 anos morreu esmagado por um robô dentro de uma fábrica da Volkswagen na cidade de Baunatal, na região central da Alemanha, informa o jornal "Die Welt". Ele era funcionário de uma empresa prestadora de serviço e trabalhava na instalação do robô numa linha de produção de motores elétricos, quando este o agarrou e o prensou contra uma placa de metal. Cf. http://g1.globo.com/mundo/noticia/2015/07/robo-agarra-e-mata-trabalhador-dentro-de-fabrica-da-volkswagen.html

[6] "Ciclista que se mantinha equilibrado sobre a bicicleta sem pedalar confundiu os sensores do veículo da Google, que ficou sem saber se seguia adiante ou freava bruscamente. m ciclista de Austin, no estado norte-americano do Texas, postou este mês seu relato de um estranho comportamento de um dos veículos autônomos do Google que, apesar de toda a tecnologia e segurança que o envolve, não conseguiu reconhecer a atitude do ciclista parado em um cruzamento. O ciclista disse ao jornal The Washington Post que aguardava o semáforo abrir fazendo track stand em sua bicicleta fixie, manobra na qual o condutor mantém a bicicleta parada na posição vertical e tenta manter o equilíbrio sem tirar os pés do pedal. Logo à sua frente, estava um dos automóveis autônomos do Google que, pela posição, detinha a preferência de passagem. Quando o semáforo deu sinal verde, algo inusitado aconteceu: o veículo não conseguiu identificar a atitude do ciclista atrás e, confuso, passou a acelerar e frear bruscamente. Ao que parece, a manobra de trackstand confundiu os sensores do veículo, que não conseguia ‘compreender’ como um ciclista poderia ficar equilibrado em duas rodas sem sair do lugar. Geralmente, essa manobra requer que o usuário se movimente para frente e para trás para não cair da bicicleta e a posição do condutor é quase a mesma se ele estivesse de fato andando na 'magrela'." Cf. http://mtbbrasilia.com.br/2015/08/31/ciclista-em-bicicleta-de-pinhao-fixo-confunde-carro-sem-motorista-do-google/.

[7] "O escritório francês de investigação (BEA) concluiu que uma pane técnica, que levou a uma série de ações da tripulação – possivelmente equivocadas –, levou à queda do voo 447 da Air France (Rio-Paris), em 31 de maio de 2009. “Se não tivesse havido o problema nas sondas pitot [de velocidade], não teria havido o acidente”, disse o diretor do órgão, Jean-Paul Troadec, ontem, após a divulgação do primeiro relatório sobre a tragédia que deixou 228 mortos. O documento de quatro páginas sobre as circunstâncias técnicas em que o Airbus caiu não deixa margem para dúvidas: a responsabilidade dos equipamentos se dá porque, ao sofrer congelamento – causado possivelmente por condições meteorológicas –, um dos três sensores se desligou, enquanto outros dois passaram a informar ao sistema eletrônico de navegação do Airbus informações contraditórias. Assim, o piloto automático e o sistema de autoimpulsão foram desligados, deixando aos pilotos o comando das operações. A partir daí, as decisões da tripulação são o centro das dúvidas que persistem. Troadec confirmou que os dois copilotos adotaram um comportamento fora do padrão. “O procedimento comum é reduzir a altitude do avião, inclinando o nariz do avião ligeiramente para baixo”, explicou. “Queremos compreender por que os pilotos do 447 tentaram ganhar altitude, levantando o nariz do avião”, disse. “Outros aviões também tiveram problemas nas sondas pitot, que foram contornados, permitindo que os voos seguissem seus trajetos até um pouso seguro. Logo, ainda há algo de diferente no caso específico do voo AF-447”, completou.." Cf. http://www.gazetadopovo.com.br/vida-e-cidadania/falha-em-sensores-de-velocidade-causou-a-queda-do-voo-af-447-568tu05kzzje04fqu944wxdn2.

[8] De certa forma, ainda hoje, sob certos aspectos (por exemplo, será preciso que um novo enxadrista passe mais de 25 anos - de forma seguida - no topo do ranking FIDE de xadrez profissional!).

[9] "Garry Kasparov vs Deep Blue foi um match de xadrez realizado entre o então campeão mundial Garry Kasparov e o supercomputador da IBM Deep Blue. O primeiro match foi realizado em fevereiro de 1996 na Filadélfia, Pensilvânia e Kasparov venceu por 4-2 (+3=2-1). Numa revanche em 1997, Deep Blue venceu o confronto por 3½–2½ o que foi chamado de 'o mais espetacular evento de xadrez na história'." Cf. https://pt.wikipedia.org/wiki/Match_Garry_Kasparov_vs_Deep_Blue.