Gigantes de tecnologia como Google e Facebook nos acostumaram, até nos cansaram,, à sua interminável sequência de anúncios impressionantes de progresso no campo da IA. No entanto, quando a Google anunciou que criou um “agente de conversação que pode conversar sobre … qualquer coisa”, mesmo os mais cansados de nós tiveram que prestar atenção.
Como trabalho no campo, ajudando as organizações a criar soluções de conversação, fiquei particularmente intrigado. Um dos maiores desafios para os bots é lidar com as infinitas frases possíveis que um usuário pode dizer e responder adequadamente. Um bot que pode conversar sobre qualquer coisa parece exatamente o que precisamos para resolver esse desafio. Portanto, a questão passa a ser exatamente o impacto que o novo bot do Google, chamado Meena, terá nas organizações que desejam implantar aplicativos de IA de conversação. Nós encontramos o Santo Graal? Será que nossos robôs finalmente vão parar de dizer “me desculpe, eu não entendi direito”? Bem, a resposta curta é que não, ainda não chegamos lá. No entanto, Meena é incrivelmente impressionante e representa uma tentativa fascinante de resolver o problema. Nos próximos parágrafos,
O que é Meena?
Vamos começar analisando o que estamos lidando aqui. O que a Google inventou?
Bem, Meena é um modelo de conversação neural treinado de ponta a ponta de 2,6 bilhões de parâmetros . A melhor versão do Meena, de acordo com a Google, foi treinada por 30 dias usando 2.048 unidades de processamento tensorial (chip específico da Google para IA) da Google em um conjunto de dados de 40 bilhões de palavras. Não são apenas palavras aleatórias. A Google extraiu as mídias sociais de domínio público para “conversas com várias voltas”, em que uma vez é um par de frases em uma conversa. Então a Google saiu e conseguiu nossas conversas, 40 bilhões de palavras, e treinou uma rede neural para responder, mostrando sete turnos de conversa como entrada. De qualquer forma, Meena é vasta. Mesmo se a Google divulgasse todo o seu código, o que não é o caso, apenas algumas organizações seriam capazes de treinar um modelo semelhante ao Meena. Essa é a primeira coisa a entender. Meena ainda está muito no laboratório e é muito, muito complexa de gerenciar. Você ainda não pode incorporá-lo em uma ferramenta, e é improvável que a Google disponibilize-o como um serviço em breve. Portanto, a curto e médio prazos, nossos robôs terão que sobreviver sem a ajuda de Meena.
Primeiro, para afirmar que o Meena supera outros chatbots precisaríamos de alguns critérios de avaliação. A Google introduziu uma nova métrica para ajudar com isso chamada “Sensibilidade e especificidade média” ou SSA. A inovação que essa pontuação introduz é que ela mede se a resposta de um bot é sensata, ou seja, o que um humano classificaria razoavelmente como uma resposta apropriada e se a resposta é específica. Normalmente, os bots empregam “truques” para fazer você pensar que eles estão acompanhando a conversa, quando na prática eles estão apenas dando respostas genéricas que não são necessariamente específicas ao contexto. Por exemplo, você pode ter uma conversa como:
Humano: Eu realmente amo filmes de espionagem!
Bot: Incrível. Me diga mais!
Esta é uma resposta sensata, mas não é específica. A mesma resposta funciona para qualquer número de declarações de uma pessoa. Uma resposta mais específica seria:
Humano: Eu realmente amo filmes de espionagem!
Bot: Incrível. Gosto de todos os filmes de espionagem da Missão Impossível. Qual é seu favorito?
Para ler a íntegra em inglês, clique aqui.
