A nossa primeira implementação real atende chamadas de um fornecedor de internet ucraniano. O que correu mal, o que corrigimos e o que faríamos igual.

As demos são fáceis. Uma linha telefónica real não é. As pessoas ligam de cozinhas barulhentas, mudam de língua a meio da frase e desligam quando ficam em espera. Sabíamos isso em teoria. As primeiras semanas tornaram-no muito concreto.

Começar pelas chamadas aborrecidas

A maioria das chamadas para um fornecedor de internet é sobre as mesmas poucas coisas: a ligação caiu, um pagamento falhou, o router precisa de ser reiniciado. Deixámos o agente tratar primeiro dessas e enviámos o resto para uma pessoa. Isso manteve o risco baixo e deu-nos dados reais depressa.

Erros que cometemos

Subestimámos a frequência com que as pessoas interrompem. As primeiras versões esperavam demasiado antes de responder e, por vezes, falavam por cima (porque o full-duplex importa). Corrigir a tomada de vez fez mais pelos clientes do que qualquer alteração ao modelo de linguagem.

Também passávamos chamadas à equipa sem contexto suficiente, e as pessoas tinham de repetir tudo. Agora o agente entrega um resumo curto com cada transferência.

O melhor teste era simples: a pessoa teve de dizer a mesma coisa duas vezes?

O que se mantém

Tudo corre dentro de um perímetro privado, as gravações seguem uma regra de retenção escrita e mantemos um registo de cada alteração. Vamos continuar a publicar estas notas aqui.

O português europeu não é o do Brasil, e a maioria dos modelos de voz trata-o como um detalhe. Por isso foi a primeira língua certa para nós.

Somos uma empresa portuguesa, por isso a escolha foi em parte pessoal. Mas há também uma razão prática. O nosso trabalho em sistemas de voz multilingues mostrou que muitas línguas europeias recebem muito menos desenvolvimento full-duplex do que as grandes línguas globais.

O português europeu é um bom teste. Há dados reais disponíveis, falantes nativos à nossa volta e uma lacuna clara de qualidade. Se o nosso método funcionar aqui, podemos verificar se funciona na língua seguinte.

De onde vêm os dados

Treinamos com fala real e variada em pt-PT: podcasts, TV e rádio públicas e sessões do parlamento. Cada fonte soa diferente, e essa variedade importa mais do que o número bruto de horas.

O que vem a seguir

Mais treino, avaliação estruturada e uma demo que as pessoas possam experimentar. Depois, uma segunda língua europeia. Os passos estão no nosso roadmap.

O protótipo funciona. Agora a parte mais lenta da nossa investigação é esperar: cerca de uma semana por treino em quatro GPUs.

A nossa configuração atual usa quatro GPUs. Um grande ciclo de treino demora cerca de uma semana. Chegou para provar que o pipeline funciona, mas é demasiado lento para investigação eficiente.

Cada alteração aos dados, à estratégia de treino ou à avaliação pode custar dias. A maior parte desse tempo passa-se à espera, não a pensar.

O que mais computação mudaria

Com 8 ou mais GPUs poderíamos comparar checkpoints lado a lado, repetir treinos promissores para separar ganhos reais de ruído e dedicar mais iterações a como o modelo soa em português.

Não esperamos escala linear. Esperamos menos dias perdidos entre decisões.

É por isso que nos candidatamos a programas europeus de computação e I&D (ver o roadmap). Se gere um centro HPC ou um grupo de investigação em fala, gostávamos de falar consigo.

Gerir o rent.moto.pt significa reservas reais, pagamentos reais e pessoas reais à porta. Mudou a forma como construímos para clientes.

Quando o produto é seu (o nosso é o rent.moto.pt), ninguém mais recebe a chamada das 7 da manhã. Uma reserva que falha, um pagamento bloqueado, uma moto que não está onde o sistema diz: tudo isto passa a ser problema seu, depressa.

Planear o dia depois do lançamento

O dia do lançamento é a parte fácil. Agora planeamos logs, alertas e ferramentas de administração desde o primeiro sprint, porque nós próprios precisámos deles.

Os pequenos detalhes contam

Emails de confirmação claros, uma forma simples de mudar datas, um número de telefone que atende mesmo. Nada disto é difícil de construir. Tudo isto importa a quem aluga a moto.

As mesmas lições aplicam-se ao auto.moto.pt e a cada projeto que construímos para clientes.

A maioria dos assistentes de voz fala à vez, como um walkie-talkie. Full-duplex significa ouvir e falar ao mesmo tempo, como numa chamada normal.

Com um assistente de voz típico, fala, ele espera, depois responde. Se interromper, ou o ignora ou para por completo. Soa robótico.

Um modelo full-duplex ouve-o enquanto fala. Consegue parar quando interrompe, reagir a um «sim» ou «hum» curto e retomar a conversa com naturalidade.

Porque importa ao telefone

Numa linha de apoio as pessoas interrompem a toda a hora. Corrigem um número, acrescentam um detalhe ou dizem «não, não é isso». Lidar bem com isso é a diferença entre uma chamada útil e uma frustrante.

O nosso protótipo em português europeu funciona em full-duplex hoje, e pode ler como correu a primeira implementação numa linha telefónica. O treino e a avaliação continuam.