Quatro GPUs, uma semana por treino
O protótipo funciona. Agora a parte mais lenta da nossa investigação é esperar: cerca de uma semana por treino em quatro GPUs.
A nossa configuração atual usa quatro GPUs. Um grande ciclo de treino demora cerca de uma semana. Chegou para provar que o pipeline funciona, mas é demasiado lento para investigação eficiente.
Cada alteração aos dados, à estratégia de treino ou à avaliação pode custar dias. A maior parte desse tempo passa-se à espera, não a pensar.
O que mais computação mudaria
Com 8 ou mais GPUs poderíamos comparar checkpoints lado a lado, repetir treinos promissores para separar ganhos reais de ruído e dedicar mais iterações a como o modelo soa em português.
Não esperamos escala linear. Esperamos menos dias perdidos entre decisões.
É por isso que nos candidatamos a programas europeus de computação e I&D (ver o roadmap). Se gere um centro HPC ou um grupo de investigação em fala, gostávamos de falar consigo.
