Boa noite, você deve estar instalando errado esse fórum, tente reinstalar criando primeiramente um banco de dados com usuário e senha e depois instale o fórum com esses dados, provavelmente o problema do captcha já é reflexo dessa comunicação ai de banco de dados com o fórum....
Outra coisa que você tem de se atentar é sobre plugin que for instalar, ver se é para a versão compatível com a versão do seu fórum, as vezes os plugins costumam bugar as páginas.