Oi Jonathan. Esta página explica exatamente isso, mas funciona apenas para validação de dados, caso queira fazer este controle. Aumentar a quantidade de caracteres em uma célula para não ter o controle, basta aumentar a largura da coluna. Já para resultado de uma fórmula o Excel pode impor um limite, dependendo da fórmula.

Quanto aos quadrados, eu não sei te dizer o que acontece. Não por enquanto!
Se você estiver aumentando a largura da coluna e o erro continua, talvez seja caracteres inválidos, devido a configuração do idioma do seu Excel, ou do teclado. É preciso verificar algumas situações para descobrir.