Joãozito, como era chamado, com menos de 7 anos começou a estudar francês sozinho, por conta própria. Somente com a chegada do Frei Canísio Zoetmulder, frade franciscano holandês, em março de 1917, pode iniciar-se no holandês e prosseguir os estudos de francês, agora sob a supervisão daquele frade.
Terminou o curso primário no Grupo Escolar Afonso Pena; em Belo Horizonte, para onde se mudara, antes dos 9 anos, para morar com os avós. Em Cordisburgo fora aluno da Escola Mestre Candinho. Iniciou o curso secundário no Colégio Santo Antônio, em São João del Rei, onde permaneceu por pouco tempo, em regime de internato, visto não ter conseguido adaptar-se — não suportava a comida.
Em 1925, matricula-se na então denominada Faculdade de Medicina da Universidade de Minas Gerais, com apenas 16 anos. Segundo um colega de turma, Dr. Ismael de Faria, no velório de um estudante vitimado pela febre amarela, em 1926, teria Guimarães Rosa dito a famosa frase: "As pessoas não morrem, ficam encantadas", que seria repetida 41 anos depois por ocasião de sua posse na Academia Brasileira de Letras.
Sua estréia nas letras se deu em 1929, ainda como estudante. Escreveu quatro contos: Caçador de camurças, Chronos Kai Anagke (título grego, significando Tempo e Destino), O mistério de Highmore Hall e Makiné para um concurso promovido pela revista O Cruzeiro. Todos os contos foram premiados e publicados com ilustrações em 1929-1930, alcançando o autor seu objetivo, que era o de ganhar a recompensa nada desprezível de cem contos de réis. Chegou a confessar, depois, que nessa época escrevia friamente, sem paixão, preso a modelos alheios.
