A região primitivamente era habitada pelos índios Carijós que viviam nas cabeceiras do Rio Pará. Posteriormente, foram expulsos pelos Cataguases, que ocuparam quase toda Minas Gerais. Alguns elementos da bandeira de Fernão Dias Paes Leme, possivelmente pisaram o solo do município de Passa Tempo.

Em 1670, o bandeirante Lourenço Castanho Taques embrenhou-se nos sertões de Minas Gerais a fim de expulsar os Cataguases. Ele foi um dos que também pisaram o solo dessa região e, possivelmente, o criador do topônimo Passatempo. Em 1734, Manoel Francisco Barrosas penetrou nos Matos ou Paragem do Passatempo e solicitou Sesmaria.

Em 1747, outros solicitaram sesmarias, como: Brás da Rosa, Manoel da Rosa, Estevam Reis Mota, Mathias Neto, Manoel Roiz de Castro, Antonio Rodrigues e Domingos Ferreira, Manoel Roiz Coimbra e Manoel Pacheco Barrozas, Gregório Francisco Pereira (1768) e Domingos Vieira da Motta (1754).

Em 1760, foi doada uma légua de terras em quadro, para o patrimônio de uma capela, em honra a N.S. da Glória, por Braz da Costa e sua mulher Ana Moreira. Construída a capela, em volta dela surgiu o arraial. Em 14/07/1832, Passa Tempo foi elevada à condição de Paróquia, tendo como Vigário o Padre José Fabião Cordeiro.

O nome Passa Tempo, datado do século XVIII, tem duas versões: a primeira seria uma denominação criada pelos bandeirantes que, ao fazerem pouso na região, diziam: vamos passar o tempo ali (descansar). E, posteriormente, outros diziam vamos parar no Passatempo, daí nasceu o nome Paragem do Passatempo ou Matos do Passatempo.

Existe também uma lenda que fala de duas velhinhas que viviam a fiar à porta de sua casa e, quando algum viajante passava por ali as perguntava: Como vão minhas senhoras? – elas respondiam: Vamos passando o tempo, daí teria surgido o nome Passa Tempo. Devido a isso, o município adotou como símbolo duas velhinhas fiando a roca.

Elevado à condição de cidade com a denominação de Passa Tempo, pela Lei Estadual nº 893, de 10/09/1925.

Fonte: cidades.ibge.gov.br/brasil/mg/passa-tempo/histórico