Navnet “Vor Frue Kirke” hænger også sammen med ”Vor Frue Kilde” – en naturlig kilde, der udsprang lidt vest for kirken, og som efter sigende sprang med undergørende vand. Kilden springer ikke længere og ligger ikke frit tilgængelig, men gennem en låge i kirkediget vest for tårnet fører en sti ned til stedet, og her har Historisk Samfund i 1921 rejst en sten for at markere dens udspring. Omkring kilden opstod snart et såkaldt kildemarked, der holdtes hvert år i Thise bakker helt op til ca. 1915.