En jord til vand varmepumpe udnytter den varme, der er i jordens øverste lag. Jordvarmen bliver ledt til varmepumpen gennem en lang væskefyldt slange, der er gravet ca. 1 meter ned i jorden.
Selvom der kun er få graders forskel på temperaturen i slangen før og efter turen i jorden, er metoden så effektiv, at et jordvarmeanlæg uden problemer kan være husets eneste varmekilde - uanset årstid og boligstørrelse. Fra varmepumpen overføres jordvarmen via en varmeveksler til husets varmeinstallation. Varmen kan anvendes både til opvarmning af brugsvand og til rumopvarmning via radiatorer eller gulvvarme.
En jord til vand varmepumpe er lidt mere effektiv end de luftbaserede varmepumper (luft til vand og luft til luft), men anlægget koster også mere at etablere, fordi slangen skal graves ned i haven.