První dochovaná písemná zmínka o obci Krhov pochází z konce 15. stolení a souvisí s existencí tzv. Krhovské tvrze . Původní tvrz dnes tvoří jádro barokního zámečku vybudovaného na konci 18. století. Zámeček je dnes veřejnosti nepřístupný.
Významnou památkou v obci je rovněž i raně gotický kostel sv. Jakuba Staršího pocházející z druhé poloviny 13. století. Kostel byl barokně upraven v 17. století do své nynější podoby.