房彦谦出生于公元547年，一生先后经历了东魏、北齐、北周和隋四个王朝的更替换代。房氏原籍清河。到房彦谦七世祖房湛时期，因为做过燕国的太尉椽，随着南燕国迁都青州，也把家人带到了齐地。今济南市历城区在南北朝隋唐时期属于齐郡。从此以后，房彦谦一支就把历城当作了自己的故乡。从十六国到房彦谦时，200多年间，历城房氏家族几乎一直都为官从政，房彦谦曾祖父是齐郡和平原郡的太守，祖父则做过南朝宋的太守，父亲从州主薄起家，也做到了郡守的职务。
大家族的文化熏陶和动荡的政局变换，铸就了他的清正品格和娴熟的从政能力，18岁时，他就担任了家乡齐郡的主薄，并一直在政府任职，40岁时被郡守举荐进京，做了监察御史，职责是“分察百僚，巡按郡县，纠视刑狱，肃整朝仪”。其职责既像今天的纪律监察干部，还兼具司法监督和整治朝廷风气的责任。官品虽然不高，权力却也不小。后迁为河南长葛县令，在全国官员考核中，因其清正廉洁，被评为“天下第一”，并因此而晋升郡司马（州郡军事官员“二把手”）。
史书记载，当他离职高升之时，地方百姓拦路挽留，并为其立碑颂德。隋大业九年（613年），随从皇帝到辽东，担当了一阵扶余道（今东北地区）监军。后来，因过于耿直，得罪了权贵，被迁为泾阳县令，69岁病逝于任上。 房彦谦为官清廉，所得俸禄大多周济了同事亲友，以至于史书称其为“家无余财”。他曾经和其子房玄龄说过：“人皆因禄富，我独以官贫，所遗子孙，在于清白耳。”他的这种高风亮节得益于他的人生经历，虽然他出自名家士族，但他幼年时期生父就亡故，15岁过继给叔父，继母去世时，他-五日，以示孝心。在家中，凡有时鲜果蔬父辈不吃，他绝不先尝，其孝行名扬乡里。同时，他也十分好学上进，7岁时就读过-，长大后，还擅长书法艺术。可以说，中国传统文化给了他以深厚的影响，因此，他也能够培养出房玄龄这样的一代名相，大唐重臣。
公元631年，经唐太宗恩准，房彦谦的灵柩由其子房玄龄迁葬回历城故里祖坟，朝廷追赠其为“徐州都督、临淄县公”，并特派了官方的鼓乐仪仗队从洛阳护灵到历城，灵柩所过州县费用不足部分均由地方政府资助祭奠，同时国家还动用了千余士兵为之送葬，亲朋友好参加迁葬仪式的有2000多人。这次迁葬可以说是唐朝初年一件盛事，轰动全国。房彦谦墓在今济南市历城区彩石乡赵山之阳,墓葬现存墓冢、墓碑和部分石兽，其墓碑由当时的历史学家李百药撰文，书法家欧阳询所书。该墓1977年被公布为山东省省级重点文物保护单位。李百药是24史中《北齐书》的作者。李百药撰写碑文的时候担任着太子右庶子，66岁。
