文政元年(1818〈10月17日、常陸笠間藩主･牧野貞幹の次男として江戸日比谷で生まれる。幼少時より聡明であり、西洋通で知られた。小諸藩の第8代藩主･牧野康命の養子となり、天保3年(1832年)に康命が死去したため家督を継ぎ、従五位下･遠江守に叙位･任官する。
　天保の大飢饉で藩内に大被害を受けると、育児法を制定して子育米を配給するなど、子女の救済を積極的に行った。また、当時は天然痘が流行していたが、未だ種痘は世間に認知されておらず普及していなかった。そこで藩医を長崎に学ばせた上、初めに自分の娘2人に種痘を施しその普及に努めた。これは日本初の種痘の実施である。
　安政2年(1855年)には農村救済のために農村復興方を設置した。さらに家臣に二宮尊徳の報徳仕法を学ばせて実施したり、凶作に備えて貯蓄を行なうなどしている。産業の奨励も行ない、領内の小県郡長瀬･立岩などで和紙の製造業が盛んになったのも、康哉の時代からである。
　これら一連の藩政の成功は幕府からも高く評価され、奏者番等を経て安政5年(1858年)には若年寄に任じられ、将軍継嗣問題では井伊直弼を支持し、直弼のブレーンとして幕府の中枢で活躍した。文久3年(1863年)6月13日に死去した。享年46。跡を長男の康済が継いだ。
　康哉の業績は高く評価されており、懐古園には｢牧野公遺徳碑｣が建設されている。