자는 경량(景良). 김이장(金履長)의 증손으로 할아버지는 김이순(金頤淳)이고 아버지는 김문근(金汶根)이며 어머니는 민무현(閔懋鉉)의 딸이다. 철종비 명순왕후(明純王后)의 동생이다.음보로 사용(司勇)에 기용되어 1854년(철종 5) 응제(應製)에서 직부전시(直赴殿試)의 특혜를 받았다.이듬해 정시 문과에 갑과로 급제 규장각대교(奎章閣待敎)가 되었다.
그 뒤 검열·교리(校理)를 거쳐 1859년에는 홍문관부제학·대사성·이조참의를 역임하였다. 이듬해 호조참판 1861년 이조참판 1862년 대사헌을 차례로 역임하였다.
1863년 다시 홍문관부제학을 거쳐 행호군(行護軍)이 되었다.철종이 죽자 존호도감옥책관(尊號都監玉冊官)을 겸하였다. 고종의 즉위로 흥선대원군(興宣大院君)이 집정(執政)하자 관계에서 물러났다가 평소 대원군과 가깝게 지내던 척형(戚兄) 김병학(金炳學)이 안동김씨의 몰락 이후에도 그대로 관직을 유지하여 이조판서를 거쳐 좌의정에 올랐다.
형의 도움으로 1866년 상호도감제조(上號都監提調)로 다시 기용되어 이조참판·검교부제학·홍문관부제학을 지낸 뒤 1868년 예조판서에 이르렀다.
1851년 누이가 철종비로 책봉되자 아버지 김문근을 필두로 15세에 관직에 나아가 20세에 당상관이 되고 30세에 판서를 역임하였다.
시호는 효정(孝貞)이다.