자는 중원 호는 해사. 판서 김온순의 아들이다.1835년 한성(서울)에서 출생하였다. 1861년 정시문과에 병과로 급제하였고 1872년 성균관 대사성·좌승지를 역임하였다. 1874년 이조참의를 맡았고 1879년부터 예조 참판·호조 참판·한성부 부윤 등의 관직을 두루 거쳐 1883년 전라도관찰사로 부임하였다.
부임 후 흉년으로 피해가 큰 백성에 대해 휼전을 부과하고 신역을 탕감하도록 조치하였다. 또한 수재나 화재 발생시 구휼조치를 시행하였고 특히 나주 등 10개 고을의 진결(묵힌 토지)에서 억울하게 조세를 징수하는 폐단을 해결하는 데 힘썼다.
전라도 관찰사로 재직하면서 1884년 초에 발생한 가리포민란을 조사하여 중앙에 보고하였다. 흉년에 탐관오리의 탐학이 더해지면서 민란이 발생하였기에 가담자들을 가엾게 여길 정황이 있으나 법규대로 처리해야 함을 강조하였다.
주모자 허사겸을 효수하여 민란의 확산을 방지하였으며 부정 관리의 책임을 물어 처벌하도록 조치하였다. 또한 고성부의 공물을 횡령한 자를 색출하여 처벌하도록 하는 등 지방관의 역할을 충실하게 이행하는 데 힘썼다.
전라도 관찰사 임기가 만료되어 1884년 12월 동지중추부사로 임명되었고 1885년 2월에 이조 참판이 되었다.1885년 전라도 암행어사가 김성근의 전라도 관찰사 재직시 업무상 규례에 어긋난 일과 공금 유용 혐의로 징계를 올려서 의금부의 조사를 받게 되었다.
부호군 심상학 이조참의 송세헌 등이 어사의 잘못된 상소에 대해 상소를 올렸다. 조사 결과 어사의 규탄과 차이가 있다는 것이 밝혀졌지만 임금의 뜻을 제대로 받들지 못하였다는 이유로 관직을 박탈당하였다.
1886년 4월 이조 참판으로 다시 복직되었다. 이후 공조 형조 이조 예조 등의 판서직을 두루 거쳤다. 1894년 개화파 정권이 성립하자 잠시 관직에서 물러났다가 1898년 궁내부 특진관으로 다시 등용되었다. 1900년에는 의정부 참정을 1902년에는 탁지부 대신을 지냈다.
1900년에 친일파이자 을미사변 때의 군부 대신인 안경수를 규탄하는 상소를 올렸으며 일본으로 도망가 있는 유길준을 체포하여 처벌할 것을 주장하였다.1903년 탁지부 대신이 되어 각 도의 공납물을 독촉하여 받아들이도록 촉구하였고 국고 고갈·재정 운용 등의 문제를 제기하며 사직을 청하기도 하였다.
1905년 탁지부 고문 메카다가 재정 운용에 관하여 문책을 제기하자 이는 외국인이 내국인을 강핍하는 것이라고 항의하였다. 1907년 국채보상운동에 참여하여 100원을 기부하였다.
서예에 뛰어난 면모를 보였는데 유작으로 사공도의 「시품」 이 성균관대학교 박물관에 소장되어 있다. 필체는 미남궁체이고 『근역서화징』에 글씨가 전한다.1910년 일제의 국권침탈 후 「조선귀족령」에 의거하여 한일합병에 관한 공로로 일본 정부로부터 자작의 작위를 받았다.
1911년 1월 13일 일본 정부로부터 5만원의 은사공채를 수령하였다. 또한 1912년 8월 1일 한국병합기념장을 받았고 같은 해 12월 7일 정4위에 서위되었다. 사망한 뒤 1919년 11월 26일 종3위에 추서되었다.김성근의 일제 강점기 활동은 「일제강점하 친일반민족행위 진상규명에 관한 특별법」 제2조 제7·19호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』IV-3:친일반민족행위자 결정이유서(pp.15∼21)에 관련 행적이 상세하게 기재되어 있다.