김백심 암브로이시오의 셋째 아들로 1835년 제천 배론 교우촌(현 봉양읍 구학리)에서 출생했다. 18세에 최양업 토마스 신부님의 첫 번째 신학생으로 발탁돼 배티에 있었던 조선대목구 신학교를 거쳐 말레이시아 페낭으로 유학을 떠나 약 10년간 수학했으나 1863년에 귀국한 뒤 환속했다.

최양업 신부가 유학을 보낸 ‘페낭신학교 조선인 신학생 1기’생은 김 사도요한을 비롯, 이만돌 바울리노와 임 빈첸시오 3명으로 이뤄졌으며 세 명의 유학생들은 1854년 3월 성주간 때 장수 신부가 타고 온 배로 파리외방전교회 극동대표부가 있는 홍콩으로 건너간 후 1855년 6월 12일 페낭신학교에 입학했다.그러나 아쉽게도 이들은 모두 사제가 되지 못했다.김 사도요한은 1866년 병인박해 이후 목천 복구정으로 피신했다가 1868년 체포돼 서울에서 교수형으로 순교했다.