밀레의 생가는 대가족이었다. 할머니, 어머니, 큰아버지, 형제자매들이 있었고, 아버지는 밀레가 21세 때 병으로 사망했다. 손자 밀레에게 애정을 쏟던 할머니는 캐서린과의 결혼을 신분 차이를 이유로 인정하지 않았다. 밀레의 어머니도 마찬가지였다. 따라서 혼인신고도 하지 않고 동거생활을 했다. 밀레는 장남으로서의 책임을 느끼면서도 고향에는 돌아가지 않고 캐서린을 데리고 르아브르(Le Havre)를 거쳐 파리로 가서 살았다. 캐서린은 내연의 아내인 채였다. 파리에서는 살롱에 출품도 하고 그럭저럭 생활이 되었지만 1849년 콜레라가 유행하는 파리를 떠나 바르비종((Barbizon)으로 갔다.
파리의 남동 퐁텐브로(Fontainbleau) 산림을 거쳐 바르비죵까지 60킬로미터. 숲과 기름진 들판을 스케치하러 많은 화가들이 방문하고 있었다. 밀레가 바르비죵으로 갔을 때 밀레는 35세였고, 캐서린 22세, 장녀 마리 로자리(2세 11개월), 차녀 레온틴느 루이스(1세 11개월), 장남 진 프랑스와(5개월).
바르비죵에 온 밀레는 세 번째 딸 마그리트가 태어나면서 자녀가 4명이 되었다. 가족으로부터 인정을 받지 못했던 캐서린은 1851년 결혼을 인정하지 않은 할머니가 타계하고 1853년 어머니도 타계하고 이 해 9월 바르비죵의 시청사에서 결혼식을 했다. 8월 7일의 일요일부터 14일의 일요일까지 시청사의 정문 앞에 결혼하는 두 사람의 공시가 행해졌다. 이의 주장이 없음으로 두 사람의 결혼 신청은 정당한 것으로서 수리되었다. 결혼식 전 동거 중에 태어난 4명의 자녀가 있는 것을 공식적으로 선언하고 데오도르 루소 등 친구 4명이 서명했다. 이때 캐서린은 아버지가 13살에 사별하고 어머니는 쉐르부르그에 살고 있었다. 결혼 승낙서에는 남편이 사별하고 없었기 때문에 과부 64세라고 서명했다.
밀레는 화가로 인정되고 있던 시점이어서 당당하게 가족을 떠맡았다. 그리고 바르비죵의 들일 하는 사람들, 양치기, 뜨개질하는 여인, 버터 만드는 여인 등 손끝으로 하는 일에 부지런히 힘쓰는 여인들을 계속 그렸다. 사람들의 생활에 밀착해서 관찰하고 숙지하여 새로운 인물상이나 배경으로서의 풍경을 그려 냈다. 밀레보다 27년 후에 태어난 르느와르는 바르비죵의 아름다운 자연에 감상적(感傷的)인 농부를 그려 낸 밀레를 평가하지 않았다.
노동은 고역을 모면하지 않는다. 그러나 밀레가 그린 인물들은 괴로움보다 평온함이 느껴진다. 지극히 나이브한 인상의 사람들을 끌어당기는 힘이 있었다. 캐서린과의 결혼, 많은 자녀들, 그리고 바르비죵에 의해 초래된 밀레의 작품들은 빈농들의 표정에서도 평온하게 느껴지게 했던 것이다. 밀레의 만년에 파스텔화로 《마가렛》(오르세미술관장)이 있다. 흰 꽃들을 배경으로 젊은 딸이 그려져 그 얼굴은 들판의 꽃과 같이 사랑스럽다. 모델은 3녀인 마그리트로 보여진다.
죽음 직전인 1875년 1월 3일, 두통으로 고생하던 밀레는 다시 한번 종교상의 결혼 수속을 끝마치고‘평범한 국민으로 태어나 평범한 국민으로 죽는다’라는 말을 푸념처럼 남기고 17일 후인 20일 타계했다. 이미 빈곤에서 벗어난 캐서린은 1894년까지 살았다.