En 1803, Joseph-Marie entreprend un long voyage avec son jeune frère Louis. Il veut se rendre à la Martinique où son grand-oncle Joseph s'est fixé en 1749. Aux principales étapes de son voyage (Saint-Jean, Albany, New York), Joseph-Marie donne des nouvelles à ses parents. Ce sera le début d'une longue correspondance qui s'échelonnera sur plus de soixante ans et qui mettra en présence des personnages de deux générations. Ces lettres nous apprennent que Joseph-Marie semble promis à un riche avenir dès son arrivée à la Martinique. Mais des difficultés surgissent bientôt. Ce sera le début d'une série de malheurs qui frapperont sa famille.

Les descendants de François de Chavigny et d'Éléonore de Grandmaison se comptent sûrement par milliers, même si le patronyme est très peu répandu : les filles ayant été beaucoup plus nombreuses que les garçons. Toute personne qui a porté le nom de Chavigny ou de la Chevrotière pourra remonter facilement, de génération en génération, jusqu'à ses ancêtres François de Chavigny et Éléonore de Grandmaison. Il suffira de consulter les données contenues dans cet ouvrage.