उसका परिवार कार्टर के पिता, जेम्स अर्ल कार्टर सीनियर के स्वामित्व वाली भूमि पर मैदानों में रहता था और काम करता था।