Οκτώ χρόνια μετά την γαμήλια τελετή τους εκείνος έκανε δεσμό με την πρώτη του ξαδέρφη Ελσα Αϊνστάιν, την οποία παντρεύτηκε το 1919 (όταν γνωρίστηκαν ήταν και εκείνη παντρεμένη), έφυγαν μαζί για Αμερική και απέκτησαν δύο παιδιά.
Τέσσερα χρόνια μετά την ημέρα του γάμου τους ωστόσο την απάτησε και εκείνη με την γραμματέα του και ανιψιά ενός καλού του φίλου, Μπέτι Νιούμαν.