Для нее это стало страшным ударом. «Я была совершенно сломлена, – вспоминала она позже. – Я проплакала несколько дней подряд, развод родителей был первым ударом, который я пережила в детстве… Я боготворила своего отца и очень скучала по нему с того самого дня, как он ушел. Расставание с отцом в возрасте каких-нибудь шести лет ужасно. Если бы я могла время от времени встречаться с ним, я бы чувствовала, что он любит меня. Но в той ситуации мне оставалось лишь постоянно завидовать другим, у которых были отцы, и я всегда возвращалась домой в слезах, потому что у них был папа, а у меня его не было».
Как и первый развод Эллы ван Хеемстра, ее разрыв с Джозефом тоже окутан тайной. Почему они расстались, никто так и не узнал, поэтому строилось немало предположений. Биографы писали, что Джозеф начал спиваться, что он растратил большую часть состояния жены, ну и наконец, искали причину в его политических взглядах.
Дело в том, что Джозеф Растон открыто сочувствовал нацистам. И первое время Элла его в этом поддерживала, существует даже подписанная ее именем статья о «зове фашизма». Но она довольно скоро разочаровалась в идеях национал-социализма.
Как бы то ни было, они с Джозефом развелись и больше не встречались.