با وجود اینکه میلوا چهار سال از آلبرت بزرگتر بود، آلبرت عاشق او شد و در سال ۱۹۰۳ میلادی با هم ازدواج کردند و نتیجه ازدواج سه فرزند بود: لیزریل که به طور کلی از تاریخ محو شد و بعضی می‌گویند او از سوی کسی به فرزندخواندگی پذیرفته شد و برخی دیگر معتقدند او در سن پایین بر اثر یک بیماری از دنیا رفته است. هانز آلبرت و فرزند سوم ادوارد آلبرت که در ۲۸ ژانویه سال ۱۹۱۰ میلادی در زوریخ متولد شد. آلبرت کوچکترین پسرش را تِه تِه صدا می‌کرد که از کلمه فرانسوی Petit فرانسوی به معنای کوچک گرفته شده بود.

آلبرت و میلوا در سال ۱۹۱۴ میلادی از یکدیگر جدا شدند. میلوا درباره جدایی اش گفت که آلبرت کارش را بر خانواده اولویت داده بود و برای نگهداری و تربیت فرزندانش وقت کافی نمی‌گذاشت. البته هانز آلبرت، پسر دیگر آلبرت انیشتین، حرف‌های مادرش را نادرست خوانده و گفته که پدرش هر روز چند ساعت به او و برادرش ادوارد می‌پرداخت و از آن دو نگهداری می‌کرد و مادرشان هم به انجام کار‌های خانه مشغول می‌شد.

آلبرت تصمیم گرفت تا پسرش را به سفر‌های متعدد درمانی ببرد و برای بهبود او تمام تلاش خود را به کار بگیرد. ادوارد با بالا رفتن سنش به شعر، پیانو و روانشناسی پرداخت و مانند پدرش در دانشگاه زوریخ تحصیل کرد و می‌خواست روانشناس شود. او در یکی از نامه هایش نوشت: پدر مشهور داشتن خیلی سخت است، چون همیشه احساس می‌کنی که بی اهمیّت هستی!

آلبرت در سال ۱۹۳۳ میلادی به ایالات متحده آمریکا گریخت. او می‌خواست ادوارد را نیز با خود به آمریکا ببرد؛ اما با توجه به ادامه وخامت حال روحی و روانی ادوارد نتوانست این کار را انجام دهد. به همین دلیل قبل از اینکه خود راهی امریکا شود به عیادت ادوارد رفت. آن‌ها پس این دیدار هرگز یکدیگر را ندیدند. سرانجام ادوارد در سال ۱۹۶۵ میلادی در ۵۵ سالگی بر اثر سکته مغزی از دنیا رفت و در مقبره هونگربرگ زوریخ به خاک سپرده شد.

ادوارد سه دهه از زندگی اش را در درمانگاه روانپزشکی دانشگاه زوریخ گذراند.