Предки Шелдона Адельсона со стороны матери были выходцами с Украины. Дед Шелдона Адельсона занимался в Киеве мелкой торговлей, у него была даже своя деревянная лавка на Подоле. После погрома 1905 года, когда еврейское население Киева потеряло почти все свое имущество, семья отправилась в поисках лучшей доли в чужие края. Благо дальние родственники относительно счастливо обосновались в Европе и Америке. Семья двинулась в Соединенные Штаты. По дороге остановились у родственников в Уэльсе. Остановка по большей части была вынужденной: пришла пора появиться на свет матери Шелдона Адельсона. По воспоминаниям самого Шелдона, его мать, которая родилась уже за пределами Российской империи, всю жизнь считала себя уроженкой Киева.
Будущий отец Шелдона, Гершом Адельсон, попал в Америку позже. Он родился в Вильнюсе, который в те времена называли Литовским Иерусалимом, настолько свободно и безбедно жили здесь евреи. В Литву евреев пригласил великий князь Гедиминас еще в XV веке, с того времени евреи обрели здесь островок терпимости в море антисемитизма. Среди предков Шелдона Адельсона по линии отца были лавочники, врачи и даже землевладельцы. Но Первая мировая война и революция в России разрушили эту хрупкую идиллию. Евреи вынуждены были продолжить свой путь в поисках мира и спокойствия. В числе тех, кто бежал из России, оказалась и семья Гершома Адельсона.
Родители Шелдона встретились уже в Америке, которая оказалась отнюдь не землей обетованной. Страна равных возможностей не закрывала двери перед теми, кто стремился сюда, но и не ждала с распростертыми объятиями. Отцу Шелдона повезло: он стал таксистом. Это было лучше, чем мыть посуду в ресторане, торговать чулками или чистить обувь на улице. Несмотря на это, молодая семья не каждый день могла позволить себе обедать. В убогой однокомнатной квартирке, которую родители Шелдона снимали в окрестностях Бостона, помещалась только одна кровать, на которой спали родители. Детям приходилось спать на полу.
В 10 лет Шелдон уже начал зарабатывать деньги: чтобы помочь семье, он стал уличным продавцом газет. Но в неблагополучном районе Бостона, в котором рос Шелдон, мало было заработать несколько монет, нужно было еще донести их до дома.
Я не был еврейским мальчиком со скрипочкой, – вспоминает Шелдон Адельсон. – Зато я умел хорошо драться. Моим оружием было все: кулаки, ногти, зубы, кирпичи, палки… Я и сейчас не позавидую тому, кто захочет загнать меня в угол.