Самое светлое воспоминание детства Ларри – дочь Лилиан и Луиса Дорис. Будучи старше своего названого брата на 20 лет, Дорис была его единственным настоящим другом, который понимал его. По словам Дорис, которая в то время получала образование психолога, откровение о том, что он является приемным сыном, очень сильно повлияло не неустойчивую натуру Ларри, в котором с ранних лет стали причудливо уживаться крайняя застенчивость и крайнее высокомерие. Долгое время Ларри не мог разговаривать с незнакомыми людьми, так что учителя в школе не понимали, проявляет ли мальчишка характер или он просто умственно неполноценный. На самом деле Ларри просто стеснялся. А позже ему было просто неинтересно разговаривать с большинством своих сверстников. Ларри мог сутками находиться в одиночестве, наедине со своими мыслями и фантазиями.
Эллисон вспоминает, что однажды, когда ему было 15–16 лет, сестра, которая работала психологом, спросила его о том, что для него важнее – любовь или уважение. «Конечно уважение», – ответил он. Но Дорис сказала, что это неправда. Ларри страшно разозлился. Он считал тогда, что любовь значит в жизни очень мало, и всеми силами пытался завоевать уважение окружающих, демонстрируя свои способности в математике и других науках. Мать и сестра всячески поддерживали в нем уверенность в собственных силах, и Ларри приписывал их восхищение прежде всего собственному таланту, а не любви. Тем более что отец требовал от него постоянных подтверждений неординарных способностей.
По окончании школы Ларри поступил в Университет Иллинойса, но был отчислен, не отучившись и двух лет. Причиной исключения стало беспрецедентное количество пропущенных занятий: Ларри просто игнорировал те предметы, которые его не интересовали. Не без уговоров со стороны приемной матери и сестры Эллисон через год поступил в Университет Чикаго. Но и здесь он не протянул и семестра. Ларри интересовали компьютеры, но такой специальности, как программист, в 1969 году в университетах еще не готовили. Нужно было изучать кучу ненужных, как считал Ларри, предметов. Вообще затхлая университетская академическая атмосфера противоречила той жизненной философии, которой увлекся Ларри на тот момент. Наступила эпоха хиппи.