Гарри Роджер Долтри родился 1 марта 1944 года в Хаммерсмитской больнице в Восточном Актоне, Лондон в семье Ирен и Гарри Долтри. Отец Долтри в то время участвовал во Второй мировой войне и вернулся домой уже после рождения сына. Он вырос в Актоне, где также проживали его будущие коллеги по группе «The Who» Пит Таунсенд и Джон Энтвистл.
Долтри посещал Начальную школу «Виктория» и Среднюю школу Актона вместе с Таунcендом и Энствистлом. Родители Долтри надеялись на его поступление в университет, но будучи хулиганом, Роджер заинтересовался набирающим популярность рок-н-ролл движением и забыл об учёбе.
Свою первую гитару он сделал самостоятельно из куска древесины и присоединился к скиффл-группе The Detours, нуждающейся в вокалисте. Когда, в 1959 году, отец купил ему настоящую гитару, Роджер занял место ведущего гитариста в группе и был исключён из школы за курение табака.
Днём, несмотря на занятия, Долтри стал работать жестянщиком, а ночью выступать вместе с группой на свадьбах и в ночных клубах. Вскоре он пригласил в группу своего одноклассника Джона Энтвистла и Пита Таунсенда. В то время в The Detours, помимо Долтри, входили Дуг Сэндом — ударные и Колин Доусон — вокал. После того, как Доусон покинул группу, его место занял Долтри, а Пит Таунcенд стал соло-гитаристом. В 1964 году Сэндом был заменен на Кита Муна.
В начале карьеры Долтри был лидером группы, и часто, несмотря на маленький рост (1 м 65 см), использовал кулаки для поддержания своей власти. По словам Таунсенда, Долтри «вёл себя как хотел, и если вы спорили с ним, то обычно получали тумаки». Он также выбирал репертуар для группы, выбирая песни «The Beatles», артистов лейбла Motown Records, Джеймса Брауна и другие рок-стандарты.
В 1964 году музыканты узнали о существовании одноимённой группы The Detours и начали обдумывать другие варианты названия. Таунсендом было предложено название «The Hairs», а его соседом по комнате, Ричардом Барнсом — «The Who». На следующее утро, Долтри решил остановиться на втором варианте.
Вскоре менеджер группы Пит Мейден переименовал группу в «The High Numbers», чтобы сделать музыкантов частью мод-движения. Название ссылалось на футболки с изображениями номеров, которые в то время носили моды. Пит Мейден написал для группы песни «I’m the Face/Zoot Suit» вышедшие синглом. Однако он оказался коммерчески не успешным.
После того, как в одном из отелей музыканты познакомились с менеджерами Китом Ламбертом и Крисом Стемптом, группа вернула себе первоначальное название — «The Who».