На территории города имеются развалины древних поселений, постройка которых датируется разными эпохами — вплоть до 5 тысяч лет назад, но современная история города начинается со времен Азовских походов Петра Великого (1695—1696 годы), который обратил внимание на урочище с источником под названием «Богатый колодезь».
Официально датой основания города считается 15 декабря 1749 года, когда императрица Елизавета Петровна своим указом основала Темерницкую таможню:
"Для сбору тарифов и внутренних пошлин с привозимых из турецкой области и отвозимых из России за границу товаров таможню учредить по реке Дону вверх от устья реки Темерник против урочища, называемого „Богатый колодезь“".
Весной 1750 года в таможне были построены пристань, пакгауз, карантин, гарнизонная казарма.
В 1760—1761 годах для защиты низовьев Дона от турецких набегов у «Богатого колодезя» по проекту инженер-капитана И. Веденёва началось строительство крепости. Руководство работами было возложено на военного инженера А. И. Ригельмана.
6 апреля 1761 года указом Екатерины II крепости было дано имя митрополита Ростовского и Ярославского Димитрия (1652—1709), незадолго до этого причисленного к лику святых Русской православной церковью[6]. Крепость в форме девятилучевой звезды имела в окружности 3,5 км и располагалась между нынешними переулками Чехова и Крепостным, улицами Горького и Станиславского. Крепость имела два форштадта: Доломановский и Солдатский, которые располагались вдоль берега Дона от нынешнего Доломановского переулка до Ворошиловского проспекта.
Крепость имела многочисленный гарнизон, была вооружена 238 орудиями и на протяжении полувека использовалась в качестве тыловой базы русских войск. Крепость Святого Димитрия Ростовского сыграла значительную роль в период русско-турецких войн второй половины XVIII века. В русско-турецкую войну 1768—1774 годов она служила базой для наступления на Азов.
В 1779 году к востоку от крепости армяне (выходцы с Крымского полуострова) основали поселение Нор-Нахичеван. В разработке плана нового города принимал участие известный русский архитектор И. Е. Старов.
9 августа 1797 года крепость и Нахичеван вошли в состав Ростовского уезда Новороссийской губернии. Поскольку крепость утратила к этому времени своё военное значение, указом Александра I от 17 августа 1807 года она получила статус уездного города.
В 1811 году город получил свой герб, который и сейчас является символом города. В 1835 году гарнизон и военное имущество крепости были переведены в Анапу[10].
Во время Гражданской войны 1918—1920 Ростов сыграл заметную роль как один из центров Белого движения. В первое формирование Добровольческой армии входил Ростовский добровольческий полк — из учащейся молодёжи Ростова-на-Дону . С занятием города 1-й Конной армией под командованием С. М. Будённого, 10 января 1920, начался советский период истории Ростова.
В конце 1920-х в Ростове началось активное строительство. В 1926 году был заложен гигант отечественного сельхозмашиностроения завод «Ростсельмаш». 29 ноября 1935 года открыт крупнейший в стране драматический театр им. М.Горького со зрительным залом на 2200 мест и с уникальной архитектурой здания (в виде трактора), где работали известный режиссёр Ю. А. Завадский, актёры В. П. Марецкая и Р. Я. Плятт.
28 декабря 1928 вышло Постановление комиссии ВЦИК СССР «Об объединении городов Ростова и Нахичевани-на-Дону в один город Ростов-на-Дону», после чего город Нахичевань-на-Дону стал Пролетарским районом города Ростова-на-Дону. В сентябре 1937 года после выделения из существовавшего ранее Азово-Черноморского края новой — Ростовской области, Ростов-на-Дону становится её административным центром.
Немецкие войска занимали Ростов дважды: осенью 1941 года и летом 1942 года.
В первый раз немецкие войска подошли к городу 17 ноября 1941 года. Наступление вел 3-й танковый корпус 1-й танковой армии под командованием Э. фон Маккензена в составе 13-й и 14-й танковых дивизий, 60-й моторизованной пехотной дивизии и 1-й дивизии СС. Защищали город части 56-й армии РККА, под командованием генерала Ф. Н. Ремезова, в состав которой наряду с другими частями входили 339-я Ростовская стрелковая дивизия и Ростовский стрелковый полк народного ополчения, сформированные из местных жителей.
20 ноября войска вермахта вошли в город. 1-й батальон дивизии СС прорвался к железнодорожному мосту и захватил его невредимым.
Через неделю, 28 ноября, советские войска под командованием маршала С. К. Тимошенко предприняли контрнаступление и отбили город. Освобождение Ростова стало первой значительной победой Красной Армии в начальный период войны.
Ростов оставался советским до июля 1942 года, когда после провала наступления Красной Армии под Харьковом немецкое командование начало наступление на Кубань и Кавказ. 24 июля 1942 в Ростов вошла 17-я армия вермахта. На этот раз советские войска не оказали врагу должного сопротивления, что было отмечено в тексте известного приказа НКО № 227 — «Ни шагу назад!».
Местом массового уничтожения советских людей стала Змиевская балка на окраине города, где гитлеровцы расстреляли и умертвили 27 тысяч человек. Всего нацистами было уничтожено более 40 тысяч человек, 53 тысячи ростовчан было угнано в Германию на принудительные работы.
Война нанесла городу большой ущерб: Ростов-на-Дону вошёл в число десяти наиболее пострадавших от войны городов России. В городе в ходе боевых действий было уничтожено около 12 тыс. домов.
14 февраля 1943 года после победы под Сталинградом в ходе общего наступления Красной Армии, Ростов-на-Дону был окончательно освобожден от немецких войск.