No III a.C. os gregos fundaron a colonia de Tanais na foz do Don, no século III os godos destruíron a cidade, os restos localízanse a poucos quilómetros da cidade. No século X a área pasou ao principado eslavo de Tmutarakan, os turcos kipchaks fixéronse co control do territorio ao que denominaron azak (terras baixas) de onde deriva o nome da cidade. Os venecianos e xenoveses fundaron unha colonia no sitio onde actualmente está situdada Azov, a que deron o nome de Tana, en 1471 os turcos tomaron a cidade e construíron unha fortaleza en Azov. En 1637 os cosacos conquistaron a fortaleza, e en 1641 os cosacos resistiron un longo sitio dos otománs, en 1642 o tsar decidiu render a fortaleza. En 1774 pasou definitivamente a Rusia.
