Порт-Ориндж был основан Джоном Милтоном Хоуксом[англ.], который после Гражданской войны в США привёз освобождённых афроамериканцев работать на свою лесопилку. Эстер Хоукс основала в этом районе интегрированную школу. Вскоре после основания колония столкнулась с трудностями, и большинство колонистов уехали. Район, который стал известен как Фрименвилл[англ.], — наследие тех поселенцев, которые остались здесь[5].
По данным Бюро переписи населения США, общая площадь города составляет 28,7 квадратных миль (74,3 км²), из которых 26,6 квадратных миль (69,0 км²) занимает суша, а 2,0 квадратных мили (5,3 км²) (7,09%) — вода[6].