El origen del pueblo se cree que está ubicado en la época romana entre los siglos I y IV. Allí los romanos desarrollaron la industria de la conserva del pescado que se exportaba a Roma por ser allí muy apreciado.

A partir de ahí se produce la ocupación de la zona en los siglos IV al VIII por los visigodos para dar paso a los Moriscos (VIII), estableciéndose en Torrox el príncipe Omeya Abd-el-Rhaman tomando como punto de partida hacia Córdoba para fundar allí el Emirato independiente.

El pueblo de Torrox, encabezado por los mozárabes, estaban descontentos y, a finales del siglo IX, se unieron a la sublevación de los mozárabes encabezada por Omar ben Hafsun contra el califato cordobés. El califa Abd el-Rahman III sitió el castillo de Torrox en el 914, derrotó y apresó a todos los rebeldes y quemó las naves que acudieron a la costa en ayuda de los sitiados. Torrox quedó así despoblado de mozárabes. En el siglo XI surgió una población completamente musulmana que dependía de la taha de Frigiliana.

En los siglos XIV y XV Torrox está influenciado por la actividad de la seda propia de la época nazarita. Se convierte así en el centro recolector de seda que atendía a la demanda de Málaga y Granada donde era muy apreciada. También los nazaritas fomentaron la producción de frutos secos y caña de azúcar.

La reconquista de Torrox de manos de los Reyes Católicos se produjo el 29 de abril de 1487, pero no se consolidó esta victoria hasta el año siguiente cuando, junto a Nerja, fue reconquista por El Zagal.