La construcción de la prisión se inicia en 1959 y se inaugura en 1960. Durante 23 años, los únicos que podían disfrutar del espectáculo de las ballenas jorobadas eran los presos de la Penitenciaría de Gorgona que entre 1960 y 1983 albergó a reclusos de distintas partes del país. Hoy, los visitantes no sólo pueden gozar con total libertad del canto de las ballenas jorobadas sino que pueden recorrer los vestigios de lo que fuera la prisión más segura del país, pues teniendo como guardia al mar y centinela a la selva, era difícil escapar de allí.
A la antigua prisión de Gorgona, llamada también la Alcatraz colombiana, eran enviados los reclusos más peligrosos de Colombia. Generalmente condenados por homicidio y violaciones. Cuando un recluso ingresaba a la prisión, perdía su identificación personal y a cambio le era asignado un número para ser identificado en la cárcel. Durante su estadía, los reclusos estaban en constantes abusos por parte de las Autoridades y por parte de los mismos reclusos. Además de lo anterior, tenían que convivir diariamente con serpientes venenosas y enfermedades tropicales que a menudo se llevaban la vida de muchos presidiarios.