Le antiche mura cinquecentesche sono ancora in parte conservate, ad esempio nel tratto che va da Villa dei Molini (un tempo residenza di Napoleone, oggi museo) a Forte Falcone, in parte sono state distrutte o trasformate in abitazioni, come sulla suggestiva Calata Medicea, nel centro storico (il porticciolo attualmente utilizzato dalla maggior parte delle barche da diporto).
Chiudono la darsena medicea due torri, la torre del Gallo (sul lato rivolto verso la città nuova) e la torre della Linguella o del Martello, presso l'odierno museo archeologico della Linguella.
Uno stemma sull'arco della Porta a terra all'inizio del centro storico (la Porta a mare è oggi un arco all'interno di palazzi adibiti ad abitazione)ricorda ancora il periodo mediceo.
Salendo alla fortificazione del Forte Falcone, di struttura ampia e complessa, si possono notare le precauzioni prese nel Rinascimento per rendere difficoltoso l'attacco ai nemici, come una rampa in salita dall'andamento curvilineo e feritoie da cui poter sparare con gli archibugi.
Guardando il profilo di Portoferraio si potrà notare che non esistono alti campanili: era necessario, perché i nemici avrebbero potuto prenderli di mira con i cannoni!
La città era quindi una vera fortezza, adatta alla difesa sia dalla parte di terra che dalla parte di mare. Oggi è una cittadina turistica accogliente e ricca di servizi.
Oltre alle tracce dell'epoca medicea è possibile vedere anche quelle del periodo napoleonico: in esilio all'Isola d'Elba dal 3 maggio 1814 al 26 febbraio 1915 Napoleone visse a Portoferraio, e nonostante vi abbia abitato per meno di un anno lasciò sull'isola una fortissima impronta, portando in quella terra ancora assai arretrata una ventata di novità.
Dell'epoca napoleonica sono testimonianze principali le due ville dell'imperatore in esilio (Villa dei Mulini in Portoferraio e Villa San Martino, la sua casa di campagna) e il Museo della Misericordia presso l'omonima chiesa in Portoferraio, nel quale si trovano la maschera funeraria e il calco di una mano di Napoleone, rilevati quando egli morì a Sant'Elena.
