Darrera l'altar del Sant Crist de l'església de Cadaqués hi ha una pedra amb una inscripció que diu així: «Octubre de 1534. Fou cremada la iglésia vella per los moros.» Aquest fou el desembarcament dels germans Arug i Khaird-ben Eddin, coneguts per Barba-roja, que han deixat un record, que encara avui perdura, pel saqueig i incendi de Palamós. Tan dramàtica o més que aquesta acció fou la que els Barba-roja feren contra el castell, que expugnaren, de Cadaqués. La vila quedà en un estat lamentable, i l'acció, que fou portada a cap per vint galeres i cinc fustes, produí terribles estralls en homes i coses. Hi ha un document, sense data, dirigit al senyor bisbe Cortelles, de Girona, per la Universitat de la població, en el qual es demana auxili. La Seu subministrà 500 lliures per a la reedificació de l'església, quantitat que s'hagué de repartir, a l'arbitri del senyor rector, entre els pobres que la reparessin. El senyor bisbe incita, en aquest document, els poderosos, que ajudin, amb diners, a reconstruir les torres i muralles del castell a fi que vos defendere viriliter.