La chiesa della SS. Annunziata fu costruita nel 1512 al posto della chiesa di Santa Giuliana e accanto a quella di S.Rocco (non più esistente) ed era di proporzioni ridotte rispetto all’attuale.
Nel 1522 venne costituita la Confraternita del SS. Rosario legata a questo luogo di culto.
Al 1851 risalgono la gradinata d’ingresso e la realizzazione in pietra del portone realizzata dallo scalpellino Emidio Giovannozzi di Ascoli Piceno. 
Dal 1876 al 1888 la chiesa ha ospitato il corpo di S. Basso Martire patrono di Cupra Marittima e dal 1888 vi fu trasferita la giurisdizione della parrocchia dei S.S. Andrea e Gregorio Magno, chiesa presente anticamente nel castello di S. Andrea, franata un secolo prima.
Nel 1973 la chiesa fu affidata, dall’allora parroco Di Girolami, ad un gruppo di giovani perché ne diventasse sede permanente di un Presepe Poliscenico.
Il 5 Dicembre 1982 crollò il tetto della chiesa distruggendo completamente il Presepe Poliscenico, fortunatamente senza causare danni alle persone.
Dal 1987 l’Associazione Amici del Presepio Permanente iniziò la ricostruzione della seconda edizione del Presepe e nel gennaio 1991 l’Associazione ricostituì e inglobò la vecchia confraternita nella “Confraternita del SS. Rosario e del Presepe Permanente”.
La pala d’altare, attribuita a Gianfranco Guerrieri da Fossombrone (1589 – 1653), fu commissionata dalla Confraternita del SS. Rosario intorno al 1620 per chiudere la nicchia che ospitava la statua della Madonna in Trono con Bambino, una delle numerose statue donate dal Pontefice Pio V nel 1573 ai borghi dello Stato Pontificio affacciati sul mare Adriatico, per celebrare la vittoria della Battaglia di Lepanto (1571). La Pala raffigura la Madonna con Bambino, S. Domenico, S. Pio V e Santa Giustina da Padova tra confratelli, con i quindici Misteri del Rosario. Fu restaurata nel 1991 al suo posto oggi si trova una copia. L’opera originale attualmente è conservata all’interno della chiesa di San Basso.