Molto incerta è l'epoca della prima costruzione di questa chiesa, già nel 1544 indicata col nome "S. Maria dell'Olmo” e come "Chiesa Maggiore" del paese, in occasione della Visita Pastorale dell’arcivescovo di Acerenza e Matera, cardinale Giovanni Michele Saraceno.
Si pensa possa risalire all'inizio del XIII sec., con dimensioni inferiori alle attuali e forse con dedica originaria differente, a "Santa Maria della Stella Mattutina" (ma è più probabile l'esistenza di un'altra chiesa con questo nome, di cui non resta traccia).
Nel corso dei secoli la chiesa madre di Castelmezzano ha subito diverse trasformazioni.
Sicuramente, fino alla metà dell'800 essa era costituita da una sola navata, con quattro piccole cappelle laterali (di Gesù Cristo, della Beneficenza, del Purgatorio e di Sant'Antonio) e diversi altari (di questi ultimi, già nel 1544 se ne contavano 7).
Il campanile era più basso, di forma rettangolare.
Vi erano almeno due ingressi: quello principale che coincide con l’attuale ed un altro più piccolo, sul lato sinistro.
L’altare centrale era sovrastato dalla pregevole pala lignea, in stile Barocco antico, detta della "Madonna della Stella", che ora è posta a destra dell'entrata.
Essa contiene una finissima icona bizantina raffigurante la Madonna col Bambino, racchiusa in una cornice in pietra su cui sono scolpite delle scritte in latino ("Qui è Maria della Stella Mattutina") e in greco, con la data 1118.
A partire dal 1853 si hanno notizie dei lavori di consolidamento, trasformazione ed ampliamento che a più riprese interesseranno la struttura nei successivi ottant'anni.
Il primo progetto, dell’architetto Filippo Montano di Laurenzana, prevedeva il consolidamento contro l'umidità attraverso la costruzione dell’attuale locale della sagrestia, il rifacimento del coro ligneo, l’ampliamento delle cappelle laterali, l'illuminazione per mezzo di un lanternino da porre sotto l'arco trionfale e il rifacimento della gradinata di uno degli ingressi.
Dopo il terremoto del 1857, che danneggiò seriamente l'edificio, parte di questi lavori iniziarono: venne rifatto il tetto, l'altezza dell'edificio venne quasi raddoppiata (come si osserva nell'arco della parete di fondo del coro, che è quasi il doppio di quelli delle navate e, probabilmente, anche dell'antico arco trionfale), si passò dallo stile Romanico originario allo stile Barocco-Neoclassico delle pareti stuccate e dei cornicioni.
Nel 1870, l'arciprete Don Michele Arcangelo Volini fece ampliare ulteriormente la navata centrale, ristrutturando la sagrestia, trasformò l'ingresso, in origine a forma d'arco, aggiungendovi un'ampia gradinata a tre salite.
Rifece, inoltre, il campanile, che raggiunse le dimensioni attuali, e diede la forma alle due navate laterali.
All’inizio del '900, la chiesa madre fu abbellita da numerosi altari in marmo, offerti perlopiù dagli abitanti di Castelmezzano emigrati negli Stati Uniti.
Anche altri lavori, come il pavimento, la zoccolatura e il pulpito in marmo, furono possibili, nel 1929, grazie alle donazioni di alcuni fedeli emigrati in America.
La forma attuale, infine, è opera della Sovraintendenza, con le ricostruzioni post-terremoto del 1980.
La chiesa madre conserva numerose opere pregiate: la statua lignea policroma di "Santa Maria dell'Olmo", risalente agli inizi del XIV sec., di dolcissimo profilo bizantino; un’altra statua lignea, di poco posteriore, della "Madonna col bambino", caratteristica per i riccioli biondi; tre pale d'altare in legno, risalenti, come quello succitato della "Madonna della Stella", al XVII sec. (uno, detto del "Purgatorio”, a destra dell’ingresso, il secondo, del "Sacro Cuore", a sinistra, e l'ultimo, che fa da cornice alla Madonna dell'Addolorata, nella parte centrale della navata di destra); l'altare di San Rocco (Protettore di Castelmezzano) risalente al XVIII secolo.
Tre splendidi quadri arricchiscono l'interno: quello delle "Anime purganti" (di Anonimo, XVI-XVII sec.), quello della "Madonna del Carmelo (dello Scerra di Tricarico, 1616) e una meravigliosa "Sacra Famiglia" (o "Trinità Terrestre", opera del Pietrafesa della metà del XVll sec.).
Da notare, inoltre, la parte superiore delle ghirlande in ferro battuto che abbelliscono lo sfondo dell'altare Maggiore e formano il trono della Madonna dell'Olmo: sono opera dell'artigianato locale risalente al XVIII secolo.
Più recenti sono le altre statue, tutte ottimamente restaurate, tra cui quella di Santa Lucia, o quella bellissima di Sant'Antonio.
La piccola statua di "San Rocchicchio" (1888) veniva trasportata nel paese dai pastori, a lume di fiaccole, la sera precedente il dì della festa, a cui, si dice, essi non partecipassero non potendo lasciare le greggi incustodite.
Anche le campane della chiesa sono molto interessanti: la più antica, che risale al 1666, è intitolata alla Sacra Famiglia; la seconda, risalente al 1768, è intitolata all'Immacolata Concezione e venne commissionata dall'Arciprete Giovanni Battista Volini; la terza, risalente al 1820, è intitolata a "S. Maria dell'Olmo" e venne commissionata dall'Arciprete Domenico Campagna; infine, la più recente, venne realizzata nel 1948 a cura della Procura e dell'Arciprete Giuseppe Eufemia.