Le prime notizie relative al convento risalgono al 1480, quando Fermo Furnio di Caravaggio, arciprete di Bariano, dona ai Padri Carmelitani dell’Osservanza alcune pertiche di terra e due chiese affinché vi erigessero un convento.Insediatisi definitivamente nel 1486, i frati vi rimasero fino al 1779, anno della soppressione decretata dalla Repubblica di Venezia.Messo all’asta, il convento e gli edifici annessi furono acquistati nel 1785 dalla famiglia Imberbi di Cologno al Serio (Bg) che li adibì a funzioni rurali, con gravi conseguenze per le antiche e pregevoli strutture architettoniche, fino alla demolizione pressoché totale della grande chiesa di S. Maria, avvenuta nel 1860. In asse con il “viale”, si trovava il cortile rustico con il fienile e le stalle, mentre, dal portale a est del portico si entrava nel grande “claustro” quadrato porticato e loggiato. Sul lato nord erano disposti il refettorio, la cucina, la dispensa e il passaggio verso il brolo settentrionale, mentre la “caneva” era tangente la grande chiesa. Nell’angolo sud-ovest, in prossimità delle stalle, erano ubicati i servizi igienici (“comodità”).Il corpo settentrionale del convento si innalza con murature quattrocentesche forse impostate sopra una base più antica composta da sassi di fiume legati con malta. Attraverso una scala posta nell’angolo nord-ovest, si sale al primo piano. Qui il loggiato si sviluppa solo su tre lati: quelli est e sud presentano logge anche sulle pareti esterne rispettivamente verso la campagna e verso il cortile rustico; il lato ovest funge da collegamento con il grande ambiente ubicato tra le due chiese e disposto su due livelli e aperto verso la corte d’ingresso; il lato nord è invece privo di loggiato perché interamente occupato dalle celle dei monaci.Le pareti del chiostro erano affrescate con motivi decorativi di vario genere, che in parte emergono dalle successive intonacature, mentre nell’angolo nord-est esiste ancora un grande affresco a lunetta raffigurante una Madonna con Bambino, ed i santi carmelitani Alberto e Angelo, datato “die sei jinii MDXXIIII” .L’antichità del luogo e dei manufatti architettonici è documentata oltre che dagli scritti di alcuni storici bergamaschi, anche e soprattutto dalle testimoniante materiali che sono state rinvenute in loco nei secoli passati e messe in evidenza dai lavori di scavo archeologico.Questi ultimi hanno riportato alla luce le murature di una struttura romana sulle quali è stata costruita prima la chiesa plebana di S. Maria di Averga, poi la chiesetta di S. Maria del Carmine e, a partire dalla fine del XV secolo, i corpi di fabbrica del convento.