Le prime testimonianze di una presenza umana nel territorio di Casalbore sono rappresentate da armi in selce e ceramica del neolitico antico (VI-V millennio a.C.), rinvenute nella zona di Santa Maria dei Bossi. Solo a partire dall'età arcaica si sviluppò nell'area un importante centro sannitico, posto però più in alto, in prossimità del tracciato del tratturo Pescasseroli-Candela.Le necropoli relative a questo insediamento si estesero prevalentemente ancora più a monte, tra le attuali contrade Sant'Elia, Mainardi e Spineto. Al medesimo orizzonte culturale appartiene il santuario individuato in località Macchia Porcara, frequentato fino alla fine della seconda guerra punica (inizi del II secolo a.C.).
Il processo di romanizzazione segnò lo spostamento dell'insediamento abitativo di nuovo in basso, verso l'incrocio tra il tratturo e la via Traiana, area in cui è confermata da diversi ritrovamenti archeologici l'esistenza di un vicus.All'età romana risale anche la costruzione del Ponte di Santo Spirito, attraversato in epoca imperiale dalla via Traiana e situato ai confini con Montecalvo Irpino.Il toponimo del paese sembra derivare dal latino casalis (caseggiato) e albulus (bianco) poi trasformato in arburus, con accostamento ad àrbore (albero).La prima menzione dell'abitato è contenuta nella platea dei beni della chiesa di Santa Sofia di Benevento redatta nel 452 d.C., in cui si accenna alla "Ecclesia Sanctae Mariae in Casali Albulo". Il borgo, come entità autonoma, dovette svilupparsi durante la dominazione normanna. Tra i primi signori ad essere investiti del feudo nel corso della prima metà del XII secolo, il Catalogus Baronum menziona Alferio di Monte Saraceno, il quale sostenne la Crociata in Terra Santa, guidata da Guglielmo il Buono nel 1170, con l'invio di circa sei militi, sei servienti, diciotto cavalli e diciotto fanti. Sotto il regno di Federico II, Casalbore fu concessa a Raimondo di Mohac. Terminata la supremazia sveva, il feudo entrò in possesso, a partire dal 1269, di Riccardo de Abijuso e Dauferio de Jacobo. Nel 1299 venne acquisito da Bartolomeo Mansella, al quale seguì il figlio Marino. Il dominio della successiva famiglia Sabrano si concluse nel 1417, quando la Contea di Ariano, di cui faceva parte Casalbore, fu donata alla famiglia Sforza dalla regina angioina Giovanna II. In seguito, il re Alfonso di Aragona si appropriò del territorio casalborese, assegnandolo allo spagnolo Innico di Guevara, a cui successe il figlio Pietro, conte di Ariano. Il feudo di Casalbore fu venduto, infine, dalla Corte Regia nell'anno 1485 alla famiglia dei Caracciolo, che ne detenne il possesso fino alla fine della feudalità avvenuta nel 1806. I moti reazionari del 1820-1821 videro la partecipazione di numerosi casalboresi che utilizzarono il convento di Santa Maria della Misericordia come centro della Carboneria. Il paese è attraversato dal Regio Tratturo Pescasseroli-Candela, lungo il quale si cominciò sotto gli Aragonesi ad esigere il pagamento del pedaggio, non solo per il transito degli armenti, ma anche per le merci. La Dogana sita a Casalbore fu abolita attorno al 1570. Per favorire ed incrementare il commercio, nel 1792 furono soppressi tutti i pedaggi del Regno.
