Na svět Barbara přišla 27. listopadu 1640 jako jedináček v rodině Williama Villierse a jeho manželky Mary. Otce však záhy ztratila, když jí byly sotva tři roky. Byl smrtelně raněn v bitvě v době anglické občanské války, kdy stál na straně royalistů. Ačkoli Barbara oplývala krásou, měla vzhledem ke svým skrovným majetkovým možnostem jen omezené vyhlídky na uzavření manželství, které by bylo aspoň trochu na úrovni.
První Barbařin vztah, který prožila s Philipem Stanhopem (1634 – 1714), neskončil šťastně, protože hrabě hledal především bohatou manželku. Barbara se tedy 14. dubna 1659 provdala za Rogera Palmera, přes námitky jeho rodiny. Jeho otec mu prorokoval, že Barbara z něj udělá jednoho z nejsmutnějších mužů na světě. Těžko říct, zda měl pravdu, neboť díky své ženě později povýšil do šlechtického stavu. Následujícího roku se oženil i Stanhope s nevěstou, kterou pro sebe považoval za vhodnější, Elizabeth Butlerovou. Možná měl nakonec důvod k lítosti spíše on…
Pochopitelně záleží na tom, na čem komu v životě záleží. Barbaře podle všeho nejvíce záleželo na její vlastní svobodě, pochopitelně v rámci dobových konvencí. Po narození prvního syna roku 1662 začala žít od manžela odděleně, i když do konce Rogerova života k rozvodu s ním nedošlo, zřejmě i proto, že on byl vyznáním římský katolík. Také ale tvrdil, že není otcem ani jednoho dítěte své ženy.
A tvrdil to i proto, že Barbara se roku 1660, když jí bylo dvacet, stala milenkou tehdy ještě svobodného krále a o 10 let staršího anglického krále Karla II. (1630 -1685), který dokonce roku 1661 udělil jejímu manželovi titul hraběte Castlemaine. Plány by jí možná mohla překřížit králova dynastická svatba s portugalskou infantkou (korunní princeznou) Kateřinou Braganza (1638 – 1705), k níž došlo 14. května 1662, ale Barbara dokázala i po této svatbě mít u dvora a na krále větší vliv než sama královna. Dokonce se rozhodla porodit své druhé dítě, jehož otcem byl Karel II., přímo v královském paláci, zatímco král byl se svou manželkou na líbánkách.
V létě 1662 se Barbaře dostalo další pocty, král ji jmenoval „dámou královské ložnice“ (Lady of the Bedchamber), navzdory protestům královny i hlavního poradce krále. Vztah mezi Barbarou a královnou byl plný nevraživosti a nepřátelství, jejich hádky byly slyšet i za zavřenými dveřmi. U dvora byla Barbara proslulá svým atraktivním výstředním a promiskuitním chováním, ale během času stejně začal její vliv na krále slábnout. Důvodem bylo královo poblouznění pro neskutečně krásnou Frances Stuartovou (1647 – 1702), navíc o sedm let mladší než Barbara. Král dokonce v roce 1667 uvažoval o rozvodu. Pro svou velkou krásu byla Frances známá jako „La Belle Stuart“ (Kráska Stuartová) a sloužila jako model pro ženskou alegorii Británie. Ale ani na Barbaru král nezapomínal, v roce 1670 ji udělil titul vévodkyně z Clevelandu, jako pairem, tj. šlechticem, resp. šlechtičnou, suo iure, tj. svého vlastního práva, čili že tento získala ona sama, ne např. v důsledku manželství nebo dědictví.
Král se potom dál věnoval i dalším milenkám, z nichž nejvýznamnější byla herečka Nell Gwyn, jedna z prvních hereček na anglickém jevišti, neboť dosud i ženské role hráli muži, a Barbara měla rovněž nové milence. Jedním z nich byl akrobat Jacob Hall, dalším urozený Henry Jermyn anebo bratranec z druhého kolene John Churchill (1650 – 1722), pozdější generál, který se od Barbary nechal v mládí vydržovat.
K dalšímu zvratu v Barbařině životě došlo na základě trestních zákonů „Test Act“, které mj. zakazovaly katolíkům vykonávat úřady, a Barbara jako katolička ztratila své dosavadní postavení u dvora. Král potom poradil své, nyní již bývalé milence, aby se chovala tiše a nezpůsobila žádný skandál a že v tom případě se on nebude „zajímat o to, koho ona miluje“.
V roce 1676 tedy Barbara odcestovala se čtyřmi nejmladšími dětmi do Francie, ale po čtyřech letech se vrátila zpět do Anglie. Její staré přátelství s králem se obnovilo a pokračovalo až do královy náhlé smrti 6. února 1685 v důsledku mrtvice. V jeho společnosti byla viděna ještě týden před jeho skonem.
Po smrti Karla II. vypukla Barbařina aféra s Cardonellem Goodmanem, hercem s extrémně špatnou pověstí, který kradl oblečení, přepadal lidi a chtěl otrávit dvě Barbařiny děti. Barbara mu v březnu 1686 porodila syna, ale jejich vztah ani Cardonellovo chování se tím nezlepšilo. Zemřel jako politický dobrodruh roku 1699 v exilu ve Francii.
Když roce 1705 zemřel její manžel Roger Palmer, Barbara se provdala za generálmajora Roberta Fieldinga, bezohledného „lovce bohatství“. Později ho dokonce obvinila z bigamie, poté, co zjistila, že se pouhé dva týdny před svatbou s ní oženil s Mary Wadsworthovou, v mylném přesvědčení, že je dědičkou značného jmění. Později si Barbara stěžovala na jeho „barbarské chování“, když mu přestala dávat apanáž a byla nucena požádat soudce o ochranu před ním.
Po životě plném galantních dobrodružství Barbara zemřela 9. října 1709 ve věku 68 let, zřejmě v souvislosti se srdečními obtížemi, které se projevovaly navenek jako nápadné otoky nohou. Šest Barbařiných dětí, které král uznal za svoje a které proto dostaly jméno FitzRoy („potomek krále“), třebaže první dítě, dcera, nesla ještě i jméno Barbařina manžela a je pravděpodobné, že jejím otcem nebyl ani král, ani Roger Palmer, ale první Barbařin milenec, Philip Stanhope. Vzhledem k tomu, že všechny tyto děti se dožily dospělosti a měly bohaté potomstvo, je s Barborou Palmerovou pravděpodobně spřízněna celá řada osobností minulosti i současnosti, např. prý i princezna Diana.
