Samotný hrabě si nemohl nepovšimnout jeho hudebního nadání, a tak jej přivezl do Prahy k řediteli konzervatoře Friedrichovi Dionysovi Weberovi.
Hrabě pak hradil všechny náklady studia celých sedm let. Slavík určitě svého mecenáše nezklamal a s nadšením se věnoval studiu hudby. Po ukončení studia se Josef Slavík stal koncertním mistrem ve Stavovském divadle a neustále se zdokonaloval. Začal také psát vlastní skladby pro housle a rovněž samostatně koncertoval. Byl obdivovatelem Niccola Paganiniho.
V pouhých dvaceti letech měl pověst výborného hudebníka, který zvládá i ty nejnáročnější party. V roce 1925 odešel do Vídně, kde přijal místo v císařské kapele jako bezplatný člen a živil se výukou hry na housle a sólovými vystoupeními. Vídeň si velmi brzy svojí hrou získal.
V roce 1828, při příležitosti Paganiniho koncertu ve Vídni, se Slavík konečně osobně se slavným houslistou setkal a italský mistr ho přijal do kruhu hudebníků, aby mu vyhověl v jeho žádosti ukázat své umění.
Paganinimu dokázal Zvonkové rondo zahrát po jednom poslechu, což Itala překvapilo. Poté na přelomu let 1828 – 1829 strávil Josef půl roku v Paříži, ale tam byl nevítanou konkurencí a nesetkal se tedy s přijetím širšího obecenstva. Proto se vrátil do Vídně, kde byl jmenován plnohodnotným členem císařské dvorní kapely, a to konečně Slavíkovi vyřešilo jeho existenční problémy. Spřátelil se zde také s Fryderykem Chopinem, který si jeho schopností velmi vážil. Franz Schubert zase věnoval Slavíkovi na důkaz přátelství svou Fantazii C dur pro housle a klavír.
V roce 1833, když se před chystaným turné do Maďarska loučil s Vídní, přechodil chřipku a koncert dohrál s vysokou horečkou. Tento koncert se řadí mezi jeho nejúspěšnější.
Nedlouho po příjezdu do Budapešti se nemoc vrátila v plné síle a Josef Slavík zemřel ve věku pouhých 27 let. Kolik tento hudební génius mohl ještě dokázat, to si asi ani nelze představit. V Budapešti, kde byl pohřben, zůstaly jeho ostatky dlouhých sto let a poté byly převezeny do vlasti a uloženy na Vyšehradský hřbitov. 28. května 1933 byla také odhalena pamětní deska v Jincích na jeho rodném domě. V roce 1947 byl o Slavíkovi natočen film „Housle a sen“, který režíroval Václav Krška.
