Nakon uspješno održanog koncerta tokom kojeg je izvedena klasična i džez muzika vođa orkestra Pol Vajtmen odlučio je da održi koncert na kojem bi se izvodila samo džez muzika. To je krajem 1923. godine rekao tada 25-togodišnjem Geršvinu, upitavši ga je da li bi za tu priliku napisao džez koncert za klavir i orkestar. Geršvin je pristao, ali nije odmah krenuo sa pisanjem koncerta, već je nastavio da komponuje muziku za mjuzikle na Brodveju.
Vajtmen je naručio djelo kao dio programa koncerta An Experiment in Modern Music (Eksperiment u modernoj muzici).
Geršvin, koji je inspiraciju za svoje djelo pronašao u vožnji vozom između Bostona i Njujorka, zamislio ga je kao klasično, odnosno ozbiljno muzičko djelo sa snažnim uticajem džeza, koji je smatrao originalnom, odnosno autentičnom američkom muzikom.
Koncert, kome su prisustvovali ugledni kompozitori Džon Filip Susa i Sergej Rahmanjinov zabilježio je ogroman uspjeh, a najpopularnije od svih djela je bila upravo Rapsodija u plavom. Ta se kompozicija smatra djelom zaslužnom što se džez prvi put počeo transformisati od „ulične“ zabavne muzike u „ozbiljnu“ muziku, odnosno dio američke visoke kulture.
Rapsodija u plavom je kasnije postala najpopularnije i najprepoznatljivije od svih Geršvinovih djela, koje se ponekad smatralo i svojevrsnom alternativnom himnom SAD ili Njujorka.