Sejarah Palembang yang pernah menjadi ibukota kemaharajaan bahari Sriwijaya yang mendominasi Nusantara dan Semenanjung Malaya pada abad ke-9 juga membuat kota ini dikenal dengan julukan "Bumi Sriwijaya". Berdasarkan prasasti Kedukan Bukit yang ditemukan di Bukit Siguntang sebelah barat Kota Palembang, yang menyatakan pembentukan sebuah wanua yang ditafsirkan sebagai kota pada tanggal 16 Juni 682 Masehi, menjadikan kota Palembang sebagai kota tertua di Indonesia. Di dunia Barat, kota Palembang juga dijuluki Venice of the East (bahasa Indonesia: "Venice dari Timur").
Kota ini dianggap sebagai salah satu pusat dari kerajaan Sriwijaya, Serangan Rajendra Chola dari Kerajaan Chola pada tahun 1025, menyebabkan kota ini hanya menjadi pelabuhan sederhana yang tidak berarti lagi bagi para pedagang asing.
Palembang muncul sebagai kesultanan pada tahun 1659 dengan Sri Susuhunan Abdurrahman sebagai raja pertamanya. Namun pada tahun 1823 kesultanan Palembang dihapus oleh pemerintah Hindia-Belanda.Setelah itu Palembang dibagi menjadi dua keresidenan besar dan pemukiman di Palembang dibagi menjadi daerah Ilir dan Ulu.
Saat ini Palembang tengah bersiap untuk mejadi salah satu kota pelaksana pesta olahraga olahraga dua tahunan se-Asia Tenggara yaitu SEA Games XXVII Tahun 2011.