Gedongan berasal dari kata "gedong", yang berarti bangunan dengan fungsi tertentu. Versi berbeda mengatakan, nama Gedongan berasal dari nama seorang tokoh di zamana Mataram yang pernah bermukim di tempat tersebut. Tokoh tersebut yaitu Kiai Gedong, orang Pajang yang lari dan kemudian memihak dan bermukim di Mataram. 

Diberi nama Kiai Gedong karena beliau adalah abdi dalem yang bertugas menjaga gedong pusaka Keraton.

Setelah perdikan Mataram berubah menjadi kerajaan, dan Danang Sutawijaya menobatkan dirinya bergelar Panembahan Senopati, penerus takhta Pajang pun memaklumatkan perang. Muncullah front poros peperangan Pajang-Mataram. 
Kiai Gedong ternyata berpihak pada Mataram, dengan cara menyelundupkan senjata untuk prajurit Mataram. Dari sisi Mataram Kiai Gedong adalah pahlawan, tapi dari pihak Pajang dia adalah pengkhianat. Kyai Gedong pun ditangkap penguasa Pajang, dan dihukum mati. Jasadnya dikubur di daerah Kotagede, daerah yang kini diabadikan untuk nama sebuah kampung, yaitu Kampung Gedongan.

Ada hal menarik yang perlu dicatat dari Makam Gedongan. Pada pintu gerbang makam yang bertuliskan Makam Gedongan, tidak menyebut nama Kiai Gedong. Padahal, rintisan awal keberadaan makam tersebut karena adanya makam Kiai Gedong. Pada gentan atau kapling makam Kiai Gedong dijumpai tiga buah kubur. Menurut penuturan juru kunci makam, Tomo Semedi (87), kijing atau nisan di tengah itu adalah kubur Kiai Gedong, sedang yang mengapit di kanan adalah kubur lincaknya, dan di samping kiri adalah kubur busananya.

Ceritanya, Kiai Gedong ketika menjalani hukuman mati, tidak pernah mati-mati. Setiap kali jasadnya menyentuh tanah, ia hidup lagi. Akhirnya dicari upaya tubuhnya diletakkan dianjang-anjang sebuah lincak agar tidak menyentuh tanah. Setelah benar-benar mati, jasad, lincak maupun busananya dimakamkan di masing-masing liang kubur.
Ketika lingkungan makam Kiai Gedong tersebut masih berupa karang pategalan atau pekarangan milik penduduk setempat, di tegalan tersebut dijumpai makam prajurit Mataram bernama Tebu Ireng dan Tebu Mangli. Makam Gedongan ini juga ditemukan dua makam anak-anak yang bernama Den Bagus Kembar berdampingan dengan kubur inang pengasuhnya. Menurut Tomo Semedi, kedua anak kembar itu adalah putera Panembahan Senopati, yang meninggal dunia ketika masih balita.
Selain itu, pada gerbang utama makam Gedongan dari sisi utara, terdapat makam Tumenggung Surontani. Letaknya persis masuk gerbang, seakan-akan makam tersebut mengemban tugas among tamu atau penyambut tamu bagi para peziarah. Bagi para pemburu keris sakti, nama Tumenggung Surotani ini amat dikenal. Untuk mendapatkan keris bertuah, mereka rela tirakat di makam tersebut. Dan, yang tak kalah misterius di Makam Gedongan, ada pohon pacar yang tumbuh di tengah makam. Menurut penuturan penduduk setempat, pohon tersebut dari dulu tidak pernah besar dan tidak pernah tinggi, tapi juga tidak pernah mati.
Karena di karang pategalan belakang rumahnya banyak dijumpai makam orang penting, maka pemiliknya, yakni kakak beradik H. Abdul Bakri Sastroatmaja dan Noto Siti, mereka mewakafkan tanahnya untuk perluasan makam tersebut. Keluarga keturunan H. Abdul Bakri Sastroatmaja memperoleh kehormatan, seluruh kerabatnya yang meninggal dunia dimakamkan di dekat Makam Kiai Gedong.