Desa Panunggalan berasal dari kata Manunggal yang berarti bersatu. Konon ada seorang yang bertubuh kecil mampu menangkap banteng mengamuk yang biasa dijuluki Banteng Kuntet. Kemudian di diajak oleh punggawa Keraton Yogyakarta bernama Bandayuda untuk mengembara bersama. Hingga di suatu tempat mereka beristirahat, dengan bersatunya dua orang tersebut maka membuat daerah tersebut dinamakan Panunggalan.