Eski tarihlerde Ankaradan Sivasa giden askeri yolu üzerinde Saravene denen iskendere yenilip kaçan iran(Pers Şahının'da Şahın Kayasında saklanarak izini kaybettirdiği bölgededir. Köyün karşısmda kiremitlide 600 Iü yıllarda bizans-iran (pers) savaşlarında yakılıp yıkılan bizans şehirlerinden birinin kalıntıları olup halen buluntulardan biri çeşme önünde sulak olarak kullanılmaktadır. Köyde büyük evlerinde kullanılan ve Yukarı harmandan kesilen ağaçların her birine iki kişinin kollarının ancak kavuştuğu ve başka yerleşimin görülmediği köy yerinin 1000 yıl kadar boş kaldığı anlaşılmaktadır.

      Köy halkı iranın horasan bölgesinden malazgit zaferinden sonra gelerek komutanlardan Danişmen Gazinin Sivas ve çevresinde kurduğu Danişmen beyliği (1084-1174) içinde yer alan Türkmenlerdendir. Hacı Bektaş Veli gibi hoca Ahmet Yesevinin Anadoluya gönderdiği Rum erenlerinden olan Abdal Musa,Halkımızın gelişini ve özünü deyişinin ilk kıtasında;

Kim ne bilirbizi nice soydanız
Ne zerrece od'dan nede sudanız,
Bize meftun olan marifet söyler
Biz HORASAN mülkündeki boydanız

      Diyerek sözlü tarihimizin temelini atmakta'dır. Şah Hatayi Pir Sultan Abdal Aşık Veysel ve günümüz ozanlarının diliyle geleceğe aktarılmaktadır. Yavuz Sultan Selim ve Şah ismail (Şah Hatayi) Arasındaki Anadoluda hakimiet kurma savaşı Pir Sultan Abdalın asılmasma kadar gitmiştir.

     Hakimiyet kurma savaşı Pir Sultan Abdalın asıldıgı tarihlere kadar gitmiş'tir. Haklarında agır fetvalar çıkarılan Anadolu halkının bir kısmı Arap kültürüne soklurken bir kısmıda Uzak, bilinmeyen ve daglık saklantılı bölgelere çekilerek varlıklarmı korumuşlardır. İşte bu siyasi baskılar altında kalanlardan Mahmut ve idris adlı iki kardeş 1700'lü yıllarda dagların arkasında ormanların içinde buldukları bu yere Şeyh Oglu İbrahim Agayı getirip uygun görüşü aldıktan sonra Tokat Amasya bölgesinde iken birlikte gelip buraya yerleşmişlerdir.

     Yerleştirilen tanınmış ailelerden Karamet Ogulları, Eminiler, Aşıklllar, Hıdırevi, Cüceler, Çürüklüler, Ustalar, Danacı Ogulları ve Bilinmeyen bazı aileler de getirilerek yerleştirilmiş ancak diger akrabaların. Nerelere gittigi ve yerleştigi tam olarak bilinmemekte bazılarıda baskı çekinerek kimliklerini gizlemişlerdir.

     "Yahyalı" adının tam olarak nereden geldigi bilinmemekle bereber Yahya ve Ali isimlerinin birleşimiyle oluştugu anlaşılmakla Türkiyenin bir çok bölgesinde hatta Osmanlı tarafindan Avrupaya gönderilen Türklerin kurdugu yerleşim adlarından anlaşlldıgı gibi eski yerleşim yerlerine baglı olarak bu ismin verildigini düşünmek dogru olur.

     Anadoluya gelişinden bu güne kadar birlik, beraberlik ve demokratik hakça düzen için mücadele etmiş emek sarfetmiş her cepede şehitler vermiş gazilerini kucagımda. barındırmış derdini kimseye anlatamamış. Olan yahyalı köyü halkı bagımsızlık ve istiklal savaşı sırasında hiç düşünmeden Mustafa Kemal ATATÜRK'Ü Çevresinde kurulan köylerin halkıyla birlikte asker toplayarak desteklemiştir.