Warga di kedua desa tersebut yakin bahwa leluhur mereka datang dari Jawa.
Berdasarkan beberapa catatan keluarga dan Riwayat yang mereka ceritakan, ada abad ke-15 ada seorang tokoh Bernama Djaya Prana yang mendarat di Labuan Tereng dan melanjutkan perjalanan ke arah timur sampai di Desa itu.
Beberapa Tahun kemudian, Djaya Prana ini disusul oleh adiknya yang Bernama Wijaya Krama.
Ada 2 versi mengenai siapa Djaya Prana ini, versi pertama mengatakan bahwa ia adalah Kakak dari Sunan Kalijaga.
Sedangkan versi kedua mengatakan bahwa Djaya Prana itu adalah Sunan Kalijaga sendiri.
Ada juga kisah dalam beberapa serat bahwa Sunan Kalijaga adalah menantu sekaligus murid Syekh Siti Jenar yang terkenal itu.
Setelah Syekh Siti Jenar meninggal, Sunan Kalijaga memutuskan untuk pergi menimba ilmu Agama Islam di Lombok demi menyempurnakan ilmu tasawufnya pada Pangeran Sangupati, murid senior Syekh Siti Jenar.
Pertemuan keduannya terjadi di kaki Gunung Rinjani, tepatnya di Desa Bayan.
Bukti pertemuan itu adalah adanya makam Pangeran Sangupati yang bersebelahan dengan makam seseorang yang Bernama Sahid di sebelah barat Masjid Pusaka Bayan di Lombok.
Dikisahkan pula bahwa Sunan Kalijaga memiliki seorang putra yang Bernama Pangeran Saridin.
Akan tetapi Pangeran Saridin ini hilang ke arah timur, sampai Sunan Kalijaga mencarinya sampai Lombok.
Ada juga Kisah yang lain bahwa Bersama Sunan Bonang, Sunan Kalijaga sering melintasi lautan dengan menumpang seekor Ikan Besar.
Dalam perjalanan ini mereka sering singgah di Lombok, itulah beberapa kisah mengenai keterkaitan Sunan Kalijaga dengan Lombok.