Awalnya wilayah yang dihuni penduduk pertama di Desa Kayu Besi tepatnya di sebelah barat kebun sawit yang disebut Jiuhin. Dusun Jiuhin dihuni pertama kali oleh orang yang ber-marga NG yang bernama NG LO TUNG. Berasal dari daerah Merawang dan merupakan etnis Tionghoa. Sebelah Selatan daerah disebut Pangkul. Dusun Pangkul pertama kali dihuni oleh orang yang ber-marga SUN yang bernama SUN SIU HO. Beliau berasal dari daerah Rebo (Sungailiat) yang juga etnis Tionghoa. Etnis Melayu maupun Flores juga berdatangan dan mendiami Desa Kayu Besi. Desa Kayu Besi merupakan daerah pertambangan timah ( Tambang TI ) dengan para ahli yang berasal dari Tiongkok yang bekerja sebagai kuli kontrak (Singkek). Tambang TI pertama berada di Parit Lima(Bukit Kijang), masyarakat Kayu Besi menyebutnya dengan 'Cia Yu Kong Si namun ada pula yang menyebutnya Lo Ka Jiu.
Nama Kayu Besi berasal dari tumbuhnya sebatang kayu yang sangat keras (Thiat Su) bernama Kayu Besi yang terletak di tepi aliran sungai Bukit Kerengge.Desa Wisata Kayu Besi menjadi tempat tinggal bagi berbagai macam etnis sekaligus beranekaragam budaya yang sangat unik,menarik dan tidak ada wilayah lain. Adapun perayaan yang biasanya dilakukan misalnya Kong Ngian (Tahun Baru Imlek) yang tidak hanya diikuti oleh umat beragama Budha saja,tetapi seluruh etnis Tionghoa yang beragama Katolik,Kristen maupun Hindu. Hal ini dikarenakan Perayaan Kong Ngian merupakan kepercayaan yang sudah mengakar di daerah Desa Wisata Kayu Besi. Meskipun berbeda agama mereka tetap menjalankan perayaan ini. Ada juga Perayaan Sembahyang Kubur (Ceng Beng), Pek Cun (Kue Cang),Tjhit Ngiat Pan (Sembahyang Rebut) dan berbagai ritual kepercayaan lainnya.
Sebagian besar mata pencaharian masyarakat yang ada di Desa Wisata Kayu Besi adalah petani, pedagang, nelayan dan pekerja tambang timah. Kayu Besi merupakan daerah pesisir dan memiliki pantai. Adapun pantai di Kayu Besi yaitu Pantai Pangkul,Pantai Menung dan Pantai Batu Tabar. Dalam Perayaan Pek Cun masyarakat di desa akan melakukan ritual seserahan ke laut dengan melempar kue Cang dikuti dengan acara hiburan dengan mengundang salah satu band lokal dan berbagai acara lomba lainnya untuk memeriahkan perayaan ini. Selain warga setempat, Perayaan Peh Cun juga diikuti oleh banyak orang yang berasal dari luar daerah, baik untuk sekedar datang menyaksikan maupun turut serta dalam acara ritual tersebut.
Dengan adanya potensi wisata alam pantai tersebut diharapkan kedepan desa ini bisa menjadi Desa Wisata yang menarik meliputi Wisata Alam, Wisata Budaya dan Wisata Religi. Desa Kayu Besi memiliki Pagoda Budha, Gua Maria Umat Katolik serta Sumur Dewa.
Sumur Dewa merupakan sebuah sumur yang terdapat di Desa Kayu Besi yang mempunyai nilai sejarah dan legenda. Para wisatawan yang datang ke daerah ini selain menikmati wisata pantai yang dilengkapi dengan fasilitas menarik. Adapun potensi lain dari desa ini adalah perkebunan sawit, holtikultura dan pertambangan.
Berdasarkan uraian tersebut di atas,maka trademark desa ini adalah 'DESA ETNIK'
Desa Kayu Besi sebagai daerah yang didiami oleh sebagian besar masyarakat Tionghoa yang menjunjung tinggi budaya dan warisan nenek moyang maka slogan yang tepat untuk.
Desa ini adalah 'BEBAUR', yang secara harfiah memiliki
arti dan makna: BErmartabat, Berbudaya, Aman, Unik dan Religius.
Slogan BErmartabat merujuk pada sebuah kepercayaan terhadap roh nenek moyang yang agung yang tetap hidup berdampingan dengan mereka yang masih hidup, sehingga budaya dan ritual keagamaan masih sering dilakukan untuk mengingat dan mendoakan arwah nenek moyang.
Berbudaya maksudnya cerminan dari perilaku masyarakat yang menunjung tinggi budaya dari tempat asal mereka. Kekeluargaan digambarkan dari sebuah hubungan kekerabatan yang bergitu erat sesama etnis sehingga tidak mengherankan jika ditemui sebuah gotong royong saling membantu dalam hal pemenuhan kebutuhan hidup. Berbagai budaya dan kebiasaan masyarakat inilah menciptakan sebuah kondisi yang aman,unik dan bernafas religi dalam keseharian mereka.