Desa Karangbrai adalah Desa Kolonisasi dari penjajahan Belanda, dan terdiri dari beberapa wilayah atau sekarang disebut Dusun. Desa Karangbrai pada mulanya adalah berasal dari hutan kawasan Negeri Mataram, belum ada sumber pasti tentang Sejarah Desa kami namun ada cerita turun temurun dari nenek moyang kami mengenai sejarah salah satu di desa kami yaitu Makam Sech Jambu Karang yang terletak di dusun Kramat.

Menurut Sejarah yang berkembang di kawasan Kabupaten Pemalang dan Kabupaten Purbalingga, Sech Jambu Karang berasal dari Jawa Barat. Beliau adalah Putra Mahkota Prabu Brawijaya Mahesa Tandreman I, Raja Pajajaran I. Nama mudanya adalah Raden Mundingwangi, sebenarnya Raden Mundungwangi akan dinobatkan untuk menjadi pengganti ayahnya menjadi Raja Pajajaran, namun Beliau lebih suka mengembara sehingga tahta kerajaan diserahkan kepada adiknya bernama Raden Mundingsari pada tahun 1190 M.

Raden Mundingwangi kemudian bertapa di Gunung Jambudipa yang terletak di Kabupaten Banten Jawa Barat, setelah menjadi pertapa Raden Mundingwangi terkenal dengan sebutan Jambu Karang dan tempat bertapanya dikenal dengan nama Gunung Karang. Saat bertapa, Pangeran Jambu Karang melihat tiga Nur/Cahaya putih di belahan timur dan sangat tinggi keberadaannya. Pangeran Jambu Karang menemukan asal Nur/Cahaya putih itu di Gunung Panungkulan di Desa Grantung Kecamatan Karang Moncol Kabupaten Purbalingga sehingga terkenal dengan nama Gunung Cahyana. Dalam perjalanannya, Pangeran Jambu Karang melalui Karawang/Jati Sari, Sungai Comal, dan sempat tinggal di tepi Sungai Comal di Desa Karangbrai Kecamatan Bodeh Kabupaten Pemalang. Sampai saat ini, petilasannya masih ada terkenal dengan nama Tunggul Makam Sech Jambu Karang dan menjadi salah satu situs yang masuk dalam Daftar Inventaris Cagar Budaya Kabupaten Pemalang.

Pada zaman Kolonial Belanda, Kepala Desa dijabat oleh Bpk. Uwad Tahun (1909-1930). Pada tahun (1930-1950), Kepala Desa dijabat oleh KH. Rekso Sukaryo dan Sekdes Ky. Amir, yang selanjutnya dijabat oleh Bpk. Ky. Oesman dan Sekdes Waryadi (1950-1974). Desa Karangbrai terus berkembang dengan Kepala Desa:

– Tahun (1974-1988) Kades H. Harsono dan M. Bisri sebagai Sekdes
– Tahun (1989-1997) Kades H. Harsono dan Chaerun Chasani sebagai Sekdes
– Tahun (1998-2006) Kades Casmidi Al Kamalia dan Chaerun CH. sebagai Sekdes
– Tahun (2007-2012) Kades Casmirah dan Edi Siswanto sebagai Sekdes
– Tahun (2013-2015) Kades Casmirah dan Edi Siswanto sebagai Sekdes
– Tahun (2016-2018) Kades Casmirah dan Rosihan Asgaph, S.IP sebagai Sekdes
– Tahun (2019-Sekarang) Kades Mahalul Fahmi, S.Pd dan Rosihan Asgaph, S.IP sebagai Sekretaris Desa.

Penamaan/Nomenklatur Desa Karangbrai berdasarkan adat istiadat secara turun temurun sejak zaman Kerajaan Mataram memiliki arti ”Tempat Bermukim” dan dari zaman penjajahan Belanda sampai sekarang nama Desa Karangbrai tetap dilestarikan. Namun secara formal nama Desa Karangbrai belum diketahui dibakukan dalam bentuk peraturan perundang-undangan misalnya peraturan daerah. Walaupun demikian, nama Desa Karangbrai telah diakui secara administratif sebagai salah satu nama desa dari 212 desa yang ada di Kabupaten Pemalang. Sesuai dengan UU Nomor 6 Tahun 2014 tentang Desa dan Peraturan Pemerintah Nomor 43 Tahun 2014 tentang Peraturan Pelaksanaan Undang-Undang Nomor 6 Tahun 2014 tentang Desa, diatur bahwa yang menjadi kewenangan Desa meliputi:
1. Kewenangan berdasarkan hak asal usul;
2. Kewenangan lokal berskala Desa;
3. Kewenangan yang ditugaskan oleh Pemerintah, pemerintah daerah provinsi, atau pemerintah daerah kabupaten/kota; dan
4. Kewenangan lain yang ditugaskan oleh Pemerintah, pemerintah daerah provinsi, atau pemerintah daerah kabupaten/kota sesuai dengan ketentuan peraturan perundang-undangan.

Di samping melaksanakan kewenangan yang telah diatur, Pemerintahan Desa Karangbrai juga melaksanakan tugas pembantuan dari Pemerintah, Pemerintah Provinsi dan Pemerintah Kabupaten/Kota, secara formal diatur namun secara riil belum ada tugas pembantuan; tugas yang hampir sama dengan tugas pembantuan adalah penarikan PBB maupun pendistribusian raskin