ชะมายเมืองใหญ่ในที่ราบลุ่มแห่งขุนเขา ป่าไม้ และลำน้ำ ที่สลับกับภูเขาเล็ก ใหญ่ น้อย สูงต่ำ ลาดสลับทับซ้อนกันเป็นแนวทอดยาวต่อเนื่องกันไป โดยอ้อมผืนแผ่นดินใหญ่ชะมาย พืชพันธ์และป่าไม้ที่สลัดผลัดเปลี่ยนใบไปตามฤดูกาลได้เติบใหญ่ขึ้น ครอบคลุมเต็มพื้นที่หลายตารางไมล์ ชะมายหรือแขวงที่มายในอดีตได้มีอาณาเขตติดต่อกัน

               ปรากฏตามทำเนียบการว่าการบริหารข้าราชการเมืองนครศรีธรรมราช ซึ่งได้ชำระใหม่ในสมัยพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย บิดาแห่งวรรณกรรม ในสมัยรัชกาลที่ 2 ของกรุงรัตนโกสินทร์ ได้ความว่าแขวงที่มายหรือตำบลชะมายเป็นพื้นที่ในการปกครองของเมืองศรีสิริธรรมนคร หรือนครศรีธรรมราช ตั้งแต่แผ่นดินของพระเจ้าบรมโกศ

               ประมาณ ปี พ.ศ. 1588 สมัยพระเจ้าศรีราชา บุตรพระบรมวัง กับนางสะเดียงทอง เป็นเจ้าผู้ครองเมืองนครศรีธรรมราช ชะมาย มีชื่อปรากฏในจดหมายเหตุข้าราชการเก็บส่วย เมืองนครศรีธรรมราชว่า “ตำบลพระเข้าแดง” มีเหตุการณ์ปรากฏในจดหมายเหตุ คือ เกิดโรคระบาดฝีดาษ และอหิวาห์ตกโรคขึ้นในเขตราชสำนัก และรอบปริมณฑลของเมืองนครฯ ผู้คนล้มตายไปมากมาย ข้าราชบริพารในสำนักได้ต้อนผู้คนออกไปนอกเมือง แล้วให้อพยพไปในป่า ภูเขา กระจายไปทั่วทุกทิศ และส่วนหนึ่งของพลเมืองได้อพยพมาอยู่อาศัยตามป่า เขา และในถ้ำที่ ตำบลพระเข้าแดง หรือแขวงที่มาย อีกบางส่วนได้อพยพไปที่ภูเขาท่าไฟ ตำบลถ้ำใหญ่ ซึ่งยังปรากฏมีถ้วยชาม และเบญจรงค์ สมัยสังคโลกแตกกระจัดกระจายทั่วไปในถ้ำใหญ่น้อย และบางส่วนอพยพไปถึงเมืองกันตัว บางส่วนอพยพไปที่หุบเขาในตำบลน้ำตกปัจจุบัน ซึ่งยังมีปรากฏร่องรอยการค้นพบถ้วยชามสังคโลกภายในถ้ำมีสภาพสมบูรณ์ นับเป็นกว่าห้าร้อยชิ้น ผู้ขุดค้นพบและชาวบ้านน้ำตกเก็บรักษาไว้เป็นพิพิษภัณฑ์ภายในวัด นับเป็นมรดกทางประวัติศาสตร์ที่มีค่าเอนกอนันต์

               แผ่นดินชะมายต่อมาในสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 แห่งกรุงรัตนโกสินทร์ พระองค์ได้ปรับปรุงการปกครองแบบสมบูรณาญาธิราช ให้มีการกระจายอำนาจออกไปเป็นมณฑล จังหวัด อำเภอ ตำบล และหมู่บ้าน ในที่สุดแขวงการปกครองในอดีตที่ครอบคลุมพื้นที่กว้างไกล ยากแก่การเก็บส่วย และบริหารว่าราชการปกครอง จึงได้รวบรวมแขวงต่าง ๆ ในอดีตรวบเข้าด้วยก้นเป็นอำเภอ คือ

               ประมาณ พ.ศ. 2411 ตั้งที่ว่าการอำเภอขึ้นเป็นชั่วคราว ด้วยเสาไม้ไผ่ตงครั้งแรก หลังคามุงจาก ที่บริเวณท่าเลา เรียกว่า “อำเภอที่มาย” และเริ่มเกิดชุมชนเล็ก ๆ ขึ้นบริเวณที่ว่าการอำเภอ เกิดตลาดแลกเปลี่ยนสินค้า และเริ่มล่องเรือแจวลำใหญ่ไปตามลำน้ำ จากท่าโหลนไปค้าขายถึงเมืองกันตัง ชาวจีนโพ้นทะเล และผู้คนต่างถิ่นเริ่มเดินทางนำสินค้า เช่น เกลือสมุทร ปลาทะเล ของเค็ม กะปิ และสินค้าจากเมืองฝรั่ง เช่น บุหรี่ ยาสูบ น้ำมันก๊าด ตะเกียง และฝิ่นจากจีนเข้ามาขายที่ท่าเลา และท่าโหลน “ที่ว่าการอำเภอที่มาย” จึงกลายเป็นเมืองท่าของการค้าขายในสมัยนั้น