เขาพนมกุเลนมีชื่อเรียกอีกชื่อหนึ่งว่ามเหนทรบรรพต การสร้างปราสาทส่วนใหญ่นำหินทรายจากภูเขาพนมกุเลนนี้สร้าง พนมกุเลนเป็นที่ตั้งของมเหนทรบรรพตมเหนคร ซึ่งหมายถึงพระศิวะ ส่วนบรรพตนั้นหมายถึงภูเขา ความหมายของเมืองจึงเป็นที่อยู่ของพระศิวะ เขาพนมกุเลนจึงเปรียบเสมือนกับเป็นนิมิตรรูปของเขาพระสุเมรุราชที่มีทั้งหมด 109 ยอด สำหรับยอดเขาที่สูงที่สุดคือยอดเขาไกรลาศ ซึ่งเป็นที่อยู่ของพระศิวะ และพระนางอุมาเทวี และเขาพนมกุเลนแห่งนี้ยังเป็นสัญลักษณ์ของภูเขาหิมาลัยต้นกำเนิดของแม่น้ำคงคาในประเทศฮินดูซึ่งชาวฮินดูเชื่อกันว่าเป็นแม่น้ำศักดิ์สิทธิ์ไหลลงมาจากสรวงสวรรค์นั่นเอง
ภูเขาพนมกุเลนมีศิวลึงค์นับพันองค์ที่จมอยู่ใต้ลำธารน้ำ การบูชาศิวลึงค์ในศาสนาฮินดู ลัทธิไศวนิกายว่าเป็นต้นกำเนิดของสรรพสิ่งที่มีชีวิตทั้งมวล ศิวลึงค์นั้นก็คืออวัยวะเพศชายใช้แทนองค์พระศิวะเทพเจ้าในศาสนาฮินดู และฐานโยนีที่ล้อมรอบศิวลึงค์นั่นก็คืออวัยวะเพศหญิง อันหมายถึงพระนางอุมาเทวีชายาของพระศิวะนั่นเอง ในศาสนาฮินดูเชื่อกันว่าตราบใดที่อวัยวะทั้งสองอย่างนี้ถ้ายังอยู่ด้วยกัน ตราบนั้นโลกจะมีแต่ความร่มเย็นเป็นสุข มีความเจริญรุ่งเรือง
ศิวลึงค์ใต้น้ำที่อยู่ในลำธารน้ำบนเทือกเขาพนมกุเลนแห่งนี้เป็นต้นกำเนิดของแม่น้ำเสียมเรียบ ตั้งอยู่บนเขามีภูมิประเทศที่มีลักษณะเป็นหินทรายอยู่ใต้ลำธารน้ำยาว 400 เมตร ชาวขอมโบราณได้ทำการเปลี่ยนทางเดินของสายน้ำเสียใหม่ โดยทำการเบี่ยงการไหลของสายน้ำให้ไหลลงไปอีกเส้นทางหนึ่ง เพื่อจะให้บริเวณที่จะทำการแกะสลักศิวลึงค์ใต้น้ำทำได้สะดวกขึ้น และเมื่อแกะสลักเสร็จเรียบร้อยแล้วจากนั้นจึงปล่อยให้กระแสน้ำไหลมาลงตามลำธารเดิม
สำหรับศิวลึงค์ที่อยู่ใต้น้ำมีมากถึงหนึ่งพันองค์ซึ่งใช้แทนฤาษีหนึ่งพันตน นอกจากศิวลึงค์แล้วยังมีรูปพระวิษณุเทพถูกแกะสลักอยู่ด้วยกัน สำหรับการบูชาศิวลึงค์นั้น พราหมณ์จะเป็นผู้นำน้ำมาราดบนศิวลึงค์และน้ำที่รดนั้นจะไหลออกไปที่ช่องโยนี ลงไปสู่ท่อโสมสูตรประชาชนก็จะมารองรับน้ำนี้ไปดื่มกินกันโดยเชื่อกันว่าเป็นน้ำศักดิ์สิทธิ์สามารถรักษาโรคภัยไข้เจ็บได้
น้ำตกพนมกุเลนเกิดจากสายลำธารที่ไหลผ่านศิวลึงค์ใต้น้ำ ปัจจุบันไม่รองรับเอาน้ำศักดิ์สิทธิ์ให้ยุ่งยาก ลงอาบกันเลย
สายน้ำที่ไหลลดหลั่นกันเป็นชั้นๆลงมาสู่ที่ต่ำยังก่อให้เกิดชั้นน้ำตกอันสวยงามถึงสามชั้นด้วยกัน
ชั้นแรกเป็นน้ำตกชั้นเล็กๆความสูง 2 เมตรเรียกว่าชั้นศิวะลงสรงน้ำได้แต่เฉพาะแต่พระมหากัตริย์และพระบรมวงศานุวงศ์เท่านั้น
ชั้นที่สองมีความสูง 3 เมตรเรียกว่าชั้นวิษณุใช้ได้แต่พราหมณ์
ชั้นสุดท้ายคือชั้นที่สามที่มีความสูง 60 เมตรใช้สำหรับราษฏรทั่วไป สำหรับชั้นที่สามนี้กระแสน้ำจะไหลลงมาเป็นม่านน้ำขนาดใหญ่อยู่ท่ามกลางแมกไม้อันร่มรื่นที่เรียงรายอยู่สองข้างลำธารน้ำอันศักสิทธิ์ บนเทือกเขาพนมกุเลนแห่งนี้