โครงสร้างทางกายภาพของมหาวิทยาลัยนาลันทาตั้งแต่ก่อนที่จะเป็นมหาวิทยาลัย จนถึงการรวมสังฆารามหรือวิหาร ๖ แห่งเข้าด้วยกันโดยสร้างกำแพงล้อมให้อยู่ในบริเวณเดียวกัน ถ้ามองจากภาพที่ท่านเฮี่ยนจั๋งบันทึกไว้จะเห็นเป็นรูปร่างดังนี้
พระเจ้าศักราทิตย์ (พระเจ้ากุมาร คุปตะที่ ๑) ทรงสร้างสังฆารามขึ้นที่สวนมะม่วงที่เคยเป็นปาวาริกัมพวัน จึงเกิดศูนย์การศึกษาพระพุทธศาสนาและศาสตร์อื่นๆ ขึ้นมาอีก สังฆารามนี้จัดเป็นสังฆารามที่ ๑ ในยุคใหม่ ซึ่งต่อมากษัตริย์แห่งราชวงศ์ คุปตะหลายพระองค์ก็ทรงสร้างสังฆารามเพิ่มเติมอีก ๔ แห่งในบริเวณเดียวกันนั้น ดังนี้
* สังฆารามที่ ๒ อยู่ทางทิศใต้ของสังฆารามที่ ๑ พระเจ้าพุทธคุปตะ (พุธคุปตะ) เป็นผู้สร้าง
* สังฆารามที่ ๓ อยู่ทางทิศตะวันออกของสังฆารามที่ ๒ พระเจ้าตถาคต คุปตะเป็นผู้สร้าง
* สังฆารามที่ ๔ อยู่ทางทิศตะวันออกเฉียงเหนือของสังฆารามที่ ๓ พระเจ้าพาลาทิตย์ (คือพระเจ้านรสิงหคุปตะ) เป็นผู้สร้างและยังทรงสร้างวิหาร ๓ชั้นอีก ๑ หลัง
* สังฆารามที่ ๕ อยู่ทางทิศตะวันตกของสังฆารามที่ ๔ พระเจ้าวัชระ (คือพระเจ้ากุมารคุปตะที่ ๒) เป็นผู้สร้าง

ท่านเฮี้ยนจั๋งบันทึกต่อไปว่ามีกษัตริย์ แห่งอินเดียภาคกลางพระองค์หนึ่งทรงสร้างสังฆารามที่ ๖ ขึ้นทางทิศเหนือของสังฆารามที่ ๕ และทรงสร้างกำแพงสูงล้อมสังฆารามทั้ง ๖ แห่งไว้ภายใน มีประตูใหญ่เข้า-ออก เพียงประตูเดียว(อยู่ทาง ทิศใต้) จึงทำให้เกิดคำเรียกสังฆารามทั้ง ๖ แห่งรวมกันว่า นาลันทามหาวิหาร มาตั้งแต่บัดนั้น (ทั้งหมดนั้นท่านเฮี้ยนจั๋งบันทึกตามจดหมายเหตุเก่าของนาลันทาซึ่ง เป็นเรื่องราวที่เกิดขึ้นก่อนท่านไปถึงนานพอสมควร) เพื่อให้เข้าใจโครงสร้างดังกล่าวนี้ชัดขึ้น ขอให้พิจารณาข้อสังเกตต่อไปนี้

ข้อสังเกตที่ ๑ ลำดับการสืบราชสันตติวงศ์
รามศังการ์ ตริปาฐิ (Rama Shankar Tripathi) เขียนลำดับการสืบราชสันตติวงศ์ของกษัตริย์แห่งราชวงศ์คุปตะไว้ในหนังสือ History of Ancient India (๑๙๔๒, p.๒๖๖) ดังนี้



ลำดับการสืบราชสันตติวงศ์นี้ช่วยให้การศึกษาผู้สร้างสังฆาราม ๕ แห่งของกษัตริย์แห่งราชวงศ์นี้ได้ดีขึ้นเมื่อเปรียบเทียบกับข้อสังเกตต่อไป

ข้อสังเกตที่ ๒ ผู้สร้างสังฆาราม
ลาลมณีโจชิ (Lal Mani Joshi) กล่าวถึงผู้สร้างสังฆารามทั้ง ๖ แห่งข้างต้นต่างไปจากที่ท่านเฮี่ยนจั๋งบันทึกไว้ดังนี้
๑. ผู้สร้างสังฆารามที่ ๒ คือ พระเจ้าสกันทคุปตะ
๒. ผู้สร้างสังฆารามที่ ๓ คือ พระเจ้าปุรุคุปตะ
๓. ผู้สร้างสังฆารามที่ ๔ คือ พระเจ้านรสิงหคุปตะ
๔. ผู้สร้างสังฆารามที่ ๕ คือ พระเจ้ากุมารคุปตะที่ ๒
๕. ผู้สร้างสังฆารามที่ ๖ คือ พระเจ้าหรรษะ๑ (คงหมายถึงพระเจ้าหรรษาวรรธนะแห่งอาณาจักรกาโนช ซึ่งอยู่ในรัฐอุตตรประเทศในปัจจุบัน)
แต่อุเปนทระ ฐากุร (Late Prof. Upendra Thakur) แย้งว่า ผู้สร้างสังฆารามที่ ๖ ไม่ใช่พระเจ้าหรรษาวรรธนะแน่นอน เพราะท่านเฮี่ยนจั๋งไปอินเดียใน รัชสมัยพระเจ้าหรรษาวรรธนะ (และได้รับพระราชูปถัมภ์จากกษัตริย์พระองค์นี้โดยตลอด จึงไม่ใช่เหตุการณ์ที่เกิดขึ้นในขณะที่ท่านไปอินเดียแน่) อุเปนทระ ฐากุร เสนอว่า ผู้สร้างสังฆารามที่ ๖ และกำแพงสูงล้อมสังฆารามทั้ง ๖ แห่ง คือ พระเจ้ายโศวรมเทวะ (Yasovarmadeva แต่พบที่อื่นใช้ว่า ยโศธรมัน-Yasodharman) แห่งราชวงศ์เมาขรี ผู้ครองมาลวะ (พ.ศ. ๑๐๖๖-๑๐๘๗) เพราะพบศิลาจารึกนาลันทาระบุว่าพระองค์ทรงปกครองอาณาจักรอันกว้างขวางรวมถึงภาคกลางของอินเดียด้วย๒