ภายหลังพระบาทสมเด็จพระพุทธเลิศหล้านภาลัยเสด็จสวรรคตแล้ว พระเจ้าลูกยาเธอกรมหมื่นเจษฎาบดินทร์ได้เสด็จขึ้นครองราชสมบัติ เป็นรัชกาลที่ ๓ แห่งกรุงรัตนโกสินทร์ ทรงพระนามว่าพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว
ในปีที่เสด็จขึ้นครองราชสมบัตินี่เองสันนิษฐานกันว่าสุนทรภู่คงจะถูกถอดบรรดาศักดิ์ขุนสุนทรโวหาร และถูกปลดออกจากราชการด้วย อาจจะมีสาเหตุมาจากที่สุนทรภู่เคยทำเรื่องให้เป็นที่ขุ่นเคืองพระทัยมาสองครั้งในรัชกาลที่ ๒ เมื่อออกจากราชการแล้วคนก็เรียกท่านว่า “สุนทรภู่” ตั้งแต่นั้นมา เหตุการณ์ในตอนนี้อาจจะวิเคราะห์ได้ตามคำที่สุนทรภู่กล่าวไว้ในนิราศภูเขาทอง ว่า
“ถึงสามโคกโศกถวิลถึงปิ่นเกล้า พระพุทธเจ้าหลวงบำรุงซึ่งกรุงศรี
ประทานนามสามโคกเป็นเมืองตรี ชื่อปทุมธานีเพราะมีบัว
โอ้พระคุณสูญลับไม่กลับหลัง แต่ชื่อตั้งก็ยังอยู่เขารู้ทั่ว
แต่เรานี้ที่สุนทรประทานตัว ไม่รอดชั่วเช่นสามโคกยิ่งโศกใจ
สิ้นแผ่นดินสิ้นนามตามเสด็จ ต้องเที่ยวเตร็ดเตร่หาที่อาศัย”
ยังมีหลักฐานอีกอย่างหนึ่งที่นำมาอ้างเพื่อแสดงให้เห็นว่า สุนทรภู่ถูกถอดและออกจากราชการ ในสมัยรัชกาลที่ ๓ คือ ในการแต่งจารึกเกี่ยวกับตำรายาและวรรณคดีที่วัดพระเชตุพนวิมลมังคลาราม ในรัชกาลที่ ๓ นั้น แม้แต่มหาดเล็กเลวก็มีโอกาสแต่งบทกลอนคราวนั้น แต่ไม่ปรากฏนามสุนทรภู่ ว่าแต่งจารึกอย่างใดอย่างหนึ่งเลย ทั้งๆ ที่เคยเป็นกวีที่ปรึกษาคนสำคัญ
เมื่อถูกให้ออกจากราชการแล้ว สุนทรภู่คงจะเกรงพระราชอาญามากจึงมีความคิดที่จะออกบวช ด้วยเห็นว่าพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวทรงเคารพพระสงฆ์มาก เมื่อบวชเป็นพระแล้ว เจ้านายจะอุปถัมภ์ก็เห็นจะไม่ทรงติเตียน นอกจากนั้นสุนทรภู่คงจะมีเหตุผลทางส่วนตัวอยู่บ้างในการที่จะออกบวชครั้งนี้ เช่นว่าสุนทรภู่ยังไม่ได้บวชเรียนตามประเพณีไทยมาก่อนเลย และอีกประการหนึ่งก็คือ สุนทรภู่เป็นคนเจ้าอารมณ์ มักจะทะเลาะวิวาทกับญาติพี่น้องเสมอ มีภรรยาหลายคนก็อยู่กับใครได้ไม่นาน และเมื่อถูกปลดออกจากราชการ สุนทรภู่อาจจะมีความรู้สึกว่าตัวเองอยู่คนเดียว ไม่มีใครเหลียวแล เจ้านายและผู้มีบรรดาศักดิ์ก็ไม่กล้าอุปถัมภ์คํ้าชูเพราะเกรงจะฝืนพระราชหฤทัย แม้แต่เจ้าฟ้าอาภรณ์ซึ่งเป็นศิษย์แท้ๆ ก็ยังต้องวางพระทัยเฉยอยู่ สุนทรภู่ถึงกับเสียใจและระบายออกมาในเพลงยาวถวายโอวาทว่า
“สิ้นแผ่นดินสิ้นบุญของสุนทร ฟ้าอาภรณ์แปลกพักตร์อาลักษณ์เดิม”
เรื่องสุนทรภู่ถูกถอดบรรดาศักดิ์และถูกปลดออกจากราชการในรัชกาลที่ ๓ นี้ นักวิชาการบางท่านไม่เชื่อว่าสุนทรภู่จะถูกถอดจริง กล่าวคือสุนทรภู่อาจจะกลัวไปเองจึงหนีราชภัยออกไปบวช เพราะหากพิจารณาถึงเหตุการณ์ในระยะต่อมาจะเห็นว่า เจ้าฟ้ากุณฑลทิพยวดีประทานเจ้าฟ้ากลางและเจ้าฟ้าปิ๋วให้มาเรียนหนังสือกับสุนทรภู่ในปีฉลู พ.ศ. ๒๓๗๒ หากพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ทรงถอดสุนทรภู่จริงก็ไม่น่าจะประทานอนุญาตให้เจ้าฟ้าทั้งสองพระองค์ซึ่งยังประทับอยู่ในพระราชวังหลวงมาเป็นศิษย์สุนทรภู่ แสดงให้เห็นว่า การที่สุนทรภู่เกรงราชภัยแล้วหนีไปบวชนั้นเป็นข้อที่วิตกไปเอง นอกจากนี้หากมองถึงพระราชกรณียกิจของพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวจะเห็นว่า พระองค์ทรงเห็นความสำคัญต่อการพัฒนาบ้านเมืองมากกว่าในด้านวรรณคดี แม้แต่โคลง กลอน และเพลงยาว ซึ่งเคยทรงพระนิพนธ์มาก่อนก็เลิกสิ้น เว้นแต่ที่เป็นทางการเท่านั้น พระองค์ทรงหันมาทำนุบำรุงบ้านเมือง และวัดวาอารามเป็นสำคัญ เหตุการณ์ต่างๆ เหล่านี้พอจะแสดงได้ว่าพระองค์คงจะไม่ใส่ใจกับเรื่องซึ่งได้ผ่านพ้นไปแล้ว
สุนทรภู่ออกบวชราวปีวอก พ.ศ. ๒๓๖๗ ขณะนั้นอายุได้ ๓๙ ปี เมื่อแรกบวชจะอยู่วัดไหนยังไม่แน่ สมเด็จฯ กรมพระยาดำรงราชานุภาพ ว่าอยู่ที่วัดราชบูรณะ แต่กรมศิลปากรซึ่งค้นคว้าภายหลังกล่าวเอาไว้ว่า เมื่อสุนทรภู่บวชแล้วคงจะได้ท่องเที่ยวไปตามหัวเมืองต่างๆ ราว ๒-๓ ปี แล้วจึงกลับมาจำพรรษาที่วัดราชบูรณะ
ระหว่างจำพรรษาที่วัดราชบูรณะ เจ้าฟ้ากุณฑลทิพยวดี พระอัครชายาในพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย เสด็จมาฝากพระโอรสคือเจ้าฟ้ากลางและเจ้าฟ้าปิ๋วเพื่อให้สุนทรภู่ถวายพระอักษร ต่อมาสุนทรภู่ต้องอธิกรณ์สันนิษฐานกันว่าคงจะเนื่องจากผู้หญิงหรือสุราจึงถูกบัพพาชนียกรรมขับไล่ให้ออกจากวัดราชบูรณะ ทำให้สุนทรภู่คิดจะไปหัวเมืองจึงได้แต่งเพลงยาวถวายโอวาทถวายแด่เจ้าฟ้ากลางและเจ้าฟ้าปิ๋ว มีเนื้อความแสดงถึงความอาลัยและความคิดถึงที่ได้ทรงอุปการะมา ดังนั้นเมื่อออกพรรษาแล้วสุนทรภู่ได้เดินทางออกจากวัดราชบูรณะไปจังหวัพระนครศรีอยุธยา เพื่อนมัสการเจดีย์ภูเขาทอง การเดินทางครั้งนี้สุนทรภู่ได้แต่งนิราศภูเขาทองขึ้น ได้ระบายความขมขื่นของตัวเองเอาไว้อย่างน่าฟัง สมเด็จฯ กรมพระยาดำรงราชานุภาพ ทรงกล่าวว่า นิราศภูเขาทองแต่งขึ้นเมื่อปีขาล พ.ศ. ๒๓๗๓ แต่กรมศิลาปากรได้ค้นคว้าปีที่สุนทรภู่เดินทางไปนมัสการภูเขาทองและแต่งนิราศว่าเป็นปีพ.ศ.๒๓๗๑
นิราศภูเขาทองถือว่าเป็นวรรณกรรมเรื่องเอกของสุนทรภู่ แต่งขึ้นในขณะที่มีความรู้สึกว่าเป็นตัวคนเดียวและไม่มีที่อยู่อาศัยแน่นอน บางตอนจึงรำพันออกมาอย่างปวดร้าวว่า
“โอ้พสุธาหนาแน่นเป็นแผ่นพื้น ถึงสี่หมื่นสองแสนแดนไตร
เมื่อเคราะห์ร้ายกายเราก็เท่านี้ ไม่มีที่พสุธาจะอาศัย
ล้วนหนามเหน็บเจ็บแสบคับแคบใจ เหมือนนกไร้รังเร่อยู่เอกา”
สุนทรภู่เดินทางไปนมัสการพระเจดีย์ภูเขาทองคราวนี้ บุตรชายที่ชื่อหนูพัดไปด้วย เมื่อขึ้นไปถึงกรุงศรีอยุธยา เวลานั้นพระยาไชยวิชิต (เผือก) ซึ่งเคยเป็นพระนายไวยอยู่ในสมัยรัชกาลที่ ๒ ได้เป็นผู้รักษากรุงฯ แต่สุนทรภู่กระดากใจไม่กล้าแวะไปหา เพราะเห็นว่าตัวเองกำลังตกตํ่า ซึ่งได้กล่าวเอาไว้ในนิราศภูเขาทองว่า
“มาทางท่าน่าจวนจอมผู้รั้ง คิดถึงครั้งก่อนมาน้ำตาไหล
จะแวะหาถ้าท่านเหมือนเมื่อเป็นไวย ก็จะได้รับนิมนต์ขึ้นบนจวน
แต่ยามยากหากว่าถ้าท่านแปลก อกมิแตกเสียหรือเราขอจะสรวล
เหมือนเข็ญใจใฝ่สูงไม่สมควร จะต้องม้วนหน้ากลับอัประมาณ”
เมื่อนมัสการพระเจดีย์ภูเขาทองแล้ว สุนทรภู่ล้มเลิกความคิดที่จะจำพรรษาอยู่หัวเมือง และเมื่อเดินทางกลับมากรุงเทพฯ ก็ไปจำพรรษาอยู่ที่วัดอรุณราชวราราม (วัดแจ้ง) แต่อยู่ได้ไม่นานก็ย้ายมาจำพรรษาที่วัดพระเชตุพน (วัดโพธิ์) การมาอยู่ที่วัดแห่งนี้ สมเด็จฯ กรมพระยาดำรงราชานุภาพทรงอธิบายว่า เพื่อมาพึ่งพระบารมีสมเด็จฯ กรมพระปรมานุชิตชิโนรส และอีกนัยหนึ่งว่าพระองค์เจ้าลักขณานุคุณ (โอรสพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว) ซึ่งโปรดฝีปากในการแต่งกลอนของสุนทรภู่มาก ได้นิมนต์ให้มาอยู่วัดพระเชตุพนด้วยกัน เพราะพระองค์จะทรงผนวชที่วัดพระศรีรัตนศาสดาราม ในปีพ.ศ. ๒๓๗๕ และจะเสด็จมาประทับที่วัดพระเชตุพน ต่อมาแม้ว่าพระองค์เจ้าลักฃณานุคุณจะลาผนวชสุนทรภู่ก็ยังคงจำพรรษาอยู่ที่วัดพระเชตุพนต่อไป โดยเป็นครูสอนการแต่งกลอนแก่คนทั่วไป ลูกศิษย์ที่มีชื่อได้แก่ นายมีและหม่อมราโชทัย
ต่อมาสุนทรภู่ได้เดินทางไปกรุงศรีอยุธยาอีกครั้งหนึ่ง ได้พาบุตรที่ชื่อพัดซึ่งบวชเป็นเณร และหนูตาบไปด้วย การเดินทางไปคราวนี้เพื่อไปหายาอายุวัฒนะที่วัดเจ้าฟ้าอากาศ ตามปริศนาลายแทงที่ได้มาแต่เมืองเหนือและได้แต่งนิราศวัดเจ้าฟ้าขึ้น โดยแต่งให้เป็นสำนวนของเณรพัด ดังความในนิราศว่า
“เณรหนูพัดหัดประดิบฐ์คิดอักษร
เป็นเรื่องความตามติดพระบิดร
กำจรจากนิเวศน์เชตุพน”
แต่ตอนสุดท้ายก็บอกเอาไว้ว่าเป็นของที่สุนทรภู่แต่ง ดังความที่ปรากฏ
“ที่กล่าวแกล้งแต่งเล่นเพราะเป็นหม้าย เที่ยวเร่ขายคอนเรือมะเขือเปราะ”
(กรมศิลปากรได้ตรวจสอบชำระแล้วว่า นิราศวัดเจ้าฟ้าน่าจะแต่งในปีพ.ศ. ๒๓๗๙ ซึ่งพระองค์เจ้าลักขณานุคุณสิ้นพระชนม์แล้วราวปีเศษ)
การเดินทางไปหายาอายุวัฒนะในครั้งนี้ปรากฎว่าไม่สำเร็จ สุนทรภู่ได้เล่าเอาไว้ในนิราศว่า เมื่อไปทำพิธีขุดก็เกิดกัมปนาทหวาดไหวด้วยฤทธิ์ปีศาจ ไม่อาจขุดได้ จึงพากันเดินทางกลับกรุงเทพฯ
ต่อมาพระองค์เจ้าลักขณานุคุณทรงชักชวนให้สุนทรภู่ย้ายไปอยู่ที่วัดมหาธาตุ เพื่อจะได้อยู่ใกล้กับวังที่ประทับคือวังท่าพระ และเป็นการสะดวกที่จะทรงอุปถัมภ์ สุนทรภู่จึงย้ายมาอยู่ที่วัดมหาธาตุใน ปีพ.ศ. ๒๓๗๗ เล่ากันว่าในสมัยนั้นพระองค์เจ้าลักขณานุคุณทรงโปรดสักวามาก เมื่อไปทรงสักวาครั้งใดก็มักจะนิมนต์สุนทรภู่ให้ลงเรือตามไปด้วยเสมอ ทรงให้สุนทรภู่บอกสักวาทั้งๆ ที่ยังเป็นพระอยู่ สุนทรภู่ได้แสดงกตัญญูกตเวทีต่อพระองค์เจ้าลักขณานุคุณโดยแต่งบทกลอนถวายหลายเรื่อง เช่น นิราศอิเหนา กลอนเฉลิมพระเกียรติพระองค์เจ้าลักขณานุคุณและคงจะได้แต่งพระอภัยมณีบางตอนถวายอีกด้วย
พ.ศ. ๒๓๗๘ พระองค์เจ้าลักขณานุคุณทรงประชวรและสิ้นพระชนม์ ทำให้สุนทรภู่ขาดผู้อุปการะ ขาดที่พึ่งพาอาศัย แม้ว่าเจ้าฟ้ากุณฑลทิพยวดีจะยังมีพระชนม์อยู่ ก็หาได้ทรงอุปการะไม่ ส่วนเจ้าฟ้ากลาง (สมเด็จฯกรมพระยาบำราบปรปักษ์) ซึ่งเป็นศิษย์ของสุนทรภู่นั้น เมื่อสุนทรภู่ไปเฝ้าจึงจะประทานเงินให้ แต่สุนทรภู่คงจะกระดากใจหากไปเข้าเฝ้าบ่อย จึงเข้าใจว่าเมื่อสิ้นพระบารมีพระองค์เจ้าลักขณานุคุณแล้วตัวเองกลับอนาถายิ่งกว่าคราวก่อน เป็นสาเหตุที่ทำให้สุนทรภู่สึกจากสมณเพศ ในปีพ.ศ. ๒๓๗๘ ขณะมีอายุได้ ๕๐ ปี รวมเวลาที่บวชได้ ๑๐ ปี
เมื่อสึกจากพระหันไปใช้ชีวิตฆราวาสในครั้งนี้ สุนทรภู่กลับตกยากหนักลงไปอีกถึงกับไม่มีบ้านเรือนอาศัยต้องลอยเรือเที่ยวจอดอยู่ตามสวน มีความเป็นอยู่ประดุจพ่อค้าเรือเร่ที่ยากจนคนหนึ่ง หาเลี้ยงชีพด้วยการขายของเล็กๆ น้อยๆ และรับจ้างแต่งบทกลอน ขายบทกลอนที่แต่งเป็นนิทาน เช่น เรื่องพระอภัยมณี ลักษณวงศ์ สุภาษิตสอนหญิง เป็นต้น สุนทรภู่จึงนับเป็นกวีไทยคนแรกที่ยึดอาชีพกวีเป็นอาชีพเลี้ยงตัว และในระยะนี้หนูพัดและหนูตาบคงจะอาศัยอยู่กับสุนทรภู่ด้วย อาจจะช่วยบิดา โดยทำหน้าที่คัดลอกบทกลอนขาย หรือช่วยแจวเรือค้าขาย ถึงแม้ว่าจะขัดสนยากจนปานใดสุนทรภู่ก็ไม่บากหน้าไปขอความช่วยเหลือจากใคร แต่ก็ยังไม่เลิกนิสัยเจ้าชู้ไปได้ภรรยาใหม่คนหนึ่งชื่อ ม่วง มีลูกด้วยกันคือหนูน้อย
การประสบความยากลำบากในช่วงนี้ คงจะทำให้สุนทรภู่คิดเปรียบเทียบได้ว่า ความทุกข์ยาก ในขณะที่บวชเป็นพระยังดีกว่าที่ประสบเมื่อเป็นฆราวาส จึงมีความคิดที่จะบวชอีกครั้งหนึ่ง ประจวบ กับหนูพัดมีอายุครบเกณฑ์บวชพระด้วย สุนทรภู่จึงได้เข้ากราบทูลเรื่องราวถวายสมเด็จฯ กรมพระปรมานุชิตชิโนรส ที่วัดพระเชตุพนฯ พระองค์ทรงรับอุปการะบวชให้ทั้งสุนทรภู่และหนูพัดราวต้นปี พ.ศ. ๒๓๘๓ (รวมเวลาที่สุนทรภู่อยู่ในเพศฆาราวาสหลังจากสึกครั้งแรกได้ ๕ ปี) แล้วทรงแนะนำให้ไปอยู่กับสมเด็จพระวันรัต (เคยเป็นพระอุปัชฌาย์คราวสุนทรภู่บวชครั้งแรก)วัดราชบูรณะ ซึ่งสมเด็จพระวันรัตน์ก็ยินดีให้อยู่ด้วย
สุนทรภู่อยู่ที่วัดราชบูรณะได้ไม่ทันไรก็เกิดความไม่สบายใจขึ้นมาอีก จึงเข้าพึ่งพระบารมีสมเด็จฯ กรมพระปรมานุชิตชิโนรสเพื่อขอย้ายไปอยู่ที่วัดเทพธิดาราม และได้ย้ายไปก่อนเข้าพรรษาปี พ.ศ. ๒๓๘๓ ในปีพ.ศ. ๒๓๘๔ สุนทรภู่ได้เดินทางไปเมืองสุพรรณบุรี พาหนูพัด หนูตาบ และลูกศิษย์ ไปด้วยหลายคน การเดินทางไปสุพรรณบุรีคราวนี้สุนทรภู่ได้แต่งนิราศสุพรรณบุรีขึ้น แต่คงมิได้แต่งจบในระหว่างการเดินทาง เพราะมีความยาวถึง ๔๖๓ บท น่าจะมาแต่งต่อที่วัดเทพธิดารามภายหลัง กลับมาจากสุพรรณบุรีแล้ว
สุนทรภู่แต่งนิราศสุพรรณให้ต่างไปจากนิราศเรื่องอื่นๆ โดยแต่งเป็นโคลงและปรากฎว่ามีเพียงเรื่องเดียวเท่านั้น เหตุที่สุนทรภู่แต่งนิราศสุพรรณเป็นโคลงเพื่อต้องการลบคำประมาทที่ว่าแต่งเป็นแต่กลอนแปดเท่านั้นสุนทรภู่ต้องการจะพิสูจน์ให้ผู้อื่นเห็นว่าถ้าจะแต่งโคลงกาพย์ก็แต่งได้ จึงแต่งโคลงนิราศสุพรรณและกาพย์คำเทียบเรื่องพระไชยสุริยาขึ้น แต่ก็คงจะรู้ตัวเองดีว่า ถึงแต่งได้ก็ไม่ถนัด เหมือนกลอนเพลงยาวหรือกลอนแปด จึงไม่แต่งโคลงกาพย์เรื่องอื่นอีก
จุดประสงค์ของสุนทรภู่ในการเดินทางไปสุพรรณบุรีในปีพ.ศ. ๒๓๘๔ นั้น เพื่อไปค้นหาแร่ ทำนองจะเล่นแร่แปรธาตุเอง หรือมิฉะนั้นก็ไปหาแร่ให้ผู้อื่นที่เล่นแร่แปรธาตุ เพราะเชื่อกันว่าที่ในแขวงจังหวัดสุพรรณบุรีมีแร่อย่างใดอย่างหนึ่งทรงคุณวิเศษสำหรับใช้แปรธาตุ แต่ไม่สามารถหาได้ จึงเดินทางกลับวัดเทพธิดาราม
สุนทรภู่จะตกยากและขาดเจ้านายอุปการะอยู่นานเท่าไรไม่ปรากฏ แต่ต่อมาพระเจ้าลูกยาเธอ กรมหมื่นอัปสรสุดาเทพ พระพี่นางของพระองค์เจ้าลักขณานุคุณทรงรับอุปการะ และในระหว่างที่ยังคงจะจำพรรษาอยู่ที่วัดเทพธิดาราม สุนทรภู่ได้แต่งเรื่องรำพันพิลาปขึ้น เนื้อความกล่าวถึงเรื่องราวที่ตนประสบอยู่ในขณะนั้น และมีที่เขียนขึ้นเป็นทำนองความฝัน
เมื่อออกพรรษาปีพ.ศ. ๒๓๘๕ สุนทรภู่ก็สึกออกจากพระ ขณะมีอายุได้ ๕๗ ปี พระเจ้าลูกยาเธอ กรมหมื่นอัปสรสุดาเทพทรงแนะนำให้สุนทรภู่ถวายตัวแด่สมเด็จเจ้าฟ้ากรมขุนอิศเรศรังสรรค์ซึ่งโปรดดอกสร้อยสักวา แอ่วลาวและบทกลอนอื่นๆ อีกมาก พระองค์ทรงปรานีสุนทรภู่โดยรับอุปการะและโปรดให้ไปอยู่ที่พระราชวังเดิม ส่วนกรมหมื่นอัปสรสุดาเทพก็ทรงเมตตาสุนทรภู่เช่นเดียวกันเพราะโปรดปรานเรื่องพระอภัยมณีของสุนทรคู่มาก ทรงเห็นว่าเรื่องนี้ยังแต่งค้างอยู่ จึงมีรับสั่งให้สุนทรภู่แต่งต่อ ถวายเดือนละเล่ม สุนทรภู่แต่งเรื่องพระอภัยมณีได้ ๔๙ เล่มสมุดไทยและหมายจะจบเพียงแค่ให้พระอภัยมณีออกบวช แต่เมื่อกรมหมื่นอัปสรสุดาเทพมีรับสั่งให้แต่งต่อไปอีก สุนทรภู่จึงต้องคิดเรื่องพระอภัยมณีตอนหลังๆ ตั้งแต่เล่มสมุดไทยที่ ๕๐ ขยายเรื่องออกไปจนจบ
สมเด็จฯ กรมพระยาดำรงราชานุภาพ ทรงกล่าวว่า เมื่อพิเคราะห์ดูเรื่องพระอภัยมณีตอนหลังแล้ว สำนวนไม่ใช่ของสุนทรภู่คนเดียว เพราะมีรับสั่งให้แต่งเดือนละเล่ม สุนทรภู่จะเบื่อหรือมีกิจอย่างอื่นแต่งเองไม่ทันจึงให้ลูกศิษย์แต่ง
ในระหว่างที่พึ่งพระบารมีสมเด็จพระเจ้าน้องยาเธอกรมขุนอิศเรศรังสรรค์ และกรมหมื่นอัปสรสุดาเทพนั้น สุนทรภู่ได้เดินทางไปนมัสการพระปฐมเจดีย์ จังหวัดนครปฐม ในปีพ.ศ. ๒๓๘๕ ได้พาหนูน้อยที่เกิดกับแม่ม่วงและหนูตาบไปด้วย และแต่งนิราศพระประธม เล่าเรื่องการเดินทางครั้งนี้
ต่อมากรมหมื่นอัปสรสุดาเทพทรงประชวรด้วยพระโรคกรรสะ (ไอ) เรื้อรัง และสิ้นพระชนม์ ในปีพ.ศ. ๒๓๘๘ สิริพระชนมายุ ๓๕ พรรษา สุนทรภู่ก็ยังได้พึ่งพระบารมีกรมขุนอิศเรศรังสรรค์อีกองค์หนึ่ง ต่อมาได้ทูลรับอาสาไปหาของที่เพชรบุรี จึงแต่งนิราศเมืองเพชร เป็นนิราศเรื่องสุดท้ายของสุนทรภู่
กล่าวได้ว่าตลอดรัชสมัยพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว สุนทรภู่มีชีวิตอย่างลุ่มๆ ดอนๆ บางคราวก็มีผู้อุปการะ แต่บางคราวก็ขาดที่พึ่งต้องอยู่อย่างเดียวดาย ผจญภัยความยากลำบาก ถึงขนาดต้องเร่ร่อนพเนจรไปตามที่ต่างๆ แต่ก็น่าแปลกตรงที่ว่า ในช่วงสมัยรัชกาลที่ ๓ นี้ สุนทรภู่สร้างผลงานออกมามากที่สุด
ที่มา:สมชาย พุ่มสอาด