כתיב: "ויאמר אליהם מלך מצרים למה משה ואהרן תפריעו את העם ממעשיו לכו לסבלותיכם" (שמות ה,ד), ואיתא במדרש (שמות-רבה ה,טז), וז"ל: אמר ר' יהושע בן לוי, שבטו של לוי פנוי היה מעבודת פרך, אמר להם פרעה: בשביל שאתם פנויים אתם אומרים "נלכה ונזבחה לאלוהינו" – "לכו לסבלותיכם", עכ"ל, והובא ברמב"ן על אתר. ובפשטות ביאור סיומם של דברי פרעה הוא כפי שכותב כאן רש"י, וז"ל: "לכו לסבלותיכם" - לכו למלאכתכם שיש לכם לעשות בבתיכם, אבל מלאכת שעבוד מצרים לא היתה על שבטו של לוי, ותדע לך שהרי משה ואהרן יוצאים ובאים שלא ברשות, עכ"ל. ויעוין עוד בביאור 'בית היין' על הרמב"ן.
אמנם, לפי מדרש זה תמוהה ביותר טענת פרעה על כלל העם אשר בגינה גזר עליהם את גזירת התבן - "כי נרפים הם על כן הם צועקים לאמר נלכה נזבחה לאלוהינו" (להלן פסוק ח'), והרי ה'צועקים' הם משה ואהרן משבט לוי שבאמת 'פנוי היה מעבודת פרך' ועל כן הם היו 'פנויים' לחשוב מחשבות שכאלו וכפי שעמד על כך פרעה בעצמו, ואם כן לכל היותר היה לו לפרעה לגזור שעבוד על שבט לוי מכאן והלאה כדי למנוע תופעות שכאלו, ומה לו כי ילין על שאר העם? ובשלמא אם היו מגיעים עם משה ואהרן זקני ישראל היתה בכך הוכחה שגם אצל יתר העם פושות מחשבות שכאלו, אולם לא כן היה וכפי שכותב רש"י (לעיל פסוק א') ש'הזקנים נשמטו אחד אחד מאחרי משה ואהרן עד שנשמטו כולם קודם שהגיעו לפלטין', וא"כ תמוה איזו טענה היתה לפרעה על כלל העם? וצ"ע.