شغل الشافعي منصب وزير الحربية في 1954، وانتقل بعدها بعام ليصبح وزيراً للشؤون الاجتماعية، وكان له أثر كبير في إدخال نظام التأمين الاجتماعي وإطلاق برامج “معونة الشتاء” و”قطار الرحمة” التي ساعدت الفقراء في مصر. ثم عمل وزيراً للتخطيط، حتى تولى في 1961 وزارة شؤون الأزهر. وفي هذه الأثناء، شارك في المفاوضات التي سبقت إعلان الوحدة بين مصر وسوريا في فبراير 1958.
في عام 1963، إختاره عبد الناصر لمنصب نائب رئيس الجمهورية، وقد كان الشافعي عضواً في المحكمة التي حاكمت زعيم الإخوان المسلمين سيد قطب في منتصف الستينات. في عام 1967 تولى رئاسة محكمة الثورة، التي حاكمت الضباط الذين إنضموا إلى التمرد الذي قاده وزير الحربية المصري المشير عبد الحكيم عامر بعيد هزيمة حزيران-يونيو 1967 والذي استمر قرابة الشهرين. ظل الشافعي نائباً لرئيس الجمهورية، لكن عبد الناصر عين في 1969 أنور السادات نائباً أول للرئيس. وعندما تولى أنور السادات رئاسة الجمهورية عام 1970، أبقى على الشافعي نائباً أول له حتى عام 1974.