Павел Сергеевич Грачев родился 1 января 1948 года, хотя сам он называл другую дату своего рождения — 27 декабря 1947. Его семья тогда жила в деревне Рвы Ленинского района Тульской области. Отец работал слесарем Косогорского металлургического завода. Мать была дояркой в деревне Рвы. В 1964 году Павел окончил школу и в 1965 году был призван в ряды советской армии. Затем поступил в Рязанское высшее воздушно-десантное командное училище, которое окончил в 1968 году с золотой медалью по специальностям «командир взвода воздушно-десантных войск» и «референт-переводчик с немецкого языка».
В 1969-1971 годах служил в должности командира разведывательного взвода отдельной разведроты 7-й гвардейской воздушно-десантной дивизии в Каунасе в Литве. В 1971-1975 годах был командиром взвода, а затем роты курсантов Рязанского высшего воздушно-десантного командного училища.
С 1975 года по 1978 год командовал учебным парашютно-десантным батальоном 242-й учебной воздушно-десантной дивизии. В 1978 году стал слушателем Военной академии им. М. В. Фрунзе, которую окончил в 1981 году с отличием и был направлен в Афганистан.
С 1981 года принимал участие в военных действиях в Афганистане. До 1982 года — заместитель командира, в 1982-1983 годах — командир 345-го гвардейского отдельного парашютно-десантного полка в составе Ограниченного контингента советских войск. В 1983 году по возвращении в СССР был направлен в Каунас в качестве начальника штаба — заместителя командира 7-й гвардейской воздушно-десантной дивизии.
В 1984 году Павлу Грасову было досрочно присвоено звание полковника. Во второй раз в Афганистан он был назначен в 1985-1988 годах командиром 103-й гвардейской воздушно-десантной дивизии в составе Ограниченного контингента советских войск. 1 ноября 1986 года Павлу Грачеву было присвоено звание генерал-майора.
5 мая 1988 года за выполнение боевых задач при минимальных людских потерях и за профессиональное командование управляемым соединением и успешные действия 103-й Воздушно-десантной дивизии, в частности, по занятию стратегически важного перевала Сатукандав (провинция Хост) в ходе войсковой операции «Магистраль» генерал-майору Грачеву было присвоено звания Героя Советского Союза.
После возвращения из Афганистана он продолжал службу в воздушно-десантных войсках на различных командных должностях.
После окончания в 1990 году Военной академии Генерального штаба Вооруженных Сил СССР он был назначен первым заместителем командующего Воздушно-десантными войсками. 30 декабря 1990 года генерал-майор Грачев назначен командующим Воздушно-десантными войсками СССР, хотя эта должность по рангу может занимать только генерал-полковник. Всего за время военной службы совершил 647 прыжков с парашютом, часть из них — при испытаниях новой техники. Был 8 раз контужен, получил несколько ранений.
С 3 апреля 1992 года Грачев — первый заместитель министра обороны России, ответственный за осуществление взаимодействия с главным командованием Объединенных вооруженных сил СНГ по вопросам управления воинскими формированиями, находящимися в юрисдикции Российской Федерации.
7 мая 1992 года на него возложено непосредственное управление Вооруженными силами Российской Федерации. В тот же день ему, первому в России после распада СССР, было присвоено звание генерала армии. Павел Грачев стал самым молодым российским генералом армии. Ему было 44 года. 18 мая того же года генерал Грачев стал министром обороны Российской Федерации.
После ухода с должности Павел Грачев до осени 1997 года находился в распоряжении верховного главнокомандующего. 18 декабря 1997 года согласно специальному указу президента России приступил к обязанностям советника генерального директора компании «Росвооружение». 27 апреля 1998 года назначен главным военным советником генерального директора ФГУП «Росвооружение» — «Рособоронэкспорт», официально приступив к исполнению обязанностей.
Скончался генерал Грачев 23 сентября 2012 года в Москве. Похоронен с воинскими почестями на Новодевичьем кладбище
24 сентября 2013 года на могиле Павла Грачева был открыт памятник. На церемонии открытия присутствовали вдова Любовь Грачева, Министр обороны Российской Федерации Сергей Шойгу, командующий Воздушно-десантными войсками Владимир Шаманов. Создание скульптуры — совместный проект Российского союза ветеранов Афганистана и Министерства обороны России.
