林彪與羅瑞卿長期是上下級關系。1959年廬山會議后，林彪取代彭德懷任國防部長，原總參謀長黃克誠因被打成“彭德懷反黨集團”成員而被免職，經林彪向中共中央提名，羅瑞卿由公安部長職位調任總參謀長。

　　起初，林、羅工作上相處尚可，但從1961年起就有點矛盾。1964年以后，林彪在幾個重要問題上逐漸對羅瑞卿心懷不滿，以致發展到恨之入骨的程度。1965年秋，林彪對陶鑄說：1960年，羅瑞卿對我的合作是好的。但是從1962年起，就開始疏遠我、封鎖我，到1965年便正式反對我了。

　　由比武大會引發的矛盾

　　林彪對羅瑞卿表露出明顯的不滿，是從1964年的全軍大比武開始的。為進一步促進部隊的軍事訓練，1964年春，中央軍委決定在全軍舉行一次比武活動。1964年6、7、8月期間，全軍分18個區舉行了比武大會，參加比武和表演的有1.3萬余名干部、戰士和民兵，軍內外參觀的干部近10萬人。

　　1964年6月15日和16日，毛澤東、周恩來、劉少奇、朱德、董必武、鄧小平等黨和國家領導人，檢閱北京部隊和濟南部隊的比武表演。毛澤東對這次比武活動評價很高，并指示要在全軍普及“尖子”經驗。

　　這次全軍大比武對于提高全軍的軍事素質和戰斗力起了重要作用，但這一做法卻并不符合林彪此時的治軍思路。1960年，林彪曾提出部隊的政治“四個第一”的觀點，即人的因素第一、政治工作第一、思想工作第一、活的思想第一。全軍大比武顯然與他的“四個第一”不一致。因此，對于這次全軍大練兵和大比武，林彪起初采取的是靜觀的態度。后來覺得有文章可做，就派葉群等人到廣州軍區當年他參加南昌起義時所在的連隊等基層單位搞調查。調查中發現有些單位軍事訓練占用的時間多了一些，比武中個別單位有錦標主義、形式主義等問題。于是，林彪、葉群抓住這些問題不放，指責大比武是單純軍事觀點，沖擊了政治。

　　1964年11月30日，林彪借全軍組織工作會議召開之機，提出了“突出政治”。他說：“各級黨委一定要把政治思想工作放在首要地位，一定要突出政治。”他甚至說，軍事訓練不應沖擊政治，相反政治可以沖擊其他，并要求1965年應當著重抓政治。林彪的講話作為《關于當前部隊工作的指示》下發全軍貫徹執行。在林彪的壓力之下，大比武活動就這樣偃旗息鼓了。

　　林彪決心整倒羅瑞卿

　　羅瑞卿不同意林彪對大比武的批評，認為“1964年軍事訓練工作是建國以來最好的一年”，“去年是不是沖擊了政治、沖擊了學毛著？主要的不是，有一些是，主要的我看不是”。對于林彪關于“突出政治”的指示，羅瑞卿說：政治“也不能亂沖一氣”。以后，羅瑞卿又多次提出，不要搞空頭政治，說：“如果單純把政治搞好，別的都不好，垮下來，這種政治恐怕不能算好政治，是空頭政治，哪里有這種政治！”“軍事訓練搞不好，浪費事小，打起仗來就要亡黨亡國。”

　　本來在大比武這件事上，林彪就認為羅瑞卿不聽話，同他有二心，產生了要將羅整下來的想法。1964年5月，毛澤東提出培養革命事業接班人的問題，要求每個人都要準備接班人，還要有三線接班人。在貫徹執行毛澤東指示的過程中，羅瑞卿曾就新老干部交替問題向林彪作過匯報，并曾講過有些老干部應當主動“讓賢”之類的話。一向多疑的林彪聽了，認定這是羅瑞卿要他讓賢，更堅定了打倒羅瑞卿的決心。