1960年4月，我陪毛澤東外出巡視，直到6月下旬，上海會議(就是毛澤東作《十年總結》講話的那次會議)結束后才回到北京。在這次外出期間，毛澤東多次接見外賓，被接見的客人分別來自亞、非、拉美、東歐、西歐遍及全球；客人的身份從民間團體、社會知名人士到政府首腦和共產黨的領袖；接見的地點有時安排在毛澤東臨時下榻的地方，有時安排在他乘坐的專列上。這幾次談話都錄了音，當然是經毛澤東事先同意的。

　　1961年4月，我正在河北省徐水宣講《人民公社六十條》，突接龔子榮電話，說毛澤東追查錄音問題，要我立即回京。我回到北京以后，才知道毛澤東在長沙準備接見外賓時發現要錄音，生了氣。我在向小平、彭真同志說明情況的同時，一方面向毛澤東作書面檢討，承擔責任，說在錄音問題上疏于檢查，請求處分；另一方面責成機要室的同志抓緊組織力量，選擇最重要的錄音盡快轉化為文字記錄，然后把所有的錄音帶清點登記銷毀。

　　中央書記處在小平同志的主持下召開會議，專門討論了錄音問題，通過了《關于錄音、記錄問題的決定》。《決定》提出：中央重要的正式會議，經書記處批準，可以進行記錄。此外，黨代表大會，中央全會，中央工作會議，中央政治局、書記處會議等中央會議；中央領導同志和黨內同志的談話；中央領導同志接見外賓的談話一律不準錄音。并要求中央一級政府、軍隊、人民團體、各部門和各地方各級黨、政、軍、群組織，均仿照這一規定辦理。為了嚴格執行這一決定，又不能重復《論十大關系》無記錄的錯誤，就決定選調一批青年，培養成速記員，恢復會場速記的辦法。徐瑞新、田鶴年、師金城他們幾個青年人就是這個時候調來學速記的。直到1965年冬，我被免去中央辦公廳主任職務前，大型會議的記錄都是用速記的辦法完成的。

　　“文化大革命”開始后，“秘密錄音”就成了我的一大罪狀，說我搞“竊聽”，是“大特務”。你整我一個人倒也罷了，可是因為是“竊聽”，就把徐子榮、王芳等一大批人都牽連進去了，把毛澤東外出巡視時所有到過的省、市公安廳、局長都牽連進去了。這是林彪、江青一伙，為了整人不擇手段就是了。當然，首先是毛澤東不喜歡錄音。

　　我堅持認為，錄音不但不是我的罪過，相反是一大功勞。錄音，就是為了保存黨的歷史文獻嘛！遺憾的是，1961年銷毀了大批錄音帶，由于時間緊迫，搶救下來的東西太少了，不知有多少珍貴史料化為灰燼。