1949年，中華人民共和國成立，同年10月改組原中華體育協進會為中華全國體育總會即中國奧林匹克委員會。這是全中國惟一法定的全國性體育組織，但由于某些國際體育組織中的少數人企圖制造“兩個中國”，致使新中國與國際奧委會的關系出現一些波折，中國參加國際體育活動受到阻撓。中國奧委會的發展與中際奧委會關系正常化經歷了一段曲折的過程。

　　1952年，在芬蘭赫爾辛基舉行的第十五屆奧運會，中國作為國際奧委會的成員國理應有權參加。可是某些要蓄意在中國席位問題上制造事端，經過中國的堅決斗爭，當時的國際奧委會主席埃德斯特隆不得不承認中華全國體育總會“領導給著百分之九十五以上的中國青年”。但又無理聲稱“由于中國的混亂，在困難解決之前，任何運動員不得參加比賽”。

　　但是中國參加奧運會比賽的正義要求贏得了世界輿論和國際社會、國際奧委會中正義人士的廣泛支持，國際奧委會終于在第十五屆奧運會開幕前夕，做出了邀請中華人民共和國運動員參加這次奧運會的決議。中國派出了40人的體育代表團參加，其中運動員26人，參加籃球、足球和游泳比賽。但因此比賽賽程業已接近尾聲，只有游泳運動員吳傳玉參加了100米仰泳預賽。成績是1分12秒3。新中國成立后，首次參加奧運會競技，第一次走進奧運會賽場，雖未取得成績，但維護了中國參加奧運會競技比賽的合法權利。

　　1954年，國際奧委會第四十九屆會議在希臘舉行，在這次會議上，中華人民共和國在國際奧委會的合法席位終于得到承認。但是，對于剛剛成立的社會主義新中國，仍有個別人持敵視的態度，竟然偷偷地把中國臺灣省地方體育組織列入國際奧委會所承認的各國奧委會名單。這分明仍堅持“兩個中國”的錯誤態度。此后，1956年，國際奧委會在某些人的操縱下，繼續蓄意制造“兩個中國”。中國人民堅決反對這種行為。在多次提出抗議無效的情況下，中國奧委會于同年11月6日正式宣布不參加第十六屆奧運會，以實際行動表示抗議。

　　此后，國際奧委會中的某些人繼續堅持制造“兩個中國”的錯誤態度。一些國際單項運動聯合會也仿效這種錯誤做法。這種做法大大損害了中國奧委會的權利，踐踏了中國奧委會的尊嚴。在這種情況下，中國奧委會毅然做出決定，于1958年8月19日發表關于同國際奧委會斷絕關系的聲明，并且宣布退出國際田徑、籃球、舉重、游泳、射擊、摔跤、自行車聯合會以及亞洲乒乓球聯合會八個國際體育組織，同年6月7日宣布退出國際足球聯合會。

　　中國奧委會與國際奧委會斷絕關系前后，國際奧委會在某些人的操縱下，非法地承認中國臺灣省的體育組織，并在1970年選舉了臺灣省徐亨為國際奧委會委員，在此期間，中國臺灣省的運動員先后參加了五屆夏季奧運會。

　　1979年，隨著中國大國地位的提高和國際形勢的變化，中國奧委會向國際奧委會提出了解決中國在國際奧委會的合法席位問題的建議，隨后，10月25日，國際奧委會執行委員會在日本名古屋舉行會議，一致通過恢復中國在國際奧委會的合法席位的決議。11月26日，國際奧委會在洛桑宣布：國際奧委會經過全體委員的通訊表決，以62票贊成，17票反對，2票棄權，批準了執委會在名古屋做出的關于中國代表權的決議，決定中華人民共和國奧林匹克委員會的名稱為“中國奧林匹克委員會”，使用中華人民共和國的國旗和國歌；設在臺北的奧委會的名稱是“中國臺北奧林匹克委員會”。不能使用它目前的旗、歌和會徽，新的旗，歌和會徽必須得到國際奧委會的批準。11月27日，中國奧委會主席鐘師統宣布：中國奧委會決定接受國際奧委會的決議，并參加1980年舉行的冬季和夏季奧運會。

　　這樣，經過21年的斗爭，中國在國際奧委會中的合法席位終于得到了解決，1981年，何振梁當選為國際奧委會委員，1985年又當選為國際奧委會執委，現在，何振梁不僅是中國奧委會主席，同時又是國際奧委會副主席。中國與國際奧委會的關系進入順利合作的新階段。中國積極參加冬季和夏季奧運會的競技運動，支持國際奧委會的活動，促進了中國和國際體育運動的發展。中國奧委會在中國人民的大力支持下，積極發起爭辦“北京2000年奧運會”。

　　中國奧林匹克委員會，是中國發展體育和推動奧林匹克運動性的全國群眾性體育組織，會址設在北京。中國奧委會由主管各單項奧林匹克項目運動協會和其他群眾性體育組織的代表組成，最權力機構是全體委員會會議。全體委員會議選舉主席、副主席、秘書長、司庫和委員若干人組成執行委員會，主持日常工作。執行委員會下設體育部、安理會部、競賽部等辦事機構。中國奧委會的主要任務是協調奧林匹克項目的開展，選拔并組織運動員參加奧運會和冬季奧運會、亞運會和冬季亞運會，中國奧林匹克委員會現任主席是袁偉民。

　　1993年，又成立了中國奧林匹克運動會的輔助性組織機構----奧星促進會，會址設在北京。由世界極三大(奧運會、世界錦標賽、世界杯賽)中取得優異成績的運動員、教練員以及為體育做出過突出貢獻的體育工作者自愿組成。會長張健，副會長張蓉芳、聶衛平，秘書長陳招娣。它為適應社會主義市場經濟，探索體育改革之路，旨在積極發展自身能力，依靠社會各界支持，致力于提高中華民族身體，培養未來奧運新星，支持中國奧委會的行動，吸引挽留體育人才，繁榮發展體育，奧促會作為現行體制的一種積極有益的補充，鈄努力在深化中國體育改革中發揮應有作用。

　　另外，中國奧委會和中國臺北奧委會均為亞奧理事會成員(分別于1973年和1982年加入)。