1959年2月4日，中蘇兩國簽訂了《關於蘇聯政府給予中國海軍製造艦艇方面新技術援助的協定》，簡稱「二四協定」。根據協定，蘇聯將其在1957年設計的、正在建造的、尚未服役的最新產品629型常規動力彈道飛彈潛艇有償轉讓給中國製造（在我國代號是6631型），全部設計圖紙和主要材料、設備均由蘇聯提供，並派出技術專家來指導建造工作。
1960年初，6631型常規動力彈道飛彈潛艇原定由渤海造船廠建造，因為正處在興建中的渤海造船廠尚未形成生產能力，短期內不具備開工建造的條件，便轉而建議由江南造船廠承造。但該廠當時也有困難，工程短期內無法上馬。
該型艇是當時世界上最為先進的潛艇，代表著蘇聯的頂級技術水準，它的建成能極大提昇我國海軍的作戰能力，同時也能整體提高我國艦船建造的技術能力。在這種形勢下，面對歷史的機遇和挑戰，大船集團經科學計算和詳細論證，主動請纓，申請承擔6631型常規動力彈道飛彈潛艇的建造任務。1960年2月27日，第一機械工業部正式下文批准，並傳達賀龍元帥的指示，同意大船集團承擔起建造中國第一艘6631型常規動力彈道飛彈潛艇的歷史重任。
1960年4月1日，該艇正式開工建造。正當設備、儀器、圖紙等生產資料陸續抵連，工廠上下滿腔熱情地進行產品試製工作時，中蘇兩國關係急劇惡化。1960年7月16日，蘇聯單方面撕毁合同，宣布停止援華項目，並撤走全部專家。該型艇的建造工作面臨著嚴峻的考驗，前途變得迷茫起來。
該型艇是蘇聯於20世紀50年代末設計的產品，我國是第一次建造這樣大型的帶有彈道飛彈發射裝置的潛艇，根本沒有經驗。雖然蘇聯提供了一定的圖紙資料，但是殘缺不全，尤其是工藝方面的資料一份也沒有。因此，面對的困難是可想而知的。此時，根據賀龍元帥關於「通過引進產品試製，不僅要出合格的產品，而且要出人才，要出經驗」的指示精神，工廠堅定了不能因蘇聯撤走專家而影響建造任務的決心，決定要澈底丟掉依賴思想，丟掉拐棍，振奮精神，迎難而上。為此，工廠立即著手分析、整理和鑑別原有的技術資料，結合實際情況確定了焊接、探傷、熱處理、裝配等144項關鍵技術；分批次派遣人員隨潛艇部隊出海，瞭解潛艇的航行、下潛、上浮等技術性能及設備運用，獲取對潛艇的直觀感受；組織有關人員赴江南造船廠學習常規潛艇的施工經驗。通過這些有效的手段，工廠從零開始，逐步消化，為順利建造創造了有利條件。
1962年10月，該型艇的核心技術項目飛彈發射筒安裝完工，這標誌著中國掌握了彈艇結合這一技術，突破了技術瓶頸，朝著勝利邁出了關鍵的一步。
1964年7月1日，中共中央委員會總書記鄧小平，國務院副總理李富春等視察參觀了正在建造中的潛艇。鄧小平指示：造船也要搞通用化、標準化；要講究經濟，產品的質量要好，造價要便宜；要降低成本，要搞先進工藝；要很好地總結經驗。
1964年9月20日，6631型常規動力彈道飛彈潛艇採用6組浮筒全封閉的下水方案安全下水。1966年3月17日，航海試驗開始。經過多達15次的航海試驗（6次下潛試驗），該型艇的建造質量與各項戰術技術性能基本符合設計要求，完全具備了交付條件。
1966年8月30日，大船集團建造的6631型大洋級常規動力彈道飛彈潛艇竣工，正式交付海軍使用。這是中國建造的第一艘常規動力彈道飛彈潛艇，為我國彈道飛彈潛艇的發展做出了重要貢獻，同時也為中國第一艘核潛艇的成功建造指明瞭方向。
6631型大洋級常規動力彈道飛彈潛艇歷時6年多坎坷建造成功，使中國海軍擁有了第一艘大洋級常規動力彈道飛彈潛艇。這是大船人在一窮二白的基礎上、在極其艱苦的條件下丟掉拐棍、勇于探索、自力更生的創舉，是智慧和艱苦奮鬥的結晶。它的成功建造，培養了一批能打硬仗的專業技術人才、管理人才，造就了一支吃苦耐勞的工人隊伍，積累了軍工生產的豐富經驗，為今後中國自行設計建造核動力飛彈潛艇和大型水面戰鬥艦艇奠定了堅實基礎，同時也向世人證明，大船集團擁有建造高難度戰艦的決心和能力。
從1968年6月到1982年4月，大船集團持續對該艇實施了兩次改建工程，以實現其水下發射飛彈的功能。1982年10月13日，該艇在水下成功地發射了「巨浪一號」遙測彈，開創了我國潛艇水下發射飛彈的歷史。從此，我國軍隊具備了全方位、立體化的洲際核打擊能力，極大地加強了國防現代化水準。1985年，「「巨浪一號＇固體潛地戰略武器及潛艇水下發射」榮獲國家級科技進步特等獎。