第一次世界大戰結束時，根據凡爾賽條約的規定，作為戰敗國的德國不許建造、購買或擁有潛艇。但是1933年希特勒執政，1934年便開始秘密建造潛艇。1935年，德國與英國進行了談判並達成了「英德海軍協定」。按照這一協定，德國可以在總噸位不超過英國艦艇總噸位的35％的情況下建設一支德國海軍。但是，德國的潛艇總噸位卻可以為英國潛艇總噸位的45％。
自從1918年德國在第一次世界大戰成為戰敗國之後，德國的潛艇技術完全中斷。當1935年德國重建海軍時，德國為研製和建造新型潛艇投入了很大的財力。德國的潛艇技術因此便在短短的幾年時間裡迅速得到恢復。到1939年第二次世界大戰爆發時，德國總共建造了57艘潛艇。
1939年9月，第二次世界大戰爆發，在戰爭爆發僅僅兩個星期之後，德國的潛艇便獲得了舉世矚目的戰果。1939年9月17日，德國潛艇擊沉了英國皇家海軍的「勇敢」號航空母艦。10月，德軍的U—47號潛艇秘密地潛入斯卡帕灣，向停泊在那裡的英國皇家海軍的「皇家橡樹」號戰列艦進行了偷襲，結果使得這艘排水量為33000多噸的巨型戰列艦在短短的十幾分鐘便迅速沉沒，包括艦隊司令在內的艦上近800名官兵葬身海底。而U—47號潛艇卻平安無事地溜出了斯卡帕灣。
1940年6月，義大利在法國的背側對法國展開了軍事行動。法國投降之後，英吉利海峽的各島嶼於7月1日均落入德軍之手。這時，德國加緊了潛艇的建造步伐，並且開始在海上不斷襲擊英國的運輸船隻。1940年這一年之中，德國建造了66艘各種型號的潛艇並將這些潛艇立即投入了戰爭，被德軍潛艇擊沉的英國運輸船隻急劇增加，英國的海上運輸船隻在接連幾個月的時間裡遭到了巨大損失。
1940年秋季，德軍潛艇部隊司令卡爾·鄧尼茨開始實行「狼群戰術」。在第二次世界大戰的最初幾年時間裡，德軍潛艇的「狼群戰術」取得了相當大的成功。盟軍的運輸船隊在不斷遭到德軍潛艇的狼群襲擊之後，不得不加強了護航船隊的反潛作戰能力。
隨著大西洋上戰爭的推移和發展，為了進一步地遏制德軍潛艇對大西洋航線上護航船隊的襲擊，盟軍調撥了大量戰鬥機參加大西洋上船隊的護航。從大西洋的東西兩岸一直延伸到大西洋的縱深海域，盟軍的護航船隊都可以得到在大西洋東西兩岸起飛的盟軍戰鬥機的空中支援。
當時，凡是參加護航的戰鬥機都裝備了經過改進的雷達，利用這種機載雷達，即使在天氣條件十分惡劣的時候，也能在遠距離發現德軍水面航行的潛艇，並且可以迅速地對那些德軍潛艇實施毁滅性的打擊。從此之後，德軍的潛艇被迫退縮在大西洋中間一條800千米寬的狹長海域裡活動，因為這一條狹長海域是盟軍戰鬥機因其續航力的限制而無法達到並進行有效空中巡邏的海域。
1942年8月～1943年4月，海上的德軍潛艇與盟軍的反潛作戰兵力進行著拚死的較量，雙方都付出了沉重代價。第二次世界大戰的初期，德軍潛艇平均每擊沉11艘盟軍的船隻，德軍就要損失一艘潛艇，雙方的損失比為11：1。到了1940年時，由於德軍採用了「狼群戰術」，加上德軍潛艇襲擊盟軍船隻的戰術日趨熟練，雙方的損失比上升到22：1。後來，由於盟軍逐漸加強了反潛作戰力量以及盟軍的戰鬥機加入了護航活動，德軍潛艇的損失日漸增加。到了1943年時，雙方損失比降低到4：1。
1942年夏季之前，德軍平均每月損失5艘潛艇，但是到了1942年秋季之後，德軍每月平均損失的潛艇為15艘以上。由於潛艇損失數量的明顯增加，德國為了保證在戰場上擁有足夠數量的潛艇，於是加快了建造潛艇的步伐。這時，德國動員了國內的16家造船廠日以繼夜地建造潛艇，每個月建成服役的新潛艇為20艘。1941年德國總共建造了210艘新潛艇，1942年建造了307艘新潛艇。這樣，儘管德軍潛艇的損失數量不斷增加，但是到1943年下半年時，德國在役潛艇的數量仍保持在300艘以上。
在德國加速建造新潛艇的同時，盟軍加緊了新式反潛武器的研製。新式反潛武器投入反潛戰場之後，發揮了很大的作用。這樣便迫使德國不得不做出更大的努力來改進和提高德軍潛艇的性能。裝備了高性能機載搜索雷達的盟軍戰鬥機加入反潛作戰活動之後，盟軍的戰鬥機可以不分晝夜地開展搜索活動。德軍潛艇被迫將其活動的大部分時間改為水下活動。德軍潛艇只要在海面上的時間稍長一些，便隨時都可能被盟軍的空中反潛巡邏機發現並遭到盟軍飛機的轟炸或盟軍反潛兵力的打擊。
為了改進潛艇的隱蔽性，減少潛艇在水面的充電時間已經成為德國潛艇設計師們迫切需要解決的問題。1943年，德國的海軍工程師們終於研製出潛艇通氣管裝置。通氣管裝置可以使潛艇的隱蔽性有很大的提高，從而大大地減少被雷達發現的幾率。從這個角度上來說，通氣管裝置無疑將潛艇技術向前推進了一大步，並且對戰後世界各國潛艇技術的發展產生了深遠的影響。第二次世界大戰結束之後，世界各國都從德國潛艇的通氣管裝置得到了借鑑，紛紛在本國的潛艇上裝設了通氣管裝置。
第二次世界大戰期間，為了適應新的戰爭形勢，德國還加緊研製水下高速潛艇。1944年，德國研製出兩種型號的水下高速潛艇。一種是U—XXI型潛艇，另一種是U—XXIII型潛艇。值得一提的是U—XXI型潛艇，從潛艇技術發展的歷史角度來看，該級潛艇在現代潛艇發展的近百年歷史上佔有一席之地。
U—XXI型潛艇的水面排水量為1621噸，水下排水量為1819噸，水面最高航速為15.6節，水下最高航速為17.2節。以17.2節的水下最高航速航行時，可航行72分鐘；以5.2節的安靜航速航行時，可在水下持續航行72小時；該級潛艇以10節的水面航速航行時，其續航力可達15500海裡。
該級潛艇上裝備的通氣管裝置，可以使其長時間地在水下航行，很難被盟軍的機載雷達發現，特別是在二級海況以上的情況下利用通氣管裝置航行時，盟軍的機載雷達幾乎無法將其探測到。另外，由於該級潛艇改進了線型，大幅度地減少了聲吶橫截面，因此提高了水下隱蔽性。
德國在第二次世界大戰後期總共建造了131艘U—XXI型潛艇，由於當時已經到了第二次世界大戰後期，德國的局勢更加動盪不定，加上該級潛艇沒有經過模型試驗而匆忙直接投入建造，因此，建成的U—XXI型潛艇之中，能夠達到設計指標的潛艇數量甚少。但是德軍在第二次世界大戰末期把U—XXI型潛艇投入戰場，仍然取得了非凡的戰績。不過此時德國已是強弩之末，U—XXI型潛艇投入戰場也已不能挽救德國的敗局了。
第二次世界大戰結束之後，美國、前蘇聯、英國以及其他一些國家都從繳獲的U—XXI型潛艇中得到了不同程度的啟發和借鑑，並且許多國家在戰後建造的第一批潛艇中都採用了U—XXI型潛艇上的許多先進技術。應該客觀地說，U—XXI型潛艇對戰後世界常規潛艇技術的發展產生了深遠的影響。
在第二次世界大戰期間，德國在潛艇技術方面的另外一個引人注目的成就是「沃爾特」汽輪機裝置在德軍潛艇上的應用。所謂「沃爾特」汽輪機裝置就是利用過氧化氫在封閉環境下維持燃料的燃燒特性來產生推進動力，從而使潛艇能夠在水下進行長時間的持續潛航。
1944年春季，德國建造了裝備「沃爾特」汽輪機裝置的U—XVII型潛艇。該級潛艇水面航行時利用艇上的柴油機，航速為8.5節，水下低速航行時利用電動機，水下高速航行時則使用「沃爾特」汽輪機裝置。1944年12月U—XVII型潛艇的首制艇U—1405號潛艇完工，在對該艇進行試航時，該艇的最高水下航速為21.5節。
另外，從1944年5月，德國還開始建造另一種裝備「沃爾特」汽輪機裝置的U—XXVI型潛艇。該級潛艇的水面航速為11節，但是利用「沃爾特」汽輪機裝置的水下最高航速可達22節。德軍統帥部決定建造100艘U—XXVI型潛艇，但是到1945年德國戰敗投降時，這100艘U—XXVI型潛艇仍處在建造階段而沒有投入戰爭之中。
「沃爾特」汽輪機裝置對於戰後常規潛艇的AIP研製也起到了很大的推動作用。第二次世界大戰結束之後，世界上有許多國家都對潛艇的AIP技術給予了極大的重視。美國直到1953年之前，仍然是同時並行研製潛艇非核式閉式循環推進系統和潛艇核動力系統。1953年之後，由於核動力推進系統的研製得到技術上的突破並獲得迅速的發展，美國最終才放棄了非核式閉式循環系統的研製。
在第二次世界大戰期間，德國投入戰爭的共有1150艘潛艇，其中有807艘潛艇被盟軍擊沉。盟軍一側被德軍潛艇擊沉的艦船為2882艘，受到重創的艦船為264艘，盟軍艦船損失的總噸位為1440萬噸。