1904年日俄戰爭期間，作為強化日本海軍兵力的重要一環，日本決定從美國購置「霍蘭」級潛艇。1904年6月30日日本海軍向美國電船分公司發出了購置5艘「霍蘭」級潛艇的訂單。雖然這5艘「霍蘭」級潛艇最終沒有來得及用於日俄戰爭，但是，牠們成為日本海軍的第一批潛艇。
接著，日本海軍通過川崎造船廠從美國購置了「霍蘭」型潛艇的設計圖紙，由該廠自行建造，不過艇上的設備都是從美國購置的。儘管如此，這仍然是日本自行建造潛艇的初步嘗試。1907年，日本又從英國購入 C 級潛艇。經過這樣一段時間的發展之後，日本認為已經初步具備了潛艇設計和建造能力，因此決定自行設計與建造潛艇。
1910 年，日本自行設計的「川崎」號潛艇正式開工，歷經2 年半的時間，於1912年9月竣工。但是，該艇建成服役之後，其水面最高航速只能達到10節。從總體性能方面來說，「川崎」號潛艇沒有滿足日本海軍的要求。在這種情況下，日本又轉而繼續走從國外直接購買潛艇的途徑。
當時，法國的潛艇技術在世界上處於領先地位，擁有50餘艘潛艇的建造經驗。法國潛艇的重要特徵之一是採用雙殼體結構，耐壓艇體採用外肋骨加強的結構形式，艇上裝備安全性更高的柴油機作為主機。法國潛艇具有的這些優點深深引起了日本的關注。於是，日本決定從法國購置2艘潛艇。然而，正當這2艘潛艇處於建造階段時，第一次世界大戰爆發。當時，法國政府把其中的一艘強行徵集為法國海軍潛艇，另外一艘由於戰爭的耽擱，在尚未建成狀態下運至日本，由日本的吳工廠將其繼續建造下去。1917 年 6月，該艘潛艇終於在日本吳工廠建造完畢。這就是日本的第15號潛艇。
隨著第一次世界大戰的爆發，德國的潛艇戰取得了舉世矚目的戰績，同時，潛艇作為一種新興的海上兵力得到了包括日本在內的世界各國的高度重視。另外，在這一期間，由於第一次世界大戰的影響，日本無法從國外直接購買到潛艇，於是只好從義大利的菲亞特公司購買 F1 級潛艇的建造許可證。F1級潛艇採用雙殼體結構，該級潛艇上的武器裝備強大，總共裝有5具魚雷發射管和1座艦炮。但是，F1 級潛艇水下航行性能較差，遠遠沒有達到日本海軍的要求。於是，日本海軍便對正處於建造狀態的 F1 級中的第 3 艘至第5艘潛艇加以改進。為了與F1級中的前2艘潛艇加以區別，因此日本海軍把經過改進而竣工的這3艘潛艇稱為F2級潛艇。
在從外國引進潛艇技術的同時，日本開始獨自設計和建造「海中」—1 級艦隊型潛艇。從日本潛艇發展歷史上來看， 「海中」—1級潛艇是日本獨立設計、建造和發展潛艇的艱難起點。「海中」—1級潛艇存在的眾多缺陷和不足，使得日本海軍意識到，在發展日本海軍潛艇的道路上，還存在著許多障礙和困難。
從 1917 年開始，日本海軍相繼建造了「海中」2 級和「海中」—3級、「海中」—4級潛艇，以便儘快掌握先進的潛艇技術。
經過將近 10 年的努力，「海中」—4級潛艇終於達到了日本海軍的要求。從這個意義上來說，日本在設計和建造中型潛艇方面，朝著成熟的方向邁出了重要的一步。
第一次世界大戰結束之後，日本從德國海軍得到的戰利品潛艇於1919年被拖到日本，日本從德國海軍潛艇上得到了許多借鑑和啟發。在此基礎上，日本海軍於1918年開始把進一步的發展重點置於建造大型艦隊型潛艇方面。為此日本海軍決定建造「海大」—1級、「海大」—2級潛艇，實現了發展水面高速潛艇的目標。
1936 年 12月底，為了迅速發展艦艇兵力，日本決定退出倫敦條約，從此，日本不再受到倫敦條約的限制，因此可以放手建造各種潛艇。在這種背景下，日本海軍根據 1937 年度計畫和1939 年度計畫，建造了3艘「甲」級潛艇。為了增加搜索能力， 「甲」級潛艇上配備了水上偵察飛機。此外， 「甲」級潛艇被日本海軍作為未來海上作戰的旗艦，因此，在「甲」級潛艇上，通信功能受到異常重視，艇上裝備了各種高性能的通信設施。從技術角度上來說「甲」級潛艇把「巡潛」級潛艇的遠洋航行性能和「海大」級潛艇的高速航行性能兼於一身。