Era The Killer I (1950–1966)
Masa kejayaan PSMS terjadi sejak tahun 1950-an. Kala itu, PSMS kerap mengundang tim-tim dari luar negeri seperti Grazer AK, Kowloon Motorbus (Hong Kong), Grasshopper, Star Soccerites (Singapura) dan lain-lain. Berkat kemenangan-kemenangan yang kerap dicicipi PSMS saat melawan tim-tim luar negeri, PSMS mendapat julukan "The Killer" atau "Algojo" bagi tim-tim dari luar negeri.

Eksistensi PSMS pada awal-awal kemunculannya memang sudah tidak diragukan lagi. PSMS kerap kali menang melawan setiap pertandingan klub dalam dan luar negeri. Saat itu PSMS dijuluki dengan julukan The Killer karena selalu menghajar lawannya di lapangan.

Saat itu PSMS juga beranggotakan pemain-pemain fenomenal seperti Ramlan Yatim, Ramli Yatim, Buyung Bahrum, Kliwon, Cornelius Siahaan, Yusuf Siregar, M.Rasijd, Arnold Van Der Vin dan lain-lain. Kepiawaian mereka dalam menggiring bola membuat PSMS dan Sumatera Utara kerap menjuarai beberapa turnamen dan liga olahraga.

Pada tahun 1953 dan 1957 pemain PSMS yang membela Tim Sumatera Utara di Pekan Olahraga Nasional (PON) mempersembahkan Medali Emas.

Pada Kejurnas PSSI (Perserikatan) 1954 dan 1957 PSMS berhasil meraih gelar Runner Up. Pada Olimpiade 1956 di Melbourne 3 pemain PSMS Medan yaitu Ramlan Yatim, Ramli Yatim dan M.Rasijd tampil membela Tim Nasional Sepakbola yang tampil di Olimpiade.

Demikian pula dengan Asian Games 1958 di Tokyo 3 pemain PSMS yaitu : M.Rasijd,Saari dan Bakir Goordy tampil membela Timnas dan berperan besar membawa Timnas Indonesia meraih Medali Perunggu.

Hingga kini Medali Perunggu Asian Games 1958 ini adalah prestasi terbaik sepakbola Indonesia di Asian Games.

Era The Killer II (1967–1975)
Memasuki era 1960-an, PSMS menjadi momok menakutkan bagi klub-klub di Indonesia. Pada April 1967, Final Piala Suratin berlangsung di Stadion Menteng, Jakarta. Di babak final ini, PSMS Jr yang dilatih Legenda PSMS Ramli Yatim berhasil unjuk gigi sebagai kekuatan utama sepak bola saat itu.

Ramli Yatim berhasil memoles sosok Ronny Pasla, Sarman Panggabean, Wibisono, Tumsila, Nobon dll sebagai bintang masa depan Medan dan Indonesia. Di final yang berlangsung pada 26 April 1967, PSMS berhadapan dengan tuan rumah yang juga musuh bebuyutan mereka, Persija. Ronny Pasla menjadi bintang dalam duel ini dengan aksi gemilangnya di bawah mistar.

Karena hari mulai gelap dan Stadion Menteng tidak memiliki penerangan yang memadai, akhirnya diputuskan bahwa PSMS dan Persija akan menjadi Juara Bersama dengan ketentuan 6 bulan pertama piala dibawa ke Medan dan 6 bulan berikutnya piala dibawa ke Jakarta.

Kesuksesan skuad PSMS Jr membuat pelatih PSMS Jusuf Siregar yang didampingi Ramli Yatim mempromosikan beberapa pemain PSMS Jr ke Tim Senior PSMS yang berlaga di Kejurnas PSSI 1967, antara lain Ronny Pasla, Tumsila, Sarman Panggabean,Chaliq Mazlan dan Wibisono. Perpaduan pemain muda tersebut dengan pemain senior antara lain Yuswardi, Zulham Yahya, Sukiman, Ipong Silalahi, Muslim, A.Rahim, Syamsuddin, Sunarto, Aziz Siregar, Zulkarnaen Pasaribu dll ternyata sukses besar membuat PSMS semakin solid dan akhirnya sukses menjadi juara. Wilayah Barat dan lolos ke babak semifinal yang berlangsung di Jakarta didampingi Persib.

Pada babak semifinal yang berlangsung di Stadion Utama Senayan Jakarta, PSMS menghadapi Persebaya dan Persib menghadapi PSM.

Pada semifinal ini, PSMS sukses menaklukkan Persebaya dan Persib menaklukkan PSM. Final mempertemukan PSMS dengan Persib pada Final tanggal 10 September 1967.

Pada Final ini PSMS tampil apik dan akhirnya berhasil mengalahkan Persib dengan skor 2-0 lewat gol yang dicetak A.Rahim dan Zulkarnaen Pasaribu ke gawang Persib yang dikawal Jus Etek. Ini merupakan kali pertama PSMS Medan menjuarai Kejuaraan Nasional/Divisi Utama Perserikatan PSSI sejak berdiri tahun 1950 dan disambut meriah oleh para pendukung PSMS Medan di Jakarta maupun di Sumatera Utara.

Keberhasilan PSMS membuat PSMS Medan mewakili Indonesia dalam ajang Piala Emas Aga Khan 1967 yang berlangsung di Bangladesh. Dan akhirnya pada Turnamen ini PSMS berhasil menjadi Juara setelah di Final berhasil mengalahkan tim tuan rumah Mohammaden 2-0 Saat kembali ke Medan rombongan disambut oleh Pangdam II/Bukit Barisan Mayjen TNI Sarwo Edhie Wibowo Saat itulah PSMS 1967 menjadi "Raja" Sepakbola Indonesia.