黑龙江省哈尔滨市第三中学成立于一九二三年十月，初名为中东铁路普育学校，由督办王景春创建，校址在南岗原莫斯科商场第二号房（现省博物馆内）。

  一九二六年八月被东省特别区教育局接管，一九二七年改称“东省特别区第三中学”，一九二八年迁到现址。“九·一八”事变后，校址被日伪第四军管区霸占，第三中学并到道外区景阳街的“第二中学”，先后改名为“东省特别区区立师范”、“第二中学”、“第三中学”、“滨江省立哈尔滨市第三国民高等学校”。一九四六年“四·二八”哈尔滨解放后，改名为“松江省立第二中学”。一九五四年三月，迁回现址，校名改为“哈尔滨市第二中学”。一九六四年校名恢复为“哈尔滨市第三中学”。

  五十年代中期，三中被定为市重点中学。“文革”期间，三中遭到严重破坏，“文革”后得到迅速恢复。一九七八年被重新确定为首批办好的省重点中学以后，全面贯彻教育方针，深入开展教育、教学、管理三方面的改革，形成了“一体两翼”的办学模式，教学质量和办学水平有了明显提高。被评为黑龙江省首批示范性普通高中，哈尔滨市第 19 — 24 届劳模单位、国家级文明单位，党总支被评为全国先进基层党组织。