1937年8月，德州南城墙
德州城小西门，1959年3月23日摄
明朝筑城墙，里面掺杂了瓦砾
遗留下来的一段老城墙
明初，德州城位置最终固定下来，而卫所制度的实施，促成了德州城的建设。
明朝实行卫所制度，就是把大批的军队安置在地方上屯田。卫在明代是一种独立于行政系统之外的军事组织，每个卫5600人，分前、后、左、右、中5个千户所，设卫指挥、千户、百户等官职。所有士兵单独设立户籍，叫做军户，军户平时屯田自养，不服官差杂役，只管“修河打堤、拉纤挂柳、战时归队”。
德州卫设立于明洪武九年，据《德州志》记载，明代德州地理位置重要，有110屯，从桑园北5公里（北第四屯）到临清附近，管辖近500公里。
明洪武三十年（1397），德州卫都督张文杰、指挥徐福酝酿10年，全体卫军历时两年建设了德州城，为砖城。当时建城的砖除了来自被运河水冲垮的罗城外，主要是城南10公里左右沿运河的村子，当年烧砖的窑场和匠人们吃饭的伙房，便是如今德城区黄河涯镇的“窑上”“伙房”这两个自然村的由来。
德州城范围大体为今东方红路至共青团路，新湖路至迎宾路。德州城池形似靴，周长5100米，高12米，厚9米，护城河宽15米，深6米，城内面积2.5平方公里。有5个城门，东为长乐门，南为朝阳门，西为定边门，该门在明万历年间改为聚秀门，北为拱极门，西北为广川门（小西门）。南门最气派，为两层门，内外城中间有一个瓮城，两层门都向南。北门由于犯了所谓“太岁”，从建成后即成虚设，只有处决犯人时才打开。砖城建成后，德州官署衙门、官宦豪门的府第宅院，大多都集中在城内的西北部。为方便去墙外的运河取水，在西门以北又辟一小城门，门洞亦比其他四门小，人称小西门，也叫水门。
当时的德州城内全是屯卫士兵。永乐五年（1407），朝廷增设德州左卫。“事无大小，指挥镇抚治之，州牧不与焉。”永乐九年（1411），知州何原移德州治于卫城内，州和卫同城而治。正德五年（1510），因抵抗刘六、刘七领导的农民起义军，知州宁河下令让州民入住城内，德州城自此便开始了州卫同城而治、军民同城而居。后来，随着卫所地位的不断下降，城市的修缮管理开始由州来承担，卫城逐渐变成了州城，一直延续至今。
明万历四十年（1612），知州孙森主持大修德州城。清乾隆八年（1743），以工代赈，发帑金14万两，重建了德州城，历时3年，除城周长略有增加外，新修筑了门楼、谯楼、筑瓮各4座，敌楼2座。当时城内建有寺庙、庵、祠、坛、驿等70余处，官署衙门72处，城内外跨街牌坊50多座，古木参天，很是壮观。
1946年6月德州解放后，曾取城墙土修筑运河河堤和道路。 1949年春，扒掉部分城墙，以保障解放军大军南下过境。1958年，德州市制定出城市建设规划，开始进行旧城改造和现代化市政建设，城墙陆续拆除。
