玄武区管辖范围上溯，战国时区境为金陵邑辖地。

　　秦、汉时，今区境南部属秣陵县，北部属江乘县，先后隶属会稽郡、鄣郡、丹阳郡。

　　东汉建安十七年（212），孙权改秣陵为建业县，区境南部属之，同时废江乘县改设典农都尉（相当于县一级的民屯政区），区境北部属之，均隶属丹阳郡。

　　西晋太康元年（280），复改建业为秣陵县。太康二年(28１)（一说为太康三年）分秣陵秦淮河以北置建业（次年又改称建邺）南为秣陵县（见《建康实录》、《晋书·地理志》）。建兴元年(313)，改建邺为建康，区境为建康和江乘辖地，直至陈朝末年。

　　隋朝统一南北后，将建康、秣陵、江乘等县及侨置郡县并为江宁一县。此时，区境属江宁县，隶属蒋州。

　　唐上元二年（761），改江宁为上元县，至清末区境均属上元县。