先秦时期，玉林市处在原始社会末期，是百越民族分布的地区之一，居住着西瓯、骆越等部族。战国后期，出现西瓯君和骆候，瓯骆人开始出现阶级分化。秦始皇统一岭南后，在岭南设置南海郡、桂林郡和象郡。市境开始行政建制，隶属象郡、桂林郡。秦二世，继任南海慰秦将赵佗兼并桂林郡、象郡，辖据岭南，汉初建立南越国，市境隶属南越国。公元前112年，汉武帝平定南越，次年在岭南设置南海、苍梧、鬱林、合浦、交趾、九真、日南、珠崖、儋耳9郡，其中，广西地区有苍梧、鬱林、合浦3郡。今玉林市兴业县属鬱林郡；玉州区、福绵管理区、容县、北流市、陆川县、博白县属合浦郡。

汉元鼎六年（公元前111年）置鬱林郡，王莽新朝（9–23年）改鬱林郡为鬱平郡（后复置），隋开皇年间（581–600年）废鬱林郡，大业初（605–618年）复置。原治所一说在今贵港市港南区贵城镇，一说在今桂平市蒙圩镇新德古城村，隋朝徙今贵港市港南区东津镇鬱江南岸。汉元封五年（公元前106年）属交趾刺史部，建安八年（203年）属交州刺史部。三国吴黄武五年（226年）隶属广州，俄复旧，元兴元年（264年）复属广州，晋至南朝宋齐因之，梁属定州，又改属南定州。初领布山、安广、阿林、广鬱、中留、桂林、潭中、临尘、定周，增食、领方、雍鸡12县，公元274年析地置桂林郡；晋领布山、阿林、新邑、晋平、始建、鬱平、领方、武熙、安广9县。大兴元年（318年）析地置晋兴郡。隋开皇年间（581—600年）晋兴郡废，大业（605–618年）初其地仍属鬱林郡。隋领鬱林、鬱平、领方、阿林、石南、桂平、马度、安成、宁浦、乐山、岭山、宣化12县。唐初废。天宝元年（742年）改鬱林郡。治所兴业县蒲塘镇、洛阳乡一带。属岭南道。领石南、兴德、鬱平、兴业、潭栗5县。乾元元年（758年）复置鬱林州。