始皇的征匈奴还可以说是出于自卫，他的征南越(越与粤通)则纯是为着扩张领土。
南越即两广和安南一带，在战国时与楚为邻。这区域内分布着无数野蛮部族，中国人总称为“百越”。他们虽无文字，却已习耕种，有定居。南方地广人稀，物产饶富，他们不用向外剽掠，一向是和中国相安无事的。但始皇灭楚后，便乘胜向南越进兵，要把它收入版图。这回他没有得手。越人退入深山丛林中，乘秦军饥疲无备，半夜出击，把秦军的主帅也杀了。始皇统一中国后才派大军把南越压服，置为桂林、象郡、南海三郡，并迁数十万人到那里戍守。中国人向南越移殖是从这时候开始的。
(三)
匈奴、南越的征伐和万里长城的修筑，在始皇固然是煊赫的事业，在人民却是饮恨的牺牲。那时还没有募兵(由政府出钱雇人民当兵)的制度。前后近百万的远征军都是人民在鞭朴之下尽义务充当的。因为交通的艰难，军粮运输所需的夫役，比军队本身还多。这些夫役又是人民在鞭朴下尽义务充当的。因为待遇的苛刻，赴北边的人据说十死六七；赴南越的因为瘴气和水土的原故，情形也许更惨。人民听说被征发，不论去征戍或运输，就像受了死刑的宣告一般。许多不堪虐待的，就缢死在路边的树上!
为着军事的需要，始皇又努力于交通的建设，他从咸阳修了两条大“驰道”,其一东达燕、齐，其一南达吴、楚；从河套外修了一条“直道”,通到畿内；从蜀郡(在今四川)修了一条“五尺道”,通西南夷。此外他又大兴土木，建筑了空前宏丽的宫殿和生陵。那生陵用了七十多万工人筑了十年；那还没完成的阿房宫，后来烧了三个月还没熄火，其他可想见了。这一切工程直接和间接(如运输材料)所需的夫役，除一部分用罪人外，又都是人民在鞭朴底下尽义务充当的。