秦子婴元年（前206年），秦始皇帝陵遭遇了第一次也可能是最大的一次劫难。据《史记·高祖本纪》《汉书·卷一·高帝纪第一上》《汉书·卷三十六·楚元王传第六》记载，西楚霸王项羽带兵攻入关中后，大规模破坏秦始皇陵，地面建筑毁于一旦，并下令挖掘了帝陵，兵马俑在这场浩劫中也损毁严重。
根据后来的专家考古发掘情况表明，一号俑坑和二号俑坑有黑色木炭遗迹，说明一、二号俑坑的塌陷都是因为被火焚烧后造成的。
刘邦击败项羽后，定都长安，建立西汉。为了笼络天下人心，于汉高祖十二年（前195年），下令对秦始皇陵妥为保护，并着令20户人家住在秦陵附近，作为守陵人看管秦始皇陵。此后，各朝各代的统治者对秦代帝王陵墓，都下令保护。
但即使如此，秦陵也未得安稳。《汉书·刘向传》记载，有一小孩在秦陵附近放羊，结果有一只羊掉入地洞中，小孩子打着火把到地洞中去寻找，不料竟然走进了秦陵地宫，引发了一场大火，将秦始皇的棺椁烧掉了。对《汉书》所记，《水经注·渭水》也作了补充“牧羊人寻羊烧之，火延九十日不灭。”
新莽末年，赤眉军盗掘秦始皇陵，将发掘出的葬具、铜椁熔化掉，以取铜材。
魏晋时期，后赵统治者石虎又悍然盗掘秦陵。
唐代末年，黄巢攻入关中，秦始皇陵经历了一次大规模的破坏。黄巢盗秦陵一事历代都有传说，明人都穆《骊山记》云“始皇陵内城周五里，旧有四门，外城周二十里，其址俱存，自南登之，二邱并峙，人日此南门也。右门石枢犹露土中，陵高可四丈，项羽、黄巢皆尝发之。老人云始皇葬山中，此特其虚冢耳。”都穆《骊山记》中所记黄巢盗秦陵的事情，在新、旧《唐书》均不见记载，所以，不少学者对其真实性提出了质疑，此种说法尚待专家考证。
五代时，军阀温涛以筹集军饷为名，再次大规模组织盗掘秦始皇陵。
宋太祖开宝三年（970年），下令临潼县保护和修整秦始皇陵。
清代陕西巡抚毕沅，曾为秦始皇陵立碑。
清光绪年间，秦陵又一次被盗墓贼光顾。当地官府获悉后立即派人赶来调查，发现盗洞后将洞口用实物封死不留痕迹，严加看护，防止再次被盗。但是这样重大的事情，地方志书上却没有记载，所以可能是现代版本的“牧羊人寻羊烧之”了。
民国初年，军阀混战，政局混乱，社会动荡不安，在陕西驻扎的军阀又一次挖掘秦陵。刘镇华是河南军阀，发迹于民国元年（1912年）至民国十七年（1928年）的北洋政府时期。民国十五年（1926年），刘镇华率十万“镇嵩军”由豫西进入关中，将杨虎城、李虎臣二部围困于西安城长达8个月之久，城内饿死和战死的军民有好几万人，时称“二虎守长安”。刘镇华盗掘秦陵就发生在其主政陕西期间，并且，被其盗掘的并不仅仅是一座秦陵。
除刘镇华外，原国民革命军陆军二级上将孙连仲，也曾在秦陵上“挖战壕”。知情人后来称，孙连仲是明修栈道，暗渡陈仓，装模作样，实际上也是在盗陵。
“历朝历代对秦始皇帝陵的洗劫破坏大体上就这些，这些只是见诸于历史记载或者民间传说的大事件，如果包括一些蟊贼草寇或者流民小来小往的零星盗掘，实际上还要多的多，可以说不计其数了。因为毕竟过去了两千多年时间，历史就是一个任人打扮的小姑娘，那些个陈年往事又有谁能说得清楚呢！还有历史都是胜利者书写的，当官者或者著述者往往避尊者讳，不敢把当时发生的真情情况如实描述，本就不易为后人所知的旧事，结果更加扑朔迷离了。还有明清两代的文字狱，动辄抄家灭门株连九族，文人自行刊印的书籍纷纷付之一炬，形同秦始皇时期的焚书坑儒一样，导致众多文人和著述者噤