别人的劝说下才将陶谦追回。张温于宫门迎接陶谦，陶谦并不领情，但张温对陶谦还是像以前一样好。

中平五年十月，青、徐两州黄巾复起，攻打郡县。朝廷任命陶谦为徐州刺史，镇压黄巾军。陶谦一到徐州就任用亡命东海的泰山人臧霸及其同乡孙观等为将。结果一战便大破黄巾军，剩下的黄巾军也被迫逃出徐州境内。黄巾破走后，陶谦上表拜臧霸、孙观为骑都尉，令其屯琅玡郡治开阳，驻守徐州北面。

初平元年正月，关东牧守拥立袁绍为盟主，矛头直指在洛阳的董卓。当时天下郡县响应，大兴义兵。但陶谦并未加入关东声讨董卓的军事行动之中。

初平二年，名将朱儁屯驻在中牟县，传信给各个州郡，召请部队讨伐董卓。陶谦得知此事后，立即派来精兵三千，其他州郡只派了一些兵来，陶谦又上表奏任朱儁代理车骑将军。

初平三年四月，王允、吕布杀董卓，后李傕、郭汜等反，攻陷长安，把持朝政。朱儁当时还在中牟，陶谦认为朱儁是名臣宿将，屡立战功，可以委以大任，于是联合前扬州刺史周干、琅邪国相阴德、东海国相刘馗、彭城国相汲廉、北海相国孔融、沛相袁忠、泰山太守应劭、汝南太守徐璆、前九江太守服虔、博士郑玄等人共请朱儁为太师，移檄牧伯，同讨李傕等，奉迎天子。十二月，李傕用计召朱儁入朝，朱儁于是辞谢陶谦，应召入朝，陶谦也只好作罢。初平四年，经治中从事王朗与别驾赵昱的建议，陶谦派赵昱向献帝进贡以表示对汉室的支持，献帝接到陶谦的奏章后赞赏并升陶谦为徐州牧、安东将军；赵昱被任命为广陵太守，王朗被任命为会稽太守。同年，下邳人阙宣聚众数千人，自称天子，陶谦派军将其击杀。

当时，曹操之父、前任太尉曹嵩在琅邪躲避战乱，曹操命令泰山太守应劭迎接曹嵩到兖州。曹嵩携带辎重一百余车，陶谦派部将张闿护送曹嵩，但张闿贪图曹嵩资产而将其杀害。

初平四年秋，曹操以替父报仇为由，起兵讨伐陶谦，当时袁绍亦派部将朱灵督三营军相助。曹操大军先后攻拔十余城，曹将于禁攻克广威，沿泗水直至彭城。另前锋曹仁别攻陶谦部将吕由，破敌之后还与曹操合兵。陶谦引军迎击，却遭遇大败，只得逃离彭城，退保东海郯城，曹操乘机又破彭城，傅阳。当初各地流民依附陶谦，多在彭城间，此次遇曹操大军，皆遭杀戮，数万人被驱赶到泗水河中淹死，尸体阻塞了河道，致使河水都不能流动。

其后曹操向东北攻费县、华县、即墨、开阳，陶谦于郯城一面遣别将救援被曹军围攻诸县，一面告急于青州刺史田楷。曹操围攻郯县，未能攻下，便转而攻取虑、睢陵、夏丘三县，所过之处全都遭到屠戮，鸡犬不留，旧城废址不再有行人。田楷此时与刘备率军来救，后曹操因兵粮告尽，终得退兵。陶谦表刘备为豫州刺史，屯小沛。