那时候，随着大运动不断深入，中央将大区和省市一些靠边站的领导集中到京西宾馆居住，宋任穷被安排在6楼，尽管有卫戍区的警卫保护着。可时不时会受到地方造反派的骚扰，要把他抢回东北进行揪斗，甚至密谋把他从宾馆6楼给“劫持”，用绳子吊下去转移。

在实施一般过程中，被警卫发现后及时制止，才避免危险的发生。

后来，军队干部与地方干部分开管理，地方干部由中组部管理，军队干部到总参海运仓招待所，尽管他在地方工作多年，可毕竟是军队出来的，所以被安排到海运仓。

在这里居住到1969年10月，突然接到离开招待所的通知，被疏散到外地。坐上火车见到黄火青、黄欧东，他们两位分别是原辽宁第一、第二书记。坐上车后，他们没有交谈，把他们分别安排到不同地方。

一个人还凑合，可是妻子带着一个孩子过来，三个人怎么住。妻子看后说：我们还有孩子，一间房子不够住，条件太差，我不会拉风箱，这里没法住。她要求搬家的态度很坚决。

他的妻子也是一个老红军，资格很老，如果不是她坚持要求，宋任穷是不太会说出口的，毕竟他是被下放到此，挑肥拣瘦，讨价还价是不合适的。

直到1973年，他因身体不适去了北京，得到医治后重返农场。1975年，才被允许回到北京，等待安排工作。到1978年，在张爱萍的推荐下出任七机部部长，后调任中组部部长。