在一般情况下，担保人的责任是与债务人的债务责任相对应的。然而，有一些特定情况下，不会追溯担保人的责任，这些情况包括但不限于以下几种：

1. 担保人责任豁免：在一些特定合同中，可能存在担保人责任豁免条款。这意味着担保人在某些情况下不承担责任，例如当债务人违约是由于不可抗力或第三方原因引起时。

2. 担保人责任限制：在某些情况下，担保人的责任可能会受到限制。这可以通过合同中的明确条款来实现，例如将担保人责任限制在一定金额或特定时间范围内。

3. 担保人身份不明确：如果担保人的身份不明确或者无法确定，例如在匿名担保或虚假身份担保的情况下，可能无法追溯担保人的责任。

4. 担保人死亡或丧失能力：如果担保人在债务发生后死亡或丧失了行为能力，可能无法追溯其责任。

需要注意的是，以上情况仅供参考，并非绝对适用于所有法律体系和案件。在具体情况下，应当参考相关法律法规和合同条款，以确定是否可以追溯担保人的责任。