银行的自营资金不可以直接用来投资的原因有以下几点：

1. 避免风险：银行的自营资金通常是存款人的存款，银行应当以存款人的利益为先，保障存款人的本金安全。如果银行将自营资金用于投资，存在投资风险，一旦投资失败，可能导致存款人的本金损失。

2. 保持流动性：银行作为金融机构，需要随时满足存款人的取款需求。如果银行将自营资金用于投资，可能导致资金流动性不足，无法及时满足存款人的提款要求，破坏了银行的基本职能。

3. 遵守法律规定：银行业务受到法律法规的约束，不得从事与其业务性质不相符的活动。自营资金用于投资可能涉及到银行业务范围之外的领域，可能违反相关法律法规。

4. 分散风险：银行的自营资金通常需要进行风险分散，以降低整体风险。将自营资金用于投资可能导致风险集中，一旦投资失败，可能对银行的稳健经营产生不利影响。

综上所述，银行的自营资金不可以直接用于投资，这是为了保障存款人的利益，维护银行的流动性和稳健经营，遵守法律法规以及降低风险。