余英男之所以怕绿袍，主要是因为 绿袍毁去了她的清白，并且在她最需要他的时候，用这种方式将她留在了身边。绿袍黑化后精神崩溃，做出了伤害余英男的事，令她内心崩溃，即使她曾经喜欢过绿袍，此时也只剩下恨意了。余英男原本非常信任绿袍，对绿袍的身世也充满同情，但绿袍的行为让她无法接受，导致她的自尊心受到了极大的伤害。

此外，余英男的性格刚烈，不喜欢背叛和利用，她对绿袍的爱与恨交织，内心充满了矛盾和挣扎。尽管绿袍在绿直男被苗渣男欺骗二十多年后，犯下弑母大错，深感全世界只有英男唯一一个全心对自己的人，但英男对他的恨意并没有因此减少，反而在绿袍临死之前说出狠话，永远不会原谅他。

综上所述，余英男怕绿袍，主要是因为绿袍对她的身体和精神造成了极大的伤害，并且她的自尊心和对绿袍的感情也让她无法释怀这些伤痛。