公司在未进行培训的情况下扣除培训费通常是不合法的 。根据法律要求，若公司声称要扣除培训费，必须有明确的培训协议或约定，并且该协议应符合法律法规的规定。如果公司无法提供有效的培训协议或约定，擅自扣除培训费，劳动者有权拒绝并要求公司返还。
即使有培训协议，也需符合公平、合理的原则，不能随意设定过高的培训费或不合理的扣除条款。如果劳动者认为公司扣除培训费的行为违法，可以通过劳动监察部门或劳动仲裁等途径维护自身合法权益。
此外，若员工与用人单位签订服务期协议，辞职后公司有权扣除培训费，但需遵循合法程序。若非因违反服务期约定，用人单位不得要求劳动者承担违约金。
综上所述，公司在未进行培训的情况下扣除培训费是不合法的，劳动者可以通过合法途径维护自己的权益。建议劳动者在遇到此类问题时，首先与公司进行沟通，要求提供培训协议或合理解释。如果公司拒绝提供或解释不合理，可以向当地劳动监察部门或劳动仲裁委员会投诉或申请仲裁。
