在一般情况下，下班离开单位的时间通常被视为工伤认定中的重要时间点。然而，如果单位运动是工作的一部分，或者与工作有关，那么这个时间可能会被视为工作时间的一部分，可能不被视为工伤。

至于回家离开的时间，通常被认为是正常的下班时间，如果员工在这个时间离开单位是由于个人原因，那么通常不会被视为工伤。

因此，对于是否可以将运动离开的时间视为工伤的离开单位下班时间，这需要具体参考当地的工伤保险法规和政策。建议您咨询当地的劳动保障部门或相关机构，以获取更准确和详细的信息。