用人单位对劳动者行使管理权的唯一依据是劳动法中的各项劳动管理规定，包括对劳动者进行培训、管理、奖惩等方面的规定。这些规定旨在维护用人单位的合法权益，同时也保障劳动者的基本权利。用人单位应当根据相关法律法规和政策，结合本单位的实际情况，制定具体的劳动管理规定，并在实践中严格执行。需要注意的是，用人单位在行使管理权时应当遵循法律、法规和政策，不得侵犯劳动者的合法权益。