我被工厂安排异地工作6年，现在要被调回总部，我不想回去。

你有权拒绝工厂的调回要求。根据《劳动合同法》第四十条的规定，当劳动合同订立时所依据的客观情况发生重大变化，导致合同无法履行时，若双方无法就变更合同内容达成一致，可以解除劳动合同。这意味着，如果工厂因搬迁导致你的工作地点变化，而你不同意随迁，双方协商无果后，工厂可以解除合同但需支付经济补偿。因此，你有权拒绝调回，并可依据此法律条款与工厂协商或寻求法律途径保护自己的权益。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
若工厂单方面解除劳动合同，你可采取以下措施维权：1.收集并保留所有相关证据，包括劳动合同、工厂通知、工资单等。2.向劳动仲裁委员会提起劳动仲裁，要求工厂支付违法解除劳动合同的经济赔偿金，赔偿标准为经济补偿金的两倍。3.如劳动仲裁结果不满意，可进一步向法院提起诉讼。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
若与工厂协商不成，你可以采取以下步骤：1.保留所有与工厂沟通的记录，包括书面和口头通知。2.正式书面回复工厂，明确表示不同意调回总部，并依据《劳动合同法》第四十条提出你的立场。3.若工厂坚持要求你调回或解除合同，可准备相关证据向劳动仲裁委员会提起仲裁，要求工厂支付经济补偿。