监理工程师发现施工现场存在严重安全事故隐患，施工单位拒绝整改的，监理工程师有权直接下达停工令并立即撤离所有监理人员。

监理工程师发现严重隐患，应要求暂停施工并及时报告建设单位。若施工单位拒不整改或不停止施工，工程监理单位应当及时向有关主管部门报告。监理工程师无权直接“撤离所有监理人员”，这属于放弃监理职责，且停工令（工程暂停令）的签发需遵循特定程序，通常需报建设单位同意或依据合同约定，并非发现隐患即可随意撤离现场人员。