¿Puedo desactivar temporalmente un webhook?

Sí. Desactive la opción "Habilitado" para pausar las notificaciones sin eliminar el webhook.