Не удалось создать точку восстановления ошибка 0x800423f4

Резервное копирование виртуальной машины с SharePoint Server 2019 в  Veeam Backup & Replication v12 выполнялось успешно до тех пор, пока в SharePoint не была настроена и запущена служба поиска Search Service Application. Каждое последующее задание резервного копирования ВМ стало завершаться ошибкой создания контрольной точки Hyper-V production checkpoint следующего вида:

Failed to create VM recovery checkpoint (mode: Veeam application-aware processing) Details: Failed to create VM (ID: ba7b4b0c-3fbd-4c51-8737-2ae39aee005f) recovery checkpoint. Job failed ('Checkpoint operation for 'KOM-WEB01' failed. (Virtual machine ID BA7B4B0C-3FBD-4C51-8737-2AE39AEE005F) 'KOM-WEB01' could not initiate a checkpoint operation: %%2147754996 (0x800423F4). (Virtual machine ID BA7B4B0C-3FBD-4C51-8737-2AE39AEE005F)'). Error code: '32768'.
Retrying snapshot creation attempt (Failed to create production checkpoint.)
Task has been rescheduled
Unable to allocate processing resources. Error: Failed to create production checkpoint.

Анализ логов на сервере SharePoint в момент выполнения задания в VBR показал наличие ошибки с кодом Event ID 8194:

Log Name:      Application
Source:        VSS
Date:          29.04.2023 3:12:51
Event ID:      8194
Level:         Error
Keywords:      Classic
Computer:      KOM-WEB01.holding.com
Description:   Volume Shadow Copy Service error: Unexpected error querying for the IVssWriterCallback interface.  hr = 0x80070005, Access is denied. This is often caused by incorrect security settings in either the writer or requestor process. 
Operation:   PrepareForSnapshot Event
Context:
   Execution Context: Writer
   Writer Class Id: {0ff1ce16-0201-0000-0000-000000000000}
   Writer Name: OSearch16 VSS Writer
   Writer Instance Name: OSearch Replication Service
   Writer Instance ID: {4ce2a6c6-2cf2-4f58-872f-9ce95adf804a}

Попытка создать контрольную точку ВМ вручную в консоли Hyper-V Manager также приводила к ошибке «could not initiate a checkpoint operation: %%2147754996 (0x800423F4)«

При этом в логе Application фиксировалась аналогичная ошибка с кодом 8194.

Команда листинга модулей записи теневого копирования на сервере SharePoint показала ошибочное состояние модуля «OSearch16 VSS Writer«:

vssadmin list writers
...
Writer name: 'OSearch16 VSS Writer'
   Writer Id: {0ff1ce16-0201-0000-0000-000000000000}
   Writer Instance Id: {268f99a2-1231-41d2-81e2-8f3ee565ee8e}
   State: [8] Failed
   Last error: Non-retryable error
...

Так как в тексте ошибки в event-логе фигурирует информация о нехватке прав («…0x80070005, Access is denied…»), в первую очередь нужно понять о какой учётной записи идёт речь.

Если посмотреть на стандартные поля в событии об ошибке, то в поле User мы не увидим информации о пользователе:

Однако, если переключиться на отображение подробностей на вкладке Details, то в варианте просмотра Friendly View в разделе с листингом бинарных данных мы сможем увидеть имя учётной записи, в контексте которой возникла шибка:

В нашем случае, это учётная запись фермы SharePoint (Farm account). И в контексте именно этой учётной записи у нас выполняется служба поиска SharePoint. При этом данная учётная запись не имеет полных административных прав на сервере.

Теперь относительного того, куда именно не может получить доступ учётная запись.

При проблемах с резервным копированием службы поиска SharePoint, в качестве одного из моментов, на который стоит обращать внимание, является состояние ключа реестра для службы «Volume Shadow Copy» (VSS):

HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesVSS

Как минимум, в этом ключе:

1) В под-ключе VssAccessControl должен присутствовать параметр REG_DWORD с именем учётной записи, в контексте которой работает ферма/служба поиска, и значением «1»;

2) В под-ключе Diag должен присутствовать под-ключ с именем VSS модуля для службы поиска SharePoint (в нашем случае должен быть под-ключ с именем «OSearch16 VSS Writer«):

В нашем случае обнаружилось, что под-ключа «OSearch16 VSS Writer» нет.

В такой ситуации некоторые граждане предлагают выдать полные права доступа для учётной записи фермы/службы поиска на под-ключ Diag. Однако, если присмотреться к действующим разрешениям на этот ключ реестра, то можно заметить, что запись в него разрешена локальной группе безопасности «Backup Operators«.

Включаем учётную запись фермы/службы поиска в эту группу на нашем виртуальном сервере SharePoint со службой поиска и перезагружаем этот сервер.

После перезагрузки удостоверимся в наличии ключа реестра «OSearch16 VSS Writer» и увидим, что владельцем этого ключа является учётная запись, включенная нами ранее в группу «Backup Operators».

После этого снова попробуем создать контрольную точку виртуальной машины в оснастке Hyper-V Manager.

В нашем случае контрольная точка создалась успешно и в гостевой системе виртуального сервера SharePoint ошибка с кодом 8194 больше не появляется.

Теперь можно проверить, как изменилась ситуация в Veeam Backup & Replication. Убеждаемся в том, что в ходе выполнения задания резервного копирования для ВМ успешно создаётся, а затем автоматически удаляется временная контрольная точка, и, как следствие задание VBR отрабатывает без ошибок.

Стоит отметить, что описанная проблема является не проблемой VBR, а проблемой корректной настройки прав доступа для сервисных учётных записей SharePoint. При этом в официальном документе «Plan for administrative and service accounts in SharePoint Server» мне не удалось найти каких-либо явных указаний по включению сервисных учётных записей SharePoint в группу «Backup Operators» или каких-либо схожих по смыслу рекомендаций.

0x800423f4 VSS error happens when a backup or restore operation using Volume Shadow Copy Service (VSS) fails. This error indicates that the storage volume is running low on space or there is an issue with the VSS service itself.

The 0x800423f4 error can occur for several reasons, such as insufficient disk space, conflicts with other backup software or antivirus programs, Shadow Copy storage being corrupt, corrupt system files, or issues with VSS writers.

What causes the 0x800423f4 VSS error?

Let’s take a closer look at some of the common causes of 0x800423f4 error:

• Insufficient disk space: If there is not enough free space on the drive where the VSS snapshot is being created, the snapshot may fail and result in the error code.
• VSS writer or provider failure: The VSS writer or provider may fail due to various reasons, such as incorrect configuration, permissions, or compatibility issues with other software on the system.
• Third-party backup or antivirus software interference: Antivirus software that uses VSS can sometimes interfere with VSS operations and cause errors.
• System file corruption: Corrupt or damaged system files can also cause VSS errors.
• Improperly configured VSS settings: Incorrect configuration of VSS settings can also cause the error code 0x800423f4. For example, if the VSS storage area is not configured properly, the VSS snapshot creation process may fail.

How can I fix the VSS error 0x800423f4?

1. Check and enable the Volume Shadow Copy service

1. Press the Windows + R on your keyboard to open the Run dialog box and type services.msc into the box and press Enter.
2. In the Services window, locate the Volume Shadow Copy service and double-click on it to open its Properties window.
3. Set the Startup type to Automatic or Manual.
4. If the service is stopped or paused, click the Start button to restart the service. Then, click Apply and then OK to save the changes.

After that, close the Service window and re-attempt the backup process. If the 0x800423f4 error persists, try the next method.

2. Disable Windows Defender Firewall and the antivirus program

2.1 Disable Windows Defender Firewall

1. Press Windows + R to open the Run dialog, type firewall.cpl, and click OK or press Enter.

1. From the left sidebar of the Windows Defender Firewall window, click on Turn Windows Defender Firewall on or off.

1. Select Turn off Windows Defender Firewall (not recommended) under both Private and Public network settings and then click OK to save the changes.

2.2 Disable the antivirus program

1. Click the Show Hidden Icons button on the taskbar to view hidden icons and click on the Windows Security icon.
2. Navigate to Virus & threat protection on the left-side pane and click Manage settings underneath Virus & threat protection settings on the right pane.
3. Then, turn off the toggle under Real-time protection.

It’s not recommended to disable your antivirus for virus protection and security reasons. However, if you need to troubleshoot a Volume Shadow Copy Service error, you can temporarily disable the antivirus and check if the issue persists.

After turning off the antivirus program, check if the same problem happens again. Then, quickly turn the antivirus program back on to keep your computer protected.

3. Check the hard drive for errors

1. Open Windows Explorer by pressing Windows + E on your keyboard.
2. Right-click on the C drive and select Properties.
3. In the Properties window, click on the Tools tab.
4. Under the Error Checking section, click on the Check button or Check Now button.
5. In the Error checking dialog window, click the Scan drive option.

4. Run the SFC and DISM tools

1. Press Windows + R to open the Run command box, type cmd, hold the Ctrl + Shift key, and click OK to run Command Prompt as Administrator.
2. Click Yes on the User Account Control (UAC) prompt window.
3. In the Command Prompt window, type the following command and press Enter: sfc /scannow
4. Wait for the SFC tool to complete the scan, then run the Deployment Image Servicing and Management (DISM) tool. To do that, type the following commands and press Enter after each: DISM /Online /Cleanup-Image /ScanHealth DISM /Online /Cleanup-Image /RestoreHealth
5. After running both the SFC and DISM tools, restart your computer to ensure that any changes made by the tools take effect.

Running the SFC and DISM tools can help fix issues with system files and Windows images, respectively.

5. Re-register the VSS configuration

1. Press Windows + R to open the Run command box, type cmd, hold the Ctrl + Shift key, and click OK to run Command Prompt as Administrator.
2. Click Yes on the User Account Control (UAC) prompt window.
3. Type the following command one after the other and press Enter after each one: net stop vss net stop swprv regsvr32 /s ole32.dll regsvr32 /s oleaut32.dll regsvr32 /s vss_ps.dll vssvc /register regsvr32 /s /i swprv.dll regsvr32 /s /i eventcls.dll regsvr32 /s es.dll regsvr32 /s stdprov.dll regsvr32 /s vssui.dll regsvr32 /s msxml.dll regsvr32 /s msxml3.dll regsvr32 /s msxml4.dll Cd /d %systemroot%syswow64 regsvr32 /s ole32.dll regsvr32 /s vss_ps.dll regsvr32 /s es.dll regsvr32 /s stdprov.dll regsvr32 /s msxml3.dll regsvr32 /s msxml.dll regsvr32 /s msxml4.dll
4. Restart your computer, re-attempt the backup, and see if the 0x800423f4 reappears.

6. Repair VSS Writers

1. Open Command Prompt with Administrative privileges.
2. Type the following command and press Enter to list all the Volume Shadow Copy Service (VSS) writers that are currently installed on the system: vssadmin list writers
3. Then, confirm all the VSS writer’s States are showing Stable. Take note of any writers that are currently in a state of Failure.
4. After that, press Windows + R, type services.msc, and hit Enter to open the Services app.
5. Locate the service for the VSS writers that have failed and double-click on it.
6. Then, click the Stop button to stop the services.
7. Next, open Task Manager with Ctrl + Shift + Esc shortcut keys and kill the processes associated with the VSS writers that have failed.
8. Go back to the Services console and restart the services that you stopped earlier by clicking Start.
9. Return to the elevated Command Prompt and run the below command again to verify that the VSS writers are now listed as stable: vssadmin list writers

It’s important to keep your data safe by backing it up regularly. Hence, it’s essential to address the 0x800423f4 error code as soon as possible. By following these steps, you can resolve the error and continue backing up your data without any issues.