フォルダを削除するのではなく、ゴミ箱に移動する方法を記載します。

FileIOクラスを使用する方法

Dim sPath As String = "C:\work\"

'ゴミ箱に移動(ユーザウインドウ表示)
FileIO.FileSystem.DeleteDirectory(sPath,
    FileIO.UIOption.AllDialogs, FileIO.RecycleOption.SendToRecycleBin,
    FileIO.UICancelOption.DoNothing)

 

My機能を使用する方法

Dim sPath As String = "C:\work"

My.Computer.FileSystem.DeleteDirectory(sPath,
         FileIO.UIOption.AllDialogs,
         FileIO.RecycleOption.SendToRecycleBin,
         FileIO.UICancelOption.DoNothing)

※ダイアログにて、ユーザに削除を確認し削除する。