ファイルを削除するのではなく、ゴミ箱に移動する方法を記載します。

My機能を使用する方法

Dim sFilePath As String = "C:\work\myfile.txt"
 
 My.Computer.FileSystem.DeleteFile(sFilePath,
            FileIO.UIOption.OnlyErrorDialogs, FileIO.RecycleOption.SendToRecycleBin)

 

FileIO.FileSystem クラスを使用する方法

Dim sFilePath As String = "C:\work\myfile.bak"

 FileIO.FileSystem.DeleteFile(sFilePath,
       FileIO.UIOption.OnlyErrorDialogs, FileIO.RecycleOption.SendToRecycleBin)