ファイルを削除するのではなく、ゴミ箱に移動する方法を記載します。
My機能を使用する方法
Dim sFilePath As String = "C:\work\myfile.txt"
My.Computer.FileSystem.DeleteFile(sFilePath,
FileIO.UIOption.OnlyErrorDialogs, FileIO.RecycleOption.SendToRecycleBin)
FileIO.FileSystem クラスを使用する方法
Dim sFilePath As String = "C:\work\myfile.bak"
FileIO.FileSystem.DeleteFile(sFilePath,
FileIO.UIOption.OnlyErrorDialogs, FileIO.RecycleOption.SendToRecycleBin)