ファイル名の変更（リネーム）をする方法を記載します。
ファイルの移動で場所を変更しなければ、リネームとなりますので、ファイルの移動と同じことになります。
System.IO.File.Move("C:\work\myfile.txt", "C:\work\myfile.bak")
Dim finfo As New System.IO.FileInfo("C:\work\myfile.txt")
finfo.MoveTo("C:\work\myfile.bak")
フォルダを削除するのではなく、ゴミ箱に移動する方法を記載します。
Dim sPath As String = "C:\work\"
'ゴミ箱に移動（ユーザウインドウ表示）
FileIO.FileSystem.DeleteDirectory(sPath,
FileIO.UIOption.AllDialogs, FileIO.RecycleOption.SendToRecycleBin,
FileIO.UICancelOption.DoNothing)
Dim sPath As String = "C:\work"
My.Computer.FileSystem.DeleteDirectory(sPath,
FileIO.UIOption.AllDialogs,
FileIO.RecycleOption.SendToRecycleBin,
FileIO.UICancelOption.DoNothing)
※ダイアログにて、ユーザに削除を確認し削除する。