下記のようにCloseServer()を書き換えることで解決しました。
-------------------------------------------------------------
Private Sub CloseServer()
'//Tread must be stopped
If threadServer IsNot Nothing Then
threadServer.Abort()
End If
If listener IsNot Nothing Then
listener.Stop()
listener = Nothing
End If
If server IsNot Nothing AndAlso server.Connected Then
server.Close()
server = Nothing
End If
:
-------------------------------------------------------------
注意：先にスレッドを終了しておかないと
ServerListen()サブルーチンの下記の部分で例外が発生する可能性があります。
server = listener.AcceptTcpClient()
