ご教示通り、切断処理を行おうと思ったのですが
ServerListen() の Catch ex As Exception はデリゲートでメインフォームに対してエラーを書き込んでるように見受けられます。
ServerStart() の Catch ex As Exception の方かな？と思いましたので、調べてみましたが
Listener.[Stop]()を行いますと、コードの構成にあります図の、"別スレッド上のListen"が停止されてしまい
その子供の接続中の全ての通信が終了してしまいますので、こちらでも無いようです。
"別スレッド上のListen"は破棄しないで
通信を行っていると思います子供の"クライアントクラス毎の別スレッド上のRead"のみを停止できないでしょうか？
