How do あなた un-fan people?

あなた go to your fanlist and あなた select the red x under the ユーザー名 of whom あなた would like to remove. And then the person is removed.

Go to your ファン 一覧 and click the red icon.