青山繁晴さん、味方の裏切りに絶望