在日コリアン、減少の一途