一种简单粗暴无需 NLP 的区分中文和日文文本的方法

1A23 Studio at 
和博客里其他大多数的文章一样,这篇文章也是来自我平时开发个人项目时候的发现。在处理我的音乐库、歌词和其他数据的标音时,我需要一种简单的方式来区分中文文本和日文文本。因为我的曲库里面基本上只有中文、日文和其他拉丁字母构成的语种。而那些拉丁语种不需要太多复杂的处理就能够直接自然的排序,而中文和日文就没有这么简单,尤其是两种语言在对汉字的处理上有着截然不同的方法的时候。 正如标题里面所说的那样,这是一个简单粗暴的方法。这里面会有很多限制,判断效果也不会太精准,但是在大多数情况下还是勉强能用。当然,中日文本区分本身就存在着许多重合的情况,像「人生」这个词在中文里面和日文里面都是完全可以说得通的。如果这……