NihonGo is an utility of Japanese text for Go language.
go get github.com/dogenzaka/nihongo
- Converting Katakana / Hiragana
- Unicode normalization
- Detecting Katakana / Hiragana strings in text
- Simple Japanese tokenizer ported TinySegmenter
import (
"fmt"
"github.com/dogenzaka/nihongo"
)
func TestNormalize() {
normalized := nihongo.Normalize("テストﾃｽﾄ＋＝")
fmt.Println(normalized) // テストテスト+=
}
func TestToHiragana() {
hira := nihongo.ToHiragana("テストてすと")
fmt.Println(hira) // てすとてすと
}
func TestToKatakana() {
kana := nihongo.ToKatakana("テストてすと")
fmt.Println(kana) // テストテスト
}
func TestTokenize() {
words := nihongo.Tokenize("私は人間です")
fmt.Println(words) // ["私" "は" "人間" "です"]
}
func TestContainsHiragana() {
nihongo.ContainsHiragana("ひらがな") // true
nihongo.ContiansHiragana("日本語") // false
}
func TestContainsKatakana() {
nihongo.ContainsKatakana("カタカナ") // true
nihongo.ContiansKatakana("日本語") // false
}ISC