fix: CI 빌드 및 테스트 이슈 해결

- 모델 경로 변경
- 테스트 실패 수정

Author: heedocpark

.gitignore

@@ -17,7 +17,7 @@
 
 __debug_bin
 
-ModelGenerator/
+base/
 .idea/
 models/
 include/

Makefile

@@ -1,12 +1,12 @@
-KIWI_VERSION := "v0.21.0"
+KIWI_VERSION := v0.21.0
 
 .PHONY: test
-test: ModelGenerator/default.dict
-	go test -count=1 ./...
+test: base/default.dict
+	go test ./...
 
-ModelGenerator/default.dict:
+base/default.dict:
 	curl -L https://github.com/bab2min/Kiwi/releases/download/$(KIWI_VERSION)/kiwi_model_$(KIWI_VERSION)_base.tgz --output model.tgz
-	tar -xzvf model.tgz
+	tar --no-same-owner -xzvf model.tgz
 	rm -f model.tgz
 
 
@@ -17,7 +17,7 @@ install-kiwi:
 .PHONY: clean
 clean:
 	rm -f model.tgz
-	rm -rf ./ModelGenerator
+	rm -rf ./base
 
 .PHONY: format
 format:

kiwi_example_test.go

@@ -7,7 +7,7 @@ import (
 )
 
 func Example() {
-	kb := kiwi.NewBuilder("./ModelGenerator", 1 /*=numThread*/, kiwi.KIWI_BUILD_INTEGRATE_ALLOMORPH /*=options*/)
+	kb := kiwi.NewBuilder("./base", 1 /*=numThread*/, kiwi.KIWI_BUILD_INTEGRATE_ALLOMORPH /*=options*/)
 	kb.AddWord("코딩냄비", "NNP", 0)
 
 	k := kb.Build()

kiwi_test.go

@@ -13,7 +13,7 @@ func TestKiwiVersion(t *testing.T) {
 }
 
 func TestAnalyze(t *testing.T) {
-	kiwi := New("./ModelGenerator", 1, KIWI_BUILD_DEFAULT)
+	kiwi := New("./base", 1, KIWI_BUILD_DEFAULT)
 	res, _ := kiwi.Analyze("아버지가 방에 들어가신다", 1, KIWI_MATCH_ALL)
 
 	expected := []TokenResult{
@@ -64,7 +64,7 @@ func TestAnalyze(t *testing.T) {
 }
 
 func TestSplitSentence(t *testing.T) {
-	kiwi := New("./ModelGenerator", 1, KIWI_BUILD_DEFAULT)
+	kiwi := New("./base", 1, KIWI_BUILD_DEFAULT)
 	res, _ := kiwi.SplitSentence("여러 문장으로 구성된 텍스트네 이걸 분리해줘", KIWI_MATCH_ALL)
 
 	expected := []SplitResult{
@@ -85,14 +85,16 @@ func TestSplitSentence(t *testing.T) {
 }
 
 func TestAddWordFail(t *testing.T) {
-	kb := NewBuilder("./ModelGenerator", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
+	kb := NewBuilder("./base", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
 	add := kb.AddWord("아버지가", "SKO", 0)
-	assert.Equal(t, 0, add)
+	assert.Equal(t, -1, add)
 	assert.Equal(t, 0, kb.Close())
+
+	KiwiClearError()
 }
 
 func TestAddWord(t *testing.T) {
-	kb := NewBuilder("./ModelGenerator", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
+	kb := NewBuilder("./base", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
 	add := kb.AddWord("아버지가", "NNG", 0)
 
 	assert.Equal(t, 0, add)
@@ -132,12 +134,12 @@ func TestAddWord(t *testing.T) {
 					Form:     "시",
 				},
 				{
-					Position: 12,
+					Position: 11,
 					Tag:      "EF",
 					Form:     "ᆫ다",
 				},
 			},
-			Score: -36.959194,
+			Score: -32.80881,
 		},
 	}
 
@@ -146,7 +148,7 @@ func TestAddWord(t *testing.T) {
 }
 
 func TestLoadDict(t *testing.T) {
-	kb := NewBuilder("./ModelGenerator", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
+	kb := NewBuilder("./base", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
 	add := kb.LoadDict("./example/user_dict.tsv")
 
 	assert.Equal(t, 1, add)
@@ -191,12 +193,12 @@ func TestLoadDict(t *testing.T) {
 					Form:     "시",
 				},
 				{
-					Position: 12,
+					Position: 11,
 					Tag:      "EF",
 					Form:     "ᆫ다",
 				},
 			},
-			Score: -36.959194,
+			Score: -32.80881,
 		},
 	}
 
@@ -205,7 +207,7 @@ func TestLoadDict(t *testing.T) {
 }
 
 func TestLoadDict2(t *testing.T) {
-	kb := NewBuilder("./ModelGenerator", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
+	kb := NewBuilder("./base", 1, KIWI_BUILD_INTEGRATE_ALLOMORPH)
 	add := kb.LoadDict("./example/user_dict2.tsv")
 
 	assert.Equal(t, 3, add)
@@ -236,7 +238,7 @@ func TestLoadDict2(t *testing.T) {
 					Form:     "들어가신다",
 				},
 			},
-			Score: -13.669565,
+			Score: -12.538677,
 		},
 	}
 
@@ -245,7 +247,7 @@ func TestLoadDict2(t *testing.T) {
 }
 
 func TestExtractWord(t *testing.T) {
-	kb := NewBuilder("./ModelGenerator", 0, KIWI_BUILD_DEFAULT)
+	kb := NewBuilder("./base", 1, KIWI_BUILD_DEFAULT)
 	rs := strings.NewReader(`2008년에는 애국가의 작곡자 안익태가 1930년대에 독일 유학 기간 중 친일 활동을 했다는 사실이 밝혀졌다. 이후 안익태가 나치 독일 하의
 베를린에서 만주국 10주년 건국 기념음악회를 지휘하는 동영상까지 발굴되어 관련 학계나 사회에 큰 충격을 주었다. 안익태가 친일 행적을 한 바
 있다는 빼도박도 못할 증거가 나왔으니까. 영상물의 '만주환상곡'에는 우리가 현재 알고있는 '한국환상곡'의 두 선율("무궁화 삼천리 나의 사랑아,
@@ -263,17 +265,26 @@ func TestExtractWord(t *testing.T) {
 			POSScore: -1.92593,
 			Score:    0,
 		},
+		{
+			Form:     "익태",
+			Freq:     4,
+			POSScore: -0.23702252,
+			Score:    0,
+		},
 	}, wordInfos)
 	assert.Equal(t, 0, kb.Close())
 }
 
 func TestExtractWordwithFile(t *testing.T) {
-	kb := NewBuilder("./ModelGenerator", 0, KIWI_BUILD_DEFAULT)
+	kb := NewBuilder("./base", 1, KIWI_BUILD_DEFAULT) // Use single thread for deterministic results
 	file, _ := os.Open("./example/test.txt")
 
 	wordInfos, _ := kb.ExtractWords(file, 10 /*=minCnt*/, 5 /*=maxWordLen*/, 0.0 /*=minScore*/, -25.0 /*=posThreshold*/)
 	assert.Equal(t, WordInfo{
-		Form: "무위원", Freq: 17, POSScore: -1.7342134, Score: 0.69981515,
+		Form:     "무위원",
+		Freq:     17,
+		POSScore: -1.7342134,
+		Score:    0.6998151,
 	}, wordInfos[0])
 	assert.Equal(t, 0, kb.Close())
 }

scripts/install_kiwi.bash

@@ -21,9 +21,6 @@ echo "set OS env to ${OS:?}"
 echo "installing Kiwi version ${KIWI_VERSION:?}"
 
 wget -O kiwi.tgz "https://github.com/bab2min/Kiwi/releases/download/${KIWI_VERSION}/kiwi_${OS}_${ARCH}_${KIWI_VERSION}.tgz" &&
-  sudo mkdir -p /usr/local/kiwi &&
-  sudo tar xzvf kiwi.tgz &&
-  sudo cp lib/libkiwi* /usr/local/lib &&
-  sudo cp -rf include/kiwi /usr/local/include &&
+  sudo tar xzvf kiwi.tgz -C /usr/local &&
   [[ "$(uname)" == "Linux" ]] && sudo ldconfig || echo 'skip' &&
-  rm -rf kiwi.tgz bin lib include
+  rm -f kiwi.tgz