-
Notifications
You must be signed in to change notification settings - Fork 56
Language japanese
Category: Asian Languages Script: Japanese
| Metric | Value |
|---|---|
| Average Score | 🟠 5.6/10 |
| Accuracy | 6.3/10 |
| Fluency | 5.7/10 |
| Style | 5.1/10 |
| Total Tests | 75 |
| Best Model | gemma3:27b |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| gemma3:27b | 🟡 7.4 | 7.6 | 7.4 | 6.8 |
| mistralai/mistral-medium-3.1 | 🟡 7.4 | 7.8 | 7.0 | 7.4 |
| ministral-3:14b | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| gemma3:27b-it-qat | 🟠 6.4 | 6.6 | 6.4 | 5.6 |
| mistral-small:24b | 🟠 6.4 | 7.0 | 6.4 | 5.6 |
| qwen3:30b-instruct | 🟠 6.2 | 6.8 | 6.2 | 5.6 |
| qwen3:30b | 🟠 6.0 | 6.8 | 6.2 | 5.6 |
| ministral-3 | 🟠 6.0 | 6.8 | 6.0 | 5.4 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| qwen3:14b | 🟠 5.4 | 6.2 | 5.4 | 4.8 |
| gemma3:4b | 🟠 5.4 | 6.2 | 5.6 | 4.8 |
| gemma3:12b | 🟠 5.4 | 6.0 | 5.6 | 4.8 |
| qwen3:8b | 🟠 5.2 | 6.2 | 5.2 | 5.0 |
| llama3.1:8b | 🔴 3.4 | 4.0 | 3.6 | 2.8 |
| llama3.2 | ⚫ 1.8 | 2.4 | 1.8 | 1.4 |
Model: gemma3:27b-it-qat Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
「アフガニスタンへ行かれたことがあるようですね」 「一体、どうしてそれがわかるのですか」と私は驚いて尋ねた。 彼は楽しげに笑いながら、「気にしないでください」と言った。「今重要なのはヘモグロビンについてです。私のこの発見の意義がおわかりでしょうか？」 「化学的には面白い発見でしょう。しかし、実際には――」 「いいえ、これは長年の間でもっとも実用的な法医学上の発見です。血痕の有無を確実に判別できるということが、わかっていないのですか？」
Evaluator Feedback:
The translation accurately conveys the meaning and dialogue flow of the original, with proper preservation of Holmes's deductive confidence and Watson's astonishment. Minor stylistic adjustments (「気にしないでください」 is slightly more formal than the casual dismissal of the original) and slight shifts in emphasis prevent a perfect score, but overall it captures the Victorian-era detective fiction tone effectively.
Model: gemma3:27b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
「アフガニスタンにおられたようですね」 「一体、どうしてそんなことがわかるのですか？」と私は驚いて尋ねた。 彼は楽しそうに笑いながら、「それはさておき、今問題なのは血色素です。私のこの発見の意義がおわかりでしょうか？」 「化学的には興味深いことは確かですが、実用上は——」 「いや、これは長年にわたる法医学的発見の中でもっとも実用的なものです。この発見が、血液の痕跡に対する確実な鑑定法を与えてくれることがお分かりになりませんか？」
Evaluator Feedback:
The translation accurately captures the meaning and dialogue flow of the original, with appropriate formality levels for the Victorian-era detective fiction. Minor stylistic adjustments (such as slightly more elaborate phrasing in the final response) create a marginally different tone than the original's crisp efficiency, but the overall quality is strong and reads naturally in Japanese.
Model: gemma3:27b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
私は、意識的に生きるために森へ行った。人生の根本的な事実のみに正面から向き合い、森が何を教えてくれるか学び、そして、死ぬときに、自分が本当に生きたことがないということに気づかないようにしようと思ったのだ。生きる価値もないような生き方はしたくなかった。命はそれほど大切だからだ。また、必要に迫られなければ、諦めたり観念したりするのも望まなかった。私は、人生の奥深くに分け入り、その髄まで味わい尽くしたかったのである。
Evaluator Feedback:
The translation captures Thoreau's philosophical intent and most key meanings accurately, with strong rendering of the central metaphors like 'suck out all the marrow of life' (髄まで味わい尽くす). Minor deviations include slightly softened intensity in some passages and occasional shifts in emphasis, though the contemplative tone and existential weight are well-preserved overall.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 0 | 0.0% |
| 🟡 Good (7-8) | 22 | 29.3% |
| 🟠 Acceptable (5-6) | 39 | 52.0% |
| 🔴 Poor (3-4) | 8 | 10.7% |
| ⚫ Failed (1-2) | 6 | 8.0% |