-
Notifications
You must be signed in to change notification settings - Fork 55
Language hindi
Category: Asian Languages Script: Devanagari
| Metric | Value |
|---|---|
| Average Score | 🟠 5.5/10 |
| Accuracy | 6.5/10 |
| Fluency | 5.5/10 |
| Style | 5.2/10 |
| Total Tests | 75 |
| Best Model | gemma3:27b |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| gemma3:27b | 🟠 6.8 | 7.8 | 6.8 | 6.6 |
| mistralai/mistral-medium-3.1 | 🟠 6.8 | 7.8 | 6.8 | 7.0 |
| gemma3:27b-it-qat | 🟠 6.6 | 7.6 | 6.6 | 6.4 |
| ministral-3:14b | 🟠 6.6 | 7.2 | 6.6 | 6.2 |
| qwen3:30b | 🟠 6.4 | 7.2 | 6.4 | 6.2 |
| gemma3:12b | 🟠 6.4 | 7.4 | 6.4 | 6.2 |
| qwen3:30b-instruct | 🟠 5.8 | 6.8 | 5.8 | 5.6 |
| mistral-small:24b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| qwen3:4b | 🟠 5.4 | 6.4 | 5.4 | 5.2 |
| gemma3:4b | 🟠 5.4 | 6.4 | 5.4 | 5.0 |
| qwen3:14b | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| ministral-3 | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| qwen3:8b | 🔴 4.0 | 5.0 | 4.0 | 3.4 |
| llama3.1:8b | 🔴 3.8 | 4.8 | 3.8 | 3.4 |
| llama3.2 | ⚫ 2.6 | 3.4 | 2.6 | 2.6 |
Model: gemma3:27b-it-qat Score: 🟡 7.0/10
View Translation
Original (English):
Translation (Hindi):
यह एक सर्वमान्य सत्य है कि अच्छी संपत्ति रखने वाला अविवाहित पुरुष अवश्य ही पत्नी की तलाश में होता है। यद्यपि ऐसे पुरुष की भावनाएँ या विचार किसी पड़ोस में प्रवेश करते समय कितने ही अज्ञात हों, यह सत्य आसपास के परिवारों के मन में इतना दृढ़ रूप से स्थापित है कि उसे उनकी किसी एक पुत्री की संपत्ति के रूप में माना जाता है।
Evaluator Feedback:
The translation accurately conveys the core meaning and ironic premise of Austen's opening, with proper preservation of the logical structure. However, some nuances are lost: 'rightful property' becomes 'संपत्ति के रूप में' (property-like), slightly weakening the satirical bite, and the rhythm of Austen's prose is somewhat diminished in the Hindi rendering, though the formal register is appropriately maintained.
Model: gemma3:27b-it-qat Score: 🟡 7.0/10
View Translation
Original (English):
Translation (Hindi):
स्टूडियो में गुलाबों की भीनी-भीनी खुशबू फैली हुई थी, और जब हल्की ग्रीष्मकालीन हवा बगीचे के पेड़ों के बीच से गुजरी, तो खुले दरवाजे से लिलेक की प्रबल सुगंध या गुलाबी फूलों वाले कांटे की अधिक नाजुक खुशबू आती रही। फारसी जीन-बैग के बने सोफे के कोने में लेटे हुए, धूम्रपान करते हुए, जैसा कि उनका रिवाज था, अनगिनत सिगरेट पीते हुए, लॉर्ड हेनरी वॉटसन मुश्किल से लैबर्नम के शहद जैसे मीठे और शहद के रंग के फूलों की चमक देख सकते थे।
Evaluator Feedback:
The translation accurately captures most sensory details and maintains the aesthetic richness of Wilde's prose, though some compound descriptors like 'honey-sweet and honey-coloured' lose subtle nuance in the Hindi rendering. The sentence structure becomes slightly unwieldy in Hindi, affecting natural flow despite preserving the ornate Victorian style reasonably well.
Model: gemma3:27b-it-qat Score: 🟡 7.0/10
View Translation
Original (English):
Translation (Hindi):
मैं जंगल इसलिए गया क्योंकि मैं जानबूझकर जीना चाहता था, जीवन के केवल आवश्यक सत्यों का सामना करना चाहता था, और देखना चाहता था कि क्या मैं उससे कुछ सीख नहीं सकता, और यह न हो कि मरने के बाद मुझे पता चले कि मैंने कभी जीवन नहीं जिया। मैं वह जीवन जीना नहीं चाहता था जो जीवन नहीं था, क्योंकि जीवन इतना कीमती है; और न ही मैं इस्तीफे का अभ्यास करना चाहता था, जब तक कि वह बिल्कुल आवश्यक न हो। मैं गहराई से जीना और जीवन का सारा रस निचोड़ना चाहता था।
Evaluator Feedback:
The translation captures the philosophical essence and meaning of Thoreau's passage well, with accurate rendering of key concepts like 'deliberately,' 'essential facts,' and 'suck out all the marrow.' However, some phrases feel slightly awkward in Hindi (e.g., 'इस्तीफे का अभ्यास' for 'practise resignation'), and the lyrical, meditative tone of the original is somewhat diminished by more literal phrasing rather than idiomatic Hindi expression.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 0 | 0.0% |
| 🟡 Good (7-8) | 19 | 25.3% |
| 🟠 Acceptable (5-6) | 43 | 57.3% |
| 🔴 Poor (3-4) | 9 | 12.0% |
| ⚫ Failed (1-2) | 4 | 5.3% |