Added File

Author: K1rsN7

.gitignore

@@ -0,0 +1,12 @@
+.idea/*
+__pycache__/
+
+models/*
+whl/*
+
+**/*.mpeg
+**/*.mp3
+**/*.whl
+**/*.google-cookie
+**/*.env
+**/*.wav

README.md

@@ -1 +1,12 @@
-# HackAI2023
+OC: Windows 10/11
+Pycharm 2022.01.01 
+
+Инструкция по использованию:
+1. Распаковываем архив в любое удобное место на вашем компьютере
+2. Открываем папку с файлами в удобной для вас среде (в нашем случае Pycharm)
+3. Находим файл main.py и компилируем его  
+3. После компиляции сказать активационную фразу "привет аня" и дождаться обработку ассистентом вашей речи. Если фраза была сказана правильно, Вы услышите уведомление.
+4. Следующим этапом вам нужно назвать неисправность. После обработки ассистент озвучит решение вашей пролемы.
+
+*Если по каким-то причинам не срабатывает фраза активации, зажмите кнопку "ALT" и ждите, пока модель пропустит данный этап. После чего возвращайтесь к пункту 4.
+**Важное замечание: ассистент не воспринимает числа больше 9. Поэтому, например, число 43 проговаривать как "четыре три".

data.json

@@ -0,0 +1,153 @@
+import keyboard
+from vosk import Model, KaldiRecognizer  # оффлайн-распознавание от Vosk
+from termcolor import colored  # вывод цветных логов (для выделения распознанной речи)
+from dotenv import load_dotenv  # загрузка информации из .env-файла
+import speech_recognition  # распознавание пользовательской речи (Speech-To-Text)
+import pyttsx3  # синтез речи (Text-To-Speech)
+from pydub import AudioSegment
+from pydub.playback import play
+import json  # работа с json-файлами и json-строками
+import wave  # создание и чтение аудиофайлов формата wav
+import os  # работа с файловой системой
+from fuzzywuzzy import fuzz  # Проверка схожести строк
+
+# Чтение json файла
+with open('data.json', 'r', encoding='utf-8') as file:
+    data = json.load(file)
+
+model = Model(r"vosk-model-small-ru-0.22")  # Загрузка модели
+
+
+def record_and_recognize_audio(is_commands, *args: tuple):
+    """
+    Запись и распознавание аудио
+    """
+    with microphone:
+        recognized_data = ""
+
+        # запоминание шумов окружения для последующей очистки звука от них
+        recognizer.adjust_for_ambient_noise(microphone, duration=0.5)
+        try:
+            # Понятный вывод в консоли
+            if is_commands:
+                print("Слушаю команду...")
+            else:
+                print('Жду команду активации...')
+            audio = recognizer.listen(microphone)
+
+            with open("microphone-results.wav", "wb") as wav:
+                wav.write(audio.get_wav_data())
+
+        except speech_recognition.WaitTimeoutError:
+            pass
+
+        try:
+            wave_audio_file = wave.open("microphone-results.wav", "rb")
+            print("Начинаю обработку...")
+            offline_recognizer = KaldiRecognizer(model, wave_audio_file.getframerate())
+
+            data = wave_audio_file.readframes(wave_audio_file.getnframes())
+            if len(data) > 0:
+                if offline_recognizer.AcceptWaveform(data):
+                    recognized_data = offline_recognizer.Result()
+
+                    # получение данных распознанного текста из JSON-строки (чтобы можно было выдать по ней ответ)
+                    recognized_data = json.loads(recognized_data)
+                    recognized_data = recognized_data["text"]
+        except:
+            pass
+
+        return recognized_data
+
+
+def play_voice_assistant_speech(text_to_speech):
+    """
+    Проигрывание речи ответов голосового ассистента (без сохранения аудио)
+    :param text_to_speech: текст, который нужно преобразовать в речь
+    """
+    ttsEngine.say(str(text_to_speech))
+    ttsEngine.runAndWait()
+
+
+def play_greetings(*args: tuple):
+    """
+    Проигрывание звука принятия
+    """
+    song = AudioSegment.from_wav("new_message_notice.wav")
+    play(song)
+
+
+def execute_command_with_name(command_name: str, *args: list):
+    """
+    Выполнение заданной пользователем команды и аргументами
+    :param command_name: название команды
+    :param args: аргументы, которые будут переданы в метод
+    :return:
+    """
+    for key in commands.keys():
+        answers = ''  # Ответ бота
+        accuracy_best = 0  # Лучшая точность
+        for fragment in data:
+            accuracy = fuzz.ratio(command_name, fragment['key'])
+            if accuracy > accuracy_best:
+                accuracy_best = accuracy
+                answers = fragment['answers']
+        print(colored(f'Key: {answers}\n'
+                      f'Accuracy: {accuracy_best}', 'green'))
+        if accuracy_best >= 65:  # Порог срабатывания команды
+            print(colored(f'Ассистент: {answers}', 'blue'))
+            play_voice_assistant_speech(answers)
+        else:
+            print(colored('Ассистент: я не распознала команду', 'blue'))
+            play_voice_assistant_speech('я не распознала команду')
+
+
+# быстрые команды бота
+commands = {
+    ("привет аня",): play_greetings,  # команда активации
+}
+
+if __name__ == "__main__":
+
+    # инициализация инструментов распознавания и ввода речи
+    recognizer = speech_recognition.Recognizer()
+    microphone = speech_recognition.Microphone()
+
+    # инициализация инструмента синтеза речи
+    ttsEngine = pyttsx3.init()
+
+    # загрузка информации из .env-файла (там лежит API-ключ для OpenWeatherMap)
+    load_dotenv()
+
+    while True:
+        # старт записи речи с последующим выводом распознанной речи и удалением записанного в микрофон аудио
+        voice_input = ''
+        keyboard_pc = False
+        if not (keyboard.is_pressed('alt')):
+            voice_input = record_and_recognize_audio(False)
+            os.remove("microphone-results.wav")
+        else:
+            keyboard_pc = True
+        print(colored(f'Услышала: {voice_input}', "blue"))
+        if voice_input != '' or keyboard_pc:
+            for key in commands.keys():
+                answer = ''  # Ответ
+                accurasy_best = 0  # Точность лучшего ответа
+                for activ_fraza in key:
+                    accurasy = fuzz.ratio(voice_input, activ_fraza)
+                    if accurasy > accurasy_best:
+                        accurasy_best = accurasy
+                if accurasy_best >= 75 or keyboard_pc:
+                    print(colored('Услышала фразу активации', 'blue'))
+                    keyboard_pc = False
+                    commands[key]()
+                    voice_input = record_and_recognize_audio(True)
+                    # Пред обработка текста
+                    numbers = {'ноль': '0', 'один': '1', 'два': '2', 'три': '3', 'четыре': '4', 'пять': '5',
+                               'шесть': '6', 'семь': '7',
+                               'восемь': '8', 'девять': '9'}
+                    for key in numbers.keys():
+                        voice_input = voice_input.replace(key, numbers[key])
+
+                    print(colored(f'Обработала: {voice_input}', 'blue'))
+                    execute_command_with_name(voice_input)  # Поиск по файлу

main.py

@@ -0,0 +1,67 @@
+# -*- coding: utf-8 -*-
+# Импорт библиотек
+import io
+import re
+import pandas as pd
+from transliterate import translit
+
+
+# Функция обработки строки
+def replace_function(line):
+    line = line.lower()
+    for symbol in ["'", '"', '(', ')', '/', '.', '!', '\\', ';', ',', '[', ']', ' ']:
+        line = line.replace(symbol, '')
+    replase_str = {'+': 'плюс', '%': ' процентов', '°': ' градусов', '°с': ' цельсия'
+                   }
+    for key in replase_str.keys():
+        line = line.replace(str(key), str(replase_str[key]))
+    line = translit(line, 'ru')
+    return line
+
+
+path = 'C:\\Users\\k1rsn\Desktop\\Перечень неисправностей.txt'  # Путь к файлу
+flag_malfunction = True  # Флаг на пункт таблицы
+flag_skip = False  # Пропустить следующую строку, реализовано для пропуска "Вероятная причина"
+file_new = io.open('C:\\Users\\k1rsn\Desktop\\info.txt', 'w', encoding='utf-8')  # Открытие файла для записи
+with io.open(path, encoding='utf-8') as file:
+    for line in file:  # Чтение файла по строчно
+        line = replace_function(line)  # Обработка строки
+        try:  # Проверка на строчку пункта
+            nums = re.findall(r'\d+', line)
+            if f'{nums[0]}\n' == line:
+                flag_malfunction = True
+                file_new.write('key: ')
+                flag_skip = False
+                continue
+        except:
+            pass
+        if flag_malfunction and line != '\n':
+            if line[0] == '-':
+                flag_skip = False
+            if flag_skip:
+                flag_skip = False
+                continue
+            else:
+                line = line.replace('-', '')
+                file_new.writelines(line)
+                flag_skip = True
+        else:
+            flag_malfunction = False
+            flag_skip = False
+
+data = []  # Массив с данными
+key = ''  # Активационной фраза
+answers = ''  # Решение неисправности
+with io.open('C:\\Users\\k1rsn\Desktop\\info.txt', 'r', encoding='utf-8') as file:
+    for line in file:
+        if line[0:5] == 'key: ':  # Проверка на активационную фразу
+            data.append({'key': str(key[5:-1]).lower(), 'answers': str(answers).lower()})
+            answers = ''
+            key = line
+        else:
+            answers += f'{line[:-1]} '
+df = pd.DataFrame(data=data)  # Формирование датафрейма
+df = df.iloc[1:, :]  # Убирание первой строки данных
+df = df.groupby(['key'], as_index=False).agg({'answers': ' или '.join})
+df.to_csv(r'C:\\Users\\k1rsn\Desktop\\data.csv', index=False)  # Запись в csv
+df.to_json(r'C:\\Users\\k1rsn\Desktop\\data.json', orient='records')

parser.py

@@ -0,0 +1,8 @@
+Small Russian model for Vosk (Android, RPi, other small devices)
+
+%WER 22.71 [ 9092 / 40042, 1124 ins, 1536 del, 6432 sub ] exp/chain_a/tdnn/decode_test_audiobooks_look_fast/wer_10_0.0
+%WER 11.79 [ 5940 / 50394, 894 ins, 832 del, 4214 sub ] exp/chain_a/tdnn/decode_test_golos_crowd_look_fast/wer_11_0.0
+%WER 21.34 [ 1789 / 8382, 173 ins, 440 del, 1176 sub ] exp/chain_a/tdnn/decode_test_golos_farfield_look_fast/wer_10_0.0
+%WER 29.89 [ 5579 / 18666, 476 ins, 1550 del, 3553 sub ] exp/chain_a/tdnn/decode_test_sova_devices_look_fast/wer_10_0.0
+%WER 31.97 [ 13588 / 42496, 1013 ins, 3640 del, 8935 sub ] exp/chain_a/tdnn/decode_test_youtube_look_fast/wer_9_0.0
+

vosk-model-small-ru-0.22/README

@@ -0,0 +1,7 @@
+--sample-frequency=16000
+--use-energy=false
+--num-mel-bins=40
+--num-ceps=40
+--low-freq=20
+--high-freq=7600
+--allow-downsample=true

vosk-model-small-ru-0.22/am/final.mdl

@@ -0,0 +1,10 @@
+--min-active=200
+--max-active=3000
+--beam=10.0
+--lattice-beam=2.0
+--acoustic-scale=1.0
+--frame-subsampling-factor=3
+--endpoint.silence-phones=1:2:3:4:5:6:7:8:9:10
+--endpoint.rule2.min-trailing-silence=0.5
+--endpoint.rule3.min-trailing-silence=1.0
+--endpoint.rule4.min-trailing-silence=2.0

vosk-model-small-ru-0.22/conf/mfcc.conf

@@ -0,0 +1,5 @@
+9855
+9856
+9857
+9858
+9859