Здравствуйте!
Пытаюсь дообучить (fine tune) GigaAM-v3 для людей с сильной дизартрией (ДЦП и РС).
Есть рабочий скрипт для дообучения GigaAM-v2-CTC и полурабочий для GigaAM-v2-RNNT https://disk.yandex.ru/d/lTQo5R_DKAS-nA . Как я понимаю, они не используют модули из репозитория GigaAM. Со мной поделились примером, я только адаптировать под локальную модель и датасет. В теме я плохо разбираюсь...
Пробовал их применить к V3 (по ссылке скрипты для v2), но получаю ошибку в строках:
feature_extractor = AutoFeatureExtractor.from_pretrained(model_name, revision=model_rev, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, revision=model_rev, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_name, revision=model_rev, trust_remote_code=True)
как я понимаю, не находит нужных файлов. И что делать дальше я просто не знаю...
Пробовал GigaAM-v3 без дообучения, конечно гораздо лучше при дизартрии чем v2, но все равно много ошибок. И почему-то CTC версия распознает заметно лучше, чем RNNT.
Может у Вас есть пример скрипта, хоть отдаленно подходящий для дообучения GigaAM-v3-CTC? С нуля я не напишу, но подогнать пока еще смогу.
Особенно интересует модель e2e, она намного удобнее.
Или может быть посоветуете, к кому можно обратиться?
Если у кого-то есть возможность помочь, можете связаться напрямую a0123(собака)яндекс.ру
С уважением, Антон
Здравствуйте!
Пытаюсь дообучить (fine tune) GigaAM-v3 для людей с сильной дизартрией (ДЦП и РС).
Есть рабочий скрипт для дообучения GigaAM-v2-CTC и полурабочий для GigaAM-v2-RNNT https://disk.yandex.ru/d/lTQo5R_DKAS-nA . Как я понимаю, они не используют модули из репозитория GigaAM. Со мной поделились примером, я только адаптировать под локальную модель и датасет. В теме я плохо разбираюсь...
Пробовал их применить к V3 (по ссылке скрипты для v2), но получаю ошибку в строках:
feature_extractor = AutoFeatureExtractor.from_pretrained(model_name, revision=model_rev, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, revision=model_rev, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_name, revision=model_rev, trust_remote_code=True)
как я понимаю, не находит нужных файлов. И что делать дальше я просто не знаю...
Пробовал GigaAM-v3 без дообучения, конечно гораздо лучше при дизартрии чем v2, но все равно много ошибок. И почему-то CTC версия распознает заметно лучше, чем RNNT.
Может у Вас есть пример скрипта, хоть отдаленно подходящий для дообучения GigaAM-v3-CTC? С нуля я не напишу, но подогнать пока еще смогу.
Особенно интересует модель e2e, она намного удобнее.
Или может быть посоветуете, к кому можно обратиться?
Если у кого-то есть возможность помочь, можете связаться напрямую a0123(собака)яндекс.ру
С уважением, Антон