Подготовить датасет для релиза #2

New issue

Closed

opened 2022-07-28 09:52:24 +00:00 by nesvetaevgy_placeholder_1xavb6p · 0 comments

nesvetaevgy_placeholder_1xavb6p commented

2022-07-28 09:52:24 +00:00

(Migrated from git.csit.sgu.ru)

Парсинг датасета для обучения классификатора конкретно оговоренных намерений (лейблы и намерения см. ниже) представляется достаточно сложным. По моему (@fruitourist) мнению, собственная генерация датасета - единственный правильный путь в настоящих условиях.

label, intent
0, manage_media (любое медиа, т.е. не только музыка)
1, shutdown
2, change_lamp_color
3, open_programm
4, tell_definite_anecdote (анекдот про бомжа и бумажку)
5, philosophical_talk

Датасет должен быть в формате csv и включать команды (напр. "включи музыку"), при чем команды должны сохранять конкретность (напр. для намерения shutdown необходимо обязательно указывать глагол с существительным (не допускается напр. "отключи"); за искл. open_programm и philosophical_talk)

Также необходимо:

Использование различных синонимов слов в командах
Изменение синтаксиса (последовательность слов) команд
Преобразование в вопрос команд (без указания знака "?")

Все это позволит нейросети научиться понимать конкретно смысл предложения - намерение.

Также возможно необходимо:

Использование доп. речевых конструкций (местоимений и т.п.)
Использование "пессимизирующих" команд (со спец. неуказанным лейблом 6 и намерением stub_phrase; подр. это возможно необходимо только для обучения нейросети, в архитектуре модели лейбл 6 указываться не будет)

Возможно это позволит нейросети научиться понимать отсутствие намерения в предложении.

Так-как во "взрослом" продакшене, как я (@fruitourist) понимаю, датасет парситься из запросов обычных пользователей, команды в датасете могут повторяться, поэтому возможно:

Использование искусственного рандомизированного расширения датасета (копирование и вставка в одном и том же датасете)

Это позволит расширить датасет для нейросети.

Парсинг датасета для обучения классификатора конкретно оговоренных намерений (лейблы и намерения см. ниже) представляется достаточно сложным. По моему (`@fruitourist`) мнению, собственная генерация датасета - единственный правильный путь в настоящих условиях. ``` label, intent 0, manage_media (любое медиа, т.е. не только музыка) 1, shutdown 2, change_lamp_color 3, open_programm 4, tell_definite_anecdote (анекдот про бомжа и бумажку) 5, philosophical_talk ``` Датасет должен быть в формате _csv_ и включать команды (напр. "включи музыку"), при чем команды должны сохранять _конкретность_ (напр. для намерения shutdown необходимо обязательно указывать глагол с существительным (не допускается напр. "отключи"); за искл. open_programm и philosophical_talk) Также необходимо: - Использование различных _синонимов_ слов в командах - _Изменение синтаксиса_ (последовательность слов) команд - _Преобразование в вопрос_ команд (без указания знака "?") > Все это позволит нейросети научиться понимать конкретно смысл предложения - намерение. Также возможно необходимо: - Использование _доп. речевых конструкций_ (местоимений и т.п.) - Использование _"пессимизирующих" команд_ (со спец. неуказанным лейблом 6 и намерением stub_phrase; подр. это возможно необходимо только для обучения нейросети, в архитектуре модели лейбл 6 указываться не будет) > Возможно это позволит нейросети научиться понимать отсутствие намерения в предложении. Так-как во "взрослом" продакшене, как я (`@fruitourist`) понимаю, датасет парситься из запросов обычных пользователей, команды в датасете могут повторяться, поэтому возможно: - Использование _искусственного рандомизированного расширения_ датасета (копирование и вставка в одном и том же датасете) > Это позволит расширить датасет для нейросети.

nesvetaevgy_placeholder_1xavb6p (Migrated from git.csit.sgu.ru) closed this issue

2025-11-04 11:51:52 +00:00