Awesome

NER-анотація українського корпусу

Опис даних

Це друга версія українського NER корпусу. Дані першої версії та документацію ви можете знайти тут

Корпус розмічених даних знаходиться в папці v2.0/data. Всього в корпусі:

560 текстів (train: 391, test: 169)
21_993 сутностей NER
13 типів сутностей

	NashiGroshi	Bruk	Total
ART	319	316	635
DATE	1496	551	2047
DOC	108	34	142
JOB	1344	638	1982
LOC	1380	1620	3000
MISC	102	413	515
MON	897	46	943
ORG	4431	782	5213
PCT	186	77	263
PERIOD	341	255	596
PERS	1820	4415	6235
QUANT	276	106	382
TIME	4	36	40
Total	12704	9289	21993

Первинним джерелом даних є відкритий корпус українських текстів (папка bruk) та тексти видання «Наші гроші» (папка ng). Для кожного обробленого тексту з корпусу наявні два файли:

файл з розширенням txt містить токенізовану версію тексту
файл з розширенням ann містить NER-анотації до цього тексту у форматі Brat Standoff Format (кожний рядок файлу містить 3 записи, розділені табуляцією: номер анотації, початковий і кінцевий індекс в тексті — у даному випадку, токенізованому — через пробіл, текст сутності)

Анотація виконана принаймні двома анотаторами на кожний текст за наступними правилами, розбіжності в результатах виправлені третім редактором.

Для тренування і валідації моделей рекомендовано використовувати Стандартне розбиття на DEV і TEST набори.

Ми надаємо сконвертовані у формат IOB дані з використанням стандартного розбиття. Під час цієї конвертації ми прибрали вкладені теги.

Репозиторій також містить скрипти для конвертації даних у інші формати.

Ліцензія

Ці дані доступні для використання згідно умов ліцензії "Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License"

<a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png" /></a><br /><span xmlns:dct="http://purl.org/dc/terms/" href="http://purl.org/dc/dcmitype/Dataset" property="dct:title" rel="dct:type">"Корпус NER-анотацій українських текстів"</span> by <a xmlns:cc="http://creativecommons.org/ns#" href="https://github.com/lang-uk" property="cc:attributionName" rel="cc:attributionURL">lang-uk</a> is licensed under a <a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/">Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License</a>.<br />Based on a work at <a xmlns:dct="http://purl.org/dc/terms/" href="https://github.com/lang-uk/ner-uk" rel="dct:source">https://github.com/lang-uk/ner-uk</a>.