d0rj autoevaluator HF staff commited on
Commit
a5c8183
1 Parent(s): 6e47664

Add evaluation results on the samsum config and test split of samsum (#2)

Browse files

- Add evaluation results on the samsum config and test split of samsum (648248bea1663bf39a22ba7c98c4827b5653d022)


Co-authored-by: Evaluation Bot <[email protected]>

Files changed (1) hide show
  1. README.md +98 -14
README.md CHANGED
@@ -1,7 +1,12 @@
1
  ---
2
- language:
3
  - ru
4
  - en
 
 
 
 
 
5
  datasets:
6
  - d0rj/samsum-ru
7
  - IlyaGusev/gazeta
@@ -12,20 +17,99 @@ datasets:
12
  metrics:
13
  - bleu
14
  - rouge
15
- tags:
16
- - summarization
17
- - dialogue-summarization
18
- - text2text-generation
19
- - t5
20
  widget:
21
- -
22
- example_title: Diploma Introduction
23
- text: >
24
- Актуальность проблемы. Электронная информация играет все большую роль во всех сферах жизни современного общества. В последние годы объем научно-технической текстовой информации в электронном виде возрос настолько, что возникает угроза обесценивания этой информации в связи с трудностями поиска необходимых сведений среди множества доступных текстов. Развитие информационных ресурсов Интернет многократно усугубило проблему информационной перегрузки. В этой ситуации особенно актуальными становятся методы автоматизации реферирования текстовой информации, то есть методы получения сжатого представления текстовых документов–рефератов (аннотаций). Постановка проблемы автоматического реферирования текста и соответственно попытки ее решения с использованием различных подходов предпринимались многими исследователями. История применения вычислительной техники для реферирования насчитывает уже более 50 лет и связана с именами таких исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько, Д.Г. Лахути, Р.Г. Пиотровский и др. За эти годы выработаны многочисленные подходы к решению данной проблемы, которые достаточно четко подразделяются на два направления: автоматическое реферирование, основанное на экстрагировании из первичных документов с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов), совокупность которых образует некоторый экстракт; автоматическое реферирование, основанное на выделении из текстов с помощью специальных информационных языков наиболее существенной информации и порождении новых текстов (рефератов), содержательно обобщающих первичные документы.
25
- -
26
- example_title: Biological Info
27
- text: >
28
- Первую многоножку, у которой более тысячи ног, обнаружили в австралийских пещерах биологи, изучавшие там подземные воды. Предыдущей рекордсменкой по количеству ног была 700-ногая многоножка. Новый вид имеет длинное тонкое тело, похожее на нить, и большое количество конечностей, по-видимому, дает преимущества для быстрого перемещения и проникновения в труднодоступные места — ученые полагают, такая многоножка может спокойно перемещаться по трещинам в камнях. Австралия известна своими огромными и жутковатыми животными вроде 25-сантиметровых пауков. Теперь список пугающих членистоногих пополнился самой «многоногой» в мире многоножкой, у которой более тысячи ног. Необычное животное обнаружила группа исследователей из Австралии и США в пещерах на западе страны. Подробнее многоножку ученые описали в статье в журнале Scientific Reports. Исследователи занимались оценкой воздействия подземных вод на окружающую среду в зоне добычи полезных ископаемых на западе страны, когда наткнулись на новый вид многоножек. В отличие от большинства сородичей, живущих на поверхности, эти многоножки обитали в пещерах на глубине до 60 метров. Новый вид исследователи назвали Eumillipes persephone, в честь Персефоны — древнегреческой богини подземного мира. У многоножки оказалось 1306 ног — больше, чем у любого другого известного вида. Предыдущей рекордсменкой была калифорнийская Illacme plenipes, у которой насчитывалось до 750 ног. «Эти животные были настолько уникальны, — говорит биолог Бруно Бузатто. — Как только я понял, какой длины они были... Стало ясно, что это что-то совершенно новое». У Е. persephone нитевидное тело длиной около 9,5 см и шириной всего миллиметр, состоящее из 330 сегментов, короткие ноги и конусообразная голова. Как и другие животные, живущие в постоянной темноте, эти многоножки бледны и слепы. Энтомолог Пол Марек сравнивает ее с белой нитью, выдернутой из рубашки. Чтобы посчитать количество ног, ученым пришлось сначала снять многоножку в высоком разрешении, а затем закрашивать на фото каждый десяток ног другим цветом. (https://www.gazeta.ru/science/2021/12/17_a_14325355.shtml)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
29
  ---
30
 
31
  # rut5-base-summ
 
1
  ---
2
+ language:
3
  - ru
4
  - en
5
+ tags:
6
+ - summarization
7
+ - dialogue-summarization
8
+ - text2text-generation
9
+ - t5
10
  datasets:
11
  - d0rj/samsum-ru
12
  - IlyaGusev/gazeta
 
17
  metrics:
18
  - bleu
19
  - rouge
 
 
 
 
 
20
  widget:
21
+ - example_title: Diploma Introduction
22
+ text: 'Актуальность проблемы. Электронная информация играет все большую роль во
23
+ всех сферах жизни современного общества. В последние годы объем научно-технической
24
+ текстовой информации в электронном виде возрос настолько, что возникает угроза
25
+ обесценивания этой информации в связи с трудностями поиска необходимых сведений
26
+ среди множества доступных текстов. Развитие информационных ресурсов Интернет многократно
27
+ усугубило проблему информационной перегрузки. В этой ситуации особенно актуальными
28
+ становятся методы автоматизации реферирования текстовой информации, то есть методы
29
+ получения сжатого представления текстовых документов–рефератов (аннотаций). Постановка проблемы автоматического
30
+ реферирования текста и соответственно попытки ее решения с использованием различных
31
+ подходов предпринимались многими исследователями. История применения вычислительной
32
+ техники для реферирования насчитывает уже более 50 лет и связана с именами таких
33
+ исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько, Д.Г.
34
+ Лахути, Р.Г. Пиотровский и др. За эти годы выработаны многочисленные подходы
35
+ к решению данной проблемы, которые достаточно четко подразделяются на два направления:
36
+ автоматическое реферирование, основанное на экстрагировании из первичных документов
37
+ с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов),
38
+ совокупность которых образует некоторый экстракт; автоматическое реферирование,
39
+ основанное на выделении из текстов с помощью специальных информационных языков
40
+ наиболее существенной информации и ��орождении новых текстов (рефератов), содержательно
41
+ обобщающих первичные документы.
42
+
43
+ '
44
+ - example_title: Biological Info
45
+ text: Первую многоножку, у которой более тысячи ног, обнаружили в австралийских
46
+ пещерах биологи, изучавшие там подземные воды. Предыдущей рекордсменкой по количеству
47
+ ног была 700-ногая многоножка. Новый вид имеет длинное тонкое тело, похожее на
48
+ нить, и большое количество конечностей, по-видимому, дает преимущества для быстрого
49
+ перемещения и проникновения в труднодоступные места — ученые полагают, такая многоножка
50
+ может спокойно перемещаться по трещинам в камнях. Австралия известна своими огромными
51
+ и жутковатыми животными вроде 25-сантиметровых пауков. Теперь список пугающих
52
+ членистоногих пополнился самой «многоногой» в мире многоножкой, у которой более
53
+ тысячи ног. Необычное животное обнаружила группа исследователей из Австралии и
54
+ США в пещерах на западе страны. Подробнее многоножку ученые описали в статье в
55
+ журнале Scientific Reports. Исследователи занимались оценкой воздействия подземных
56
+ вод на окружающую среду в зоне добычи полезных ископаемых на западе страны, когда
57
+ наткнулись на новый вид многоножек. В отличие от большинства сородичей, живущих
58
+ на поверхности, эти многоножки обитали в пещерах на глубине до 60 метров. Новый
59
+ вид исследователи назвали Eumillipes persephone, в честь Персефоны — древнегреческой
60
+ богини подземного мира. У многоножки оказалось 1306 ног — больше, чем у любого
61
+ другого известного вида. Предыдущей рекордсменкой была калифорнийская Illacme
62
+ plenipes, у которой насчитывалось до 750 ног. «Эти животные были настолько уникальны,
63
+ — говорит биолог Бруно Бузатто. — Как только я понял, какой длины они были...
64
+ Стало ясно, что это что-то совершенно новое». У Е. persephone нитевидное тело
65
+ длиной около 9,5 см и шириной всего миллиметр, состоящее из 330 сегментов, короткие
66
+ ноги и конусообразная голова. Как и другие животные, живущие в постоянной темноте,
67
+ эти многоножки бледны и слепы. Энтомолог Пол Марек сравнивает ее с белой нитью,
68
+ выдернутой из рубашки. Чтобы посчитать количество ног, ученым пришлось сначала
69
+ снять многоножку в высоком разрешении, а затем закрашивать на фото каждый десяток
70
+ ног другим цветом. (https://www.gazeta.ru/science/2021/12/17_a_14325355.shtml)
71
+ model-index:
72
+ - name: d0rj/rut5-base-summ
73
+ results:
74
+ - task:
75
+ type: summarization
76
+ name: Summarization
77
+ dataset:
78
+ name: samsum
79
+ type: samsum
80
+ config: samsum
81
+ split: test
82
+ metrics:
83
+ - type: rouge
84
+ value: 28.8694
85
+ name: ROUGE-1
86
+ verified: true
87
+ verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYTdhMjM4YWJiZTBiNmJhNTc0ZjQ4M2E1M2RjMDI4YThmYjEzMmJmZjdlOGRjOWRiZDA2YWEzOTU0MTMwYmJjNCIsInZlcnNpb24iOjF9.6bddYV-Rnp4zhgQjbv4cHKtXHDCLknfxTH2bYsVe6R9wgW45gUSck61EIeJdqj0PS7Vi2zcz8YW4DEXDd-UECQ
88
+ - type: rouge
89
+ value: 8.4686
90
+ name: ROUGE-2
91
+ verified: true
92
+ verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiN2NiOTdkNTE0NjVmYTcyMDY1ZjYzMjZlZjI1MDViOWFmM2M1MDZjOGZiYThlMTc4MWY5YThlNDJmOGYyNWRmZCIsInZlcnNpb24iOjF9.BLeNnva3EJFMz8xwXZamguKWhLyaGTRFr1C12Yh8xTlimrc_mENHqwshJxdi4RULcGwlQmjGjXNw1DMJ42pDCQ
93
+ - type: rouge
94
+ value: 24.2357
95
+ name: ROUGE-L
96
+ verified: true
97
+ verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNjM2OGMwMGYzOTgwNjhlZjhjNjU2YzU3MDZkMjljMzExZjYwNTU1MDM0YmM1NmE3OTUyYzBhMzcyOGM5ZmY1MSIsInZlcnNpb24iOjF9.ttNXKqK9rTsMM1aj4XvXUVuJZZAtgG2JE2NI3ZWT4kVcsC7F6mYFXNfUKEk2koKPkq0gwdPiAc-wrpbtmQg5Cg
98
+ - type: rouge
99
+ value: 25.8543
100
+ name: ROUGE-LSUM
101
+ verified: true
102
+ verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYmMzNTdjMGFkNzhiYzFkYWMwNWRlZTM5ZTMxMjU5MjFiMDVjNDk3MWFlMTM5Yzc4MTFjYzNhODVmNjQ3ZTBmNyIsInZlcnNpb24iOjF9.80eUellPpBKzjW-kKDjr6WlzFh_nyC2Q4-gNtzQekOzUyuPynl913nWh4NcAw5YXbYC24dklshdFD5VheeYlBQ
103
+ - type: loss
104
+ value: 3.2456042766571045
105
+ name: loss
106
+ verified: true
107
+ verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOWEwZTRlMDEyZDQ0ZTBiMzAyZTkyZWUwOGYyODQ0NzA1MWM4NTE3ZDBjYTYxNmMxODIyNmNiZDM0MmYzMzNjZCIsInZlcnNpb24iOjF9.evm57JUbHamIx2FcFmjRHwvZ3e818BYxT8tuv26KVnq9IHO8xyMHPes9slOMhdTijAT_leexMIKMRT_iFOGHAg
108
+ - type: gen_len
109
+ value: 27.5543
110
+ name: gen_len
111
+ verified: true
112
+ verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZTIzNWY2NGEyNjQyMzdmYmM4ZDI5MTVkZDQ0ZTk3NmFiOWRjNTdiMjU3MmQwY2NhZTEzNTVhZGU5NTZhN2JiZiIsInZlcnNpb24iOjF9.7C3OQP2bl0EZRhRlRYtxd6cQapif0a2Vq5kRFiSdX6KLxU_QALZAlh_9DFyyYPh39R3e6Hyi438Ox6BGaalmBA
113
  ---
114
 
115
  # rut5-base-summ