The Pile

The Pile - это разнообразный набор данных для языкового моделирования объемом 825 ГиБ, разработанный EleutherAI, который состоит из множества меньших наборов данных, объединенных вместе. Целью является получение текста из как можно большего количества модальностей, чтобы модели, обученные с использованием The Pile, имели более широкие возможности обобщения.

Почему The Pile является хорошим набором для обучения?

Недавние исследования показали, что особенно для больших моделей разнообразие источников данных повышает общую перекрестную область знаний модели, а также способность обобщения на последующие задачи. В наших оценках модели, обученные на The Pile, не только показывают умеренное улучшение в традиционных показателях языкового моделирования, но и значительное улучшение в показателе Pile BPB.

| Компонент | Исходный размер | Вес | Эпохи | Эффективный размер | Средний размер документа | |-----------------|----------|------|-----:|--------------|------------------| |Pile-CC |227.12 ГиБ|18.11%| 1.0|227.12 ГиБ |4.33 КиБ | |PubMed Central |90.27 ГиБ |14.40%| 2.0|180.55 ГиБ |30.55 КиБ | |Books3 |100.96 ГиБ|12.07%| 1.5|151.44 ГиБ |538.36 КиБ | |OpenWebText2 |62.77 ГиБ |10.01%| 2.0|125.54 ГиБ |3.85 КиБ | |ArXiv |56.21 ГиБ |8.96% | 2.0|112.42 ГиБ |46.61 КиБ | |Github |95.16 ГиБ |7.59% | 1.0|95.16 ГиБ |5.25 КиБ | |FreeLaw |51.15 ГиБ |6.12% | 1.5|76.73 ГиБ |15.06 КиБ | |StackExchange |32.20 ГиБ |5.13% | 2.0|64.39 ГиБ |2.16 КиБ | |USPTO Backgrounds |22.90 ГиБ |3.65% | 2.0|45.81 ГиБ |4.08 КиБ | |PubMed Abstracts |19.26 ГиБ |3.07% | 2.0|38.53 ГиБ |1.30 КиБ | |Gutenberg (PG-19)|10.88 ГиБ |2.17% | 2.5|27.19 ГиБ |398.73 КиБ | |OpenSubtitles |12.98 ГиБ |1.55% | 1.5|19.47 ГиБ |30.48 КиБ | |Wikipedia (en) |6.38 ГиБ |1.53% | 3.0|19.13 ГиБ |1.11 КиБ | |DM Mathematics |7.75 ГиБ |1.24% | 2.0|15.49 ГиБ |8.00 КиБ | |Ubuntu IRC |5.52 ГиБ |0.88% | 2.0|11.03 ГиБ |545.48 КиБ | |BookCorpus2 |6.30 ГиБ |0.75% | 1.5|9.45 ГиБ |369.87 КиБ | |EuroParl |4.59 ГиБ |0.73% | 2.0|9.17 ГиБ |68.87 КиБ | |HackerNews |3.90 ГиБ |0.62% | 2.0|7.80 ГиБ |4.92 КиБ | |YoutubeSubtitles |3.73 ГиБ |0.60% | 2.0|7.47 ГиБ |22.55 КиБ | |PhilPapers |2.38 ГиБ |0.38% | 2.0|4.76 ГиБ |73.37 КиБ | |NIH ExPorter |1.89 ГиБ |0.30% | 2.0|3.79 ГиБ |2.11 КиБ | |Enron Emails |0.88 ГиБ |0.14% | 2.0|1.76 ГиБ |1.78 КиБ | |Всего | | | |1254.20 ГиБ |5.91 КиБ |

Источник: https://pile.eleuther.ai/