Данные обучения китайских токенов GPT-4o загрязнены спамом и порносайтами
Всего в новом токенизаторе 200 000 токенов, и около 25% говорят на неанглийских языках— говорит Диди Дас, инвестор в области искусственного интеллекта в Menlo Ventures. Он использовал языковые фильтры для подсчета количества токенов на разных языках, а самыми популярными языками, помимо английского, являются русский, арабский и вьетнамский. «Поэтому, на мой взгляд, основной эффект токенизатора заключается … Read more
