Перейти к содержимому

MOAB

* * * * * 1 Голосов

Сломаные кеи - зачем они?


  • Войдите, чтобы ответить
В теме одно сообщение

#1 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 698 сообщений
2 939

Отправлено 27 Июнь 2015 - 21:47

В интернете часто гуляют тхт базы, запросов. Вот и мне досталась одна из таких. Хороший такой добрый тхт файл на 1+ млрд строк, в 60 гб. Только вот при поиске часто он давал дубли в раскладках, типа ищу "* в Москве" а он мне выдает "молоко в Москве" и "мoлоко в Москве. Выделенный символ - в английской раскладке. Вопросы:
- откуда берутся такие кеи в запросах? Ведь ПС правит ошибки в запросах.
- что делать с такими строками?
- как много других алфавитов используют ру раскладку с буквами другого алфавита? Сколько я потеряю если просто всё удалю.
Если кому интересно, вот вкратце слова которые мне не очень нравятся. Сперва я хотел их фильтровать по весьма сложному алгоритму, но я не ожидал, что их будет 2,5 гб!
https://cloud.mail.r.../ABjG/dbHo4Phje
Проблема моей сложной фильтрации в том, что си я не знаю, в алгоритмах не шарю, потоки разные делать не хочу. А на делфи мои сортировки идут сутками.

#2 Саныч

Саныч

    Мастер

  • Основатель
  • PipPipPipPip
  • 1 213 сообщений
1 188

Отправлено 28 Июнь 2015 - 00:59

Просмотр сообщенияazsx сказал:

- откуда берутся такие кеи в запросах? Ведь ПС правит ошибки в запросах.

база должна быть большой, объем одно из рекламных преимуществ. Поэтому добавляется всякий мусор

Просмотр сообщенияazsx сказал:

- что делать с такими строками?

удалять. Писать тексты по ним не получится, в директе крутить такие объемы с опечатками нереально

Просмотр сообщенияazsx сказал:

- как много других алфавитов используют ру раскладку с буквами другого алфавита?

все, в которых есть буквы "а" и "о"

Просмотр сообщенияazsx сказал:

Сколько я потеряю если просто всё удалю.

по этому поводу можно не переживать, почему, отписал выше

файл не качал, 500 мб для ознакомления на жпрс много
Саныч



Похожие темы


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2018 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal