Летняя школа Яндекс задание 5 Стажировка в отделе оценки качества поиска (Санкт-Петербург)

Здание № 5 из списка предложенных для отбора на летнюю школу от Яндекс. Общий список опубликован здесь. Для простоты обсуждения каждое задание публикуется отдельно.

Поиск и выделение схожих паттернов поведения пользователей, выделение в базе ЛПС групп пользователей со схожими параметрами и их детальный анализ. Требования: иметь представления о распределённых системах like MapReduce/Hadoop,  умение работать с raw логами, знание какого-либо ЯП, который позволяет обрабатывать логи, знание статистики на уровне: постановка гипотезы и её проверка,  представление  о методах data mining — кластеризация, классификация и способах проверки качества конкретных реализаций методов.

Задания (нужно выполнить все).

1. Чтобы сравнить качество двух поисковых алгоритмов, был проведён эксперимент: замерены значения  целевой метрики по случайной выборке  из 20-ти поисковых запросов. Выборка фиксирована, запросы задаются в одинаковом порядке.

query1 0.3133 0.5379
query2 0.6353 0.5382
query3 0.4809 0.5384
query4 0.738 0.539
query5 0.5251 0.5397
query6 0.5145 0.5401
query7 0.5923 0.5406
query8 0.567 0.5448
query9 0.4146 0.5459
query10 0.3801 0.5534
query11 0.2808 0.5579
query12 0.4978 0.5583
query13 0.6634 0.561
query14 0.5227 0.5762
query15 0.4336 0.5769
query16 0.5269 0.5868
query17 0.5519 0.5875
query18 0.5368 0.6025
query19 0.4661 0.6059
query20 0.6516 0.6105

Можно ли по этим данным сделать вывод, что качество одного поискового алго-

ритма в среднем лучше, чем другого согласно выбранной  целевой метрике?  На каком уровне значимости?

2. Логи —  это набор строк, где каждая строка представляет  одну из возможных записей: метаданные следующей поисковой  сессии, запрос, клик или переход на другую поисковую  систему. Метаданные следующей сессии (TypeOfRecord  = M): SessionID  TypeOfRecord   USERID

Запрос (TypeOfRecord  = Q):

SessionID  TimePassed  TypeOfRecord   SERPID QueryID ListOfURLs

Клик (TypeOfRecord = C):

SessionID  TimePassed  TypeOfRecord   SERPID URLID

SessionID — уникальный идентификатор  пользовательской сессии.

TypeOfRecord  — тип записи. Это может быть запрос (Q), клик (C), переход (S)

либо метаданные следующей сессии (M).

TimePassed  — время, прошедшее с начала текущей  сессии в условных временных единицах.

QueryID — уникальный идентификатор текста запроса.

SERPID — идентификатор поисковой выдачи, уникальный на уровне сессии.

URLID — уникальный идентификатор документа.

ListOfURLs — список документов, отранжированный слева направо в том порядке, в каком они были показаны пользователям на странице выдачи Яндекса (сверху вниз).

Строки про конкретную сессию идут подряд и отсортированы по времени. Приведите код, который принимал бы на вход файл с логами, а на выходе выдавал бы файл с сессиями в виде последовательности действий вида sessionID  QCCQC. Можно пользоваться любым языком программирования или статистическим пакетом.

3. Ниже приводятся данные по ряду стран: страна, средний доход на душу населения, уровень грамотности, уровень детской смертности, продолжительность жизни. Выделить и характеризовать  схожие группы стран. Указать используемые расстояния между объектами и кластерами. Обосновать выбор метода кластеризации и количества кластеров.

Brazil 10326 90 23.6 75.4
Germany 39650 99 4.08 79.4
Mozambique 830 38.7 95.9 42.1
Australia 43163 99 4.57 81.2
China 5300 90.9 23 73
Argentina 13308 97.2 13.4 75.3
United_Kingdom 34105 99 5.01 79.4
South_Africa 10600 82.4 44.8 49.3
Zambia 1000 68 92.7 42.4
Namibia 5249 85 42.3 52.9
Georgia 4200 100 17.36 71
Pakistan 3320 49.9 67.5 65.5
India 2972 61 55 64.7
Turkey 12888 88.7 27.5 71.8
Sweden 34735 99 3.2 80.9
Lithuania 19730 99.6 8.5 73
Greece 36983 96 5.34 79.5
Italy 26760 98.5 5.94 80
Japan 34099 99 3.2 82.6
Share

Tags: , ,

9 Responses to “Летняя школа Яндекс задание 5 Стажировка в отделе оценки качества поиска (Санкт-Петербург)”

  1. replica christian louboutin пишет:

    Good day! I know this is kind of off topic but I was wondering if you knew where I could get a captcha plugin for my comment form? I’m using the same blog platform as yours and I’m having trouble finding one? Thanks a lot!

  2. Аноним пишет:

    First time Ive visited your blog good find! Thanks.

  3. christian louboutin replica пишет:

    Hey there! I’ve been following your weblog for a long time now and finally got the bravery to go ahead and give you a shout out from Lubbock Tx! Just wanted to tell you keep up the good job!

  4. toms outlet online пишет:

    Woah! I’m really loving the template/theme of this website. It’s simple, yet effective. A lot of times it’s difficult to get that “perfect balance” between usability and visual appeal. I must say you’ve done a excellent job with this. Also, the blog loads extremely quick for me on Chrome. Superb Blog!

  5. Аноним пишет:

    Thanks for your marvelous posting! I seriously enjoyed reading it, you might be a great author.I will make certain to bookmark your blog and will come back in the foreseeable future. I want to encourage you to definitely continue your great work, have a nice holiday weekend!

  6. Аноним пишет:

    Wonderful blog! I found it while searching on Yahoo News. Do you have any suggestions on how to get listed in Yahoo News? I’ve been trying for a while but I never seem to get there! Thank you

  7. Luigi Fulk пишет:

    I simply want to mention I am beginner to blogs and actually liked you’re web site. Probably I’m planning to bookmark your blog post . You certainly have impressive well written articles. Regards for sharing your blog.

  8. Emelyan пишет:

    Fantastic goods from you, man. I’ve bear in mind your stuff previous to and you’re just extremely wonderful.

  9. cheap beats by dre пишет:

    Thmy spouse and i other dight, whithe I decided to go at workas my cousin stole my istrategy and testedward to see if it can survive a 4zero foot drop, simply by so syour ex gf can be a facebook or twitter sensation. . . Mf iblanket is now broken and she has 83 viewswe might I see this is completely off tomovie but i realised i was had to shape it with someone. . !

Leave a Reply