+ All Categories
Home > Technology > Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Date post: 26-Jun-2015
Category:
Upload: startupyard
View: 444 times
Download: 2 times
Share this document with a friend
Description:
Jaké technologie pohání vyhledávání? Jaké překážky vás potkají při fulltextovém hledání v internetu? Co obnáší budování velké a komplexní věci, jako je Vyhledávač? Odpoledne se Seznam.cz pro začínající firmy v TechSquare 8.10.2012
25
Jak funguje Seznam.cz Vyhledávání Tomáš Hlucháň
Transcript
Page 1: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Jak funguje Seznam.cz Vyhledávání Tomáš Hlucháň

Page 2: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

O čem to bude?

Page 3: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Fulltextové hledání

• Získání dokumentů

• Analýza a tvorba hledací databáze

• Vyhledání a prezentace výsledků

• Zpětná vazba

Page 4: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Fulltextové hledání

• Co je to “Index”

• Tvorba

• Údržba

• Hledání

Page 5: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Fulltextové hledání v internetu

Page 6: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Jak pracuje fulltextové hledání

WWW DOKUMENTY INDEX

?

Page 7: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Získání a uložení dokumentů

• Kolik dokumentů chceme mít?

• Jak efektivně stahovat dokumenty?

• Kam je uložíme?

• Jak často je budeme obnovovat?

Page 8: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Získání a uložení dokumentů

WWW

DOKUMENTY

DOWNLOADER

PLÁNOVAČ

ANALÝZA

Page 9: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Indexace

DOKUMENTY

FEEDER

INDEX

INDEXER

MERGE

INDEX

INDEXER

MERGE

Page 10: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Indexy pod lupou

• Složení indexu– seznam dokumentů a jejich atributy– seznam dokumentů pro každé slovo– extrakt textu dokumentů pro úryvky

• Druhy indexů– complete– daily– fresh

Page 11: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Hledání a prezentace výsledků

• zpracování uživatelského dotazu

• distribuované hledání

• prezentace výsledků

Page 12: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Hledání a prezentace výsledků

?Příprava dotazu

Hledání

INDEX

Page 13: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Pochopení dotazu

• doplnění diakritiky

• doplnění skloňovaných tvarů slov

• detekce čísel

• generování podobných slov

• desambiguace

• detekce zkratek

• ....

Page 14: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Strom dotazusip tmobile babybox weisser universita

Page 15: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Hledání - distribuované hledání

Příprava dotazu

A

A A

I

H

I

H

I

H

I

H

Page 16: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Hledání - prezentace výsledku

• seřazení

• generování úryvku (snippet)

• náhled

• zpětná vazba

Page 17: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Seznam.cz Vyhledávání

• Odkud přícházíme

• Kdo jsme

• Kam jdeme

Page 18: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Odkud přicházíme

• Rok = 2005

• Stroje = 11

• Lidé = 4

Page 19: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Kdo jsme

• Celkem 70 lidí

• 32 programátorů

• 16 produkt manažerů

• 12 výzkumníků

• 6 administrátorů

• 100 brigádníků

Page 20: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Kdo jsme

• Celkem 500 strojů

• 300 vyhledávání

• 150 robot

• 50 vývoj a výzkum

• 2 serverovny

Page 21: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Kdo jsme

• 500TB dat

• 50M dokumentů denně

• Rychlostí několik GBit/s

• Hledáme v 800M dokumentech

• 350 až 500 dotazů za sekundu

Page 22: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Kdo jsme

Page 23: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Kam jdeme

• “kniha o nemeckych tancich” ?

• Relevance

• Relevance

• Relevance

• Relevance

• …

Page 24: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Děkuji za pozornost…Tomáš Hlucháň

Page 25: Tomáš Hlucháň - Jak funguje Seznam.cz Vyhledávání

Recommended