Hotmail dobiva novi sustav za pohranu - što ga čini još bržim!

Hotmail dobiva novi sustav za pohranu - što ga čini još bržim!
Hotmail dobiva novi sustav za pohranu - što ga čini još bržim!

Video: Hotmail dobiva novi sustav za pohranu - što ga čini još bržim!

Video: Hotmail dobiva novi sustav za pohranu - što ga čini još bržim!
Video: EXPORTING your Apple Photo files on your MAC - EVERYTHING YOU NEED TO KNOW! - YouTube 2024, Svibanj
Anonim

Svakog dana Hotmail prima milijarde poruka e-pošte, a one moraju biti sigurno pohranjene i moraju biti dostupne na učinkovit način. Hotmailov sustav pohrane koji se temelji na oblaku podržava više od jedne milijarde poštanskih sandučića i stotina petabajta podataka (petabyte je milijun gigabajta). I za obradu stotina tisuća simultanih transakcija učinkovito na ovoj razini je inženjerski izazov. Sustav pohrane izgrađen je pomoću Microsoftove tehnologije, uključujući Windows Server i Microsoft SQL Server.

Microsoft radi na velikoj nadogradnji ovog sustava za pohranu podataka. Od početka ove godine novi sustav koji se temelji na tehnologijama razvijenim u Hotmailu pokreće se u pilot klasteru koristeći osobne račune zaposlenika tvrtke Microsoft. I nakon strogih ispitivanja novi sustav je certificiran što osigurava bolju pouzdanost po znatno nižoj cijeni.

Pogledajmo neke od ovih novih tehnologija koje koristi tvrtka Hotmail.

Implementacija JBOD zamjene RAID-a:

"RAID (redundantni niz jeftinih diskova) tehnologija je koja omogućava da se nekoliko hard diskova priključe na jednu ploču kontrolera, što ih čini sličnim jednim većim i mnogo pouzdanijim hard diskom (ponekad zvanim" logička jedinica ") softver koji pokreće sustav za pohranu."

Hotmail već dugo koristi RAID. E-pošta se čuvala na više RAID grupa tako da čak i kada cijeli RAID ne uspije, poruke se mogu vratiti. Hotmail je proučavao perspektivu pouzdanosti pogona kapaciteta veći od 1 terabajt i utvrdio da vrijednost novca nije vrijedna s gledišta pouzdanosti. Budući da RAID sustavi lako se bave problemima koji utječu na pojedini sustav, ali ne i kada cijeli stroj ili RAID kontroler naiđu na probleme. Hotmail je otkrio da kopiranje na drugom stroju koji ne dijeli kontroler nije samo pouzdan, ali jeftin i jeftiniji od konfiguracije RAID-a.
Hotmail već dugo koristi RAID. E-pošta se čuvala na više RAID grupa tako da čak i kada cijeli RAID ne uspije, poruke se mogu vratiti. Hotmail je proučavao perspektivu pouzdanosti pogona kapaciteta veći od 1 terabajt i utvrdio da vrijednost novca nije vrijedna s gledišta pouzdanosti. Budući da RAID sustavi lako se bave problemima koji utječu na pojedini sustav, ali ne i kada cijeli stroj ili RAID kontroler naiđu na probleme. Hotmail je otkrio da kopiranje na drugom stroju koji ne dijeli kontroler nije samo pouzdan, ali jeftin i jeftiniji od konfiguracije RAID-a.

Tako su razvili JBOD (samo hrpu diskova) gdje se kopije podataka nalaze na nezavisnim tvrdom disku, kontroleru i strojevima. Tako je kontroler tvrdog diska gotovo potpuno isključen i predao je softveru za kontrolu. Ovaj softver JBOD sustava razvio je Hotmail.

Ovaj JBOD softver neprestano prati kvarove i podiže upozorenje kada se pronađe, što pokreće postupak popravka. Ovaj proces popravka može biti ponovno podizanje stroja ili ponovno pokretanje procesa, popravljanje korupcije podataka ili čak uključivanje ljudske intervencije ako je potrebno. Glavna prednost korištenja softvera je da može održavati dobre primjerke mailova koji određuju prioritetnu akciju popravka ako pronađe manje primjeraka. Koristeći ovaj softver, sama replikacija je pojednostavljena
Ovaj JBOD softver neprestano prati kvarove i podiže upozorenje kada se pronađe, što pokreće postupak popravka. Ovaj proces popravka može biti ponovno podizanje stroja ili ponovno pokretanje procesa, popravljanje korupcije podataka ili čak uključivanje ljudske intervencije ako je potrebno. Glavna prednost korištenja softvera je da može održavati dobre primjerke mailova koji određuju prioritetnu akciju popravka ako pronađe manje primjeraka. Koristeći ovaj softver, sama replikacija je pojednostavljena

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Provedba čvrstih statičkih pogona (SSD) umjesto tvrdih diskova.

Znamo da su SSD-ovi mnogo brži od tvrdih diskova. Tvrdi pogoni, iako veći i jeftiniji, spor su u upravljanju brzinom zahtjeva.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Iako ova brzina dolazi po cijeni jer su skuplji / gigabajt u odnosu na tvrde diskove.

SSD-ovi se učinkovito obrađuju sve mijenjajuće opterećenje. To se može objasniti jer Hotmail ne samo da pohranjuje poruke e-pošte, već i bilježi različite metapodatke koje se neprestano mijenjaju, kao što su popis poruka u pristigloj pošti, čitanje / nepročitano stanje poruka, nizanje razgovora itd. Metapodaci ipak zauzimaju mali dio prostora za pohranu stavlja maksimalno opterećenje na tvrde diskove zbog sve većih promjena prirode. Stoga se SSD-ovi za spremanje metapodataka i tvrdih diskova za poruke čine bolju i učinkovitiju kombinaciju.

Osim ovih poboljšanja, Hotmail će otkriti mnogo više u budućim postovima. Uspostava sustava za pohranu već je započela, a novi klasteri će se temeljiti na JBOD-u. Na JBOD-u se već 30 milijuna korisnika nalazi, a još 100 milijuna će se kretati tijekom vremena.
Osim ovih poboljšanja, Hotmail će otkriti mnogo više u budućim postovima. Uspostava sustava za pohranu već je započela, a novi klasteri će se temeljiti na JBOD-u. Na JBOD-u se već 30 milijuna korisnika nalazi, a još 100 milijuna će se kretati tijekom vremena.

Ako ste primijetili, Hotmail je postao stvarno brz. Ako niste - pokušajte sada.

Preporučeni: