Je s3 založený na HDFS?
Je s3 založený na HDFS?

Video: Je s3 založený na HDFS?

Video: Je s3 založený na HDFS?
Video: Что такое big data hadoop? Лучший big data hadoop учебник для начинаю... 2024, November
Anonim

S3 je vlastne nekonečné úložisko v cloude, ale HDFS nie je. HDFS je hosťovaný na fyzických počítačoch, takže tam môžete spustiť akýkoľvek program. Nemôžete nič vykonať S3 ako jeho len Object Store a nie FS.

Potom je s3 distribuovaný súborový systém?

S3 nie je a distribuovaný súborový systém . Je to sklad binárnych objektov, ktorý ukladá údaje v pároch kľúč – hodnota. Je to v podstate typ databázy NoSQL. Každý segment je nová „databáza“, pričom kľúče sú vašou „cestou k priečinku“a hodnotami sú binárne objekty ( súbory ).

Niekto sa môže tiež opýtať, je AWS založený na Hadoop? Hadoop je rámec, ktorý pomáha spracovávať veľké súbory údajov na viacerých počítačoch. Zahŕňa Map/Reduce (paralelné spracovanie) a HDFS (distribuovaný súborový systém). AWS je dátový sklad postavený na vrchole proprietárnej technológie pôvodne vyvinutej spoločnosťou ParAccel.

Okrem toho, ako prenesiem súbory z s3 do HDFS?

Odpoveď. Neexistuje žiadny priamy spôsob kopírovania súborov z S3 do HDFS bez toho, aby ste prešli miestnym súbory . Môžete však použiť komponent tSystem v štandardnej úlohe na volanie natívneho Hadoop príkaz, ktorý zvyčajne používate kopírovať súbory , napríklad, s3 -dist-cp.

Čo je databáza S3?

Amazon S3 alebo Amazon Simple Storage Service je služba ponúkaná spoločnosťou Amazon Web Services (AWS), ktorá poskytuje ukladanie objektov prostredníctvom rozhrania webovej služby. Amazon S3 používa rovnakú škálovateľnú úložnú infraštruktúru, akú používa Amazon.com na prevádzku svojej globálnej siete elektronického obchodu.

Odporúča: