Как да използвате Google Cloud Storage ефективно

Google Cloud Storage или GCS е инфраструктура като услуга, предоставяна от облачната платформа на google (GCP), за да се даде възможност за съхранение и достъп до неструктурирани данни във файлове. Разходите за съхранение и експлоатация на GCS са много ниски и понякога не се обмисляме толкова много. Ако GCS се използва правилно, можете да спестите пари и да получите по-добра производителност. Съставих някои важни информации, които трябва да бъдат известни, преди да използвате GCS.

Създаване на GCS кофа:

Bucket е коренният контейнер за съхранение на обекти и обектът е частта от данни, която е качена в кофа (т.е. /user/name/file.txt). GCS пита някои задължителни входове, преди да създаде кофа. Например, той пита:

  1. Име на кофата
  2. Клас на съхранение
  3. местоположение
Създаване на кофа

В тази статия обясних и указанията за предоставяне на информацията преди създаването на кофа.

Конвенция за именуване на кофата:

Тъй като всички кодове на GCS се намират в едно пространство за имена на хранилище в google, името на кофата трябва да бъде уникално в световен мащаб. Кофата, както и името на обекта не трябва да съдържа лична информация (PII) от съображения за безопасност.
За повече информация преминете през име на кофа.

Изберете подходящ клас за съхранение:

GCS предлага 4 вида клас на съхранение. Въз основа на случая на използване и достъпността е важно да изберете подходящ клас за съхранение, за да постигнете по-добра производителност и оптимална цена. Ето сравнението между класовете за съхранение:

Сравнение на класовете за съхранение

* Цената е показана за многорегиона в САЩ
 За архивиране на данни и съхраняване на исторически данни, Nearline или Coldline е най-добрият вариант, тъй като данните ще бъдат достъпни трудно. От друга страна, за честото стриймиране в реално време или за достъп до данни, мултирегионалният или регионалният клас е най-добрият вариант. Ако е объркващо да изберете клас, Регионалният е безопасна опция.

Изберете подходящо местоположение:

Изборът на подходящо местоположение на кофата зависи от местоположението на потребителя и източника на данни. За да получите оптимизиране на закъсненията, по-добрият потребител на честотна лента, източник на данни, кофата трябва да са на едно и също място. Тъй като мултирегионалният клас за съхранение предлага функция за съкращаване на данни, данните се копират в множество географски региони. Така че потребителят, източникът на данни, кофата трябва да са на едно и също мултирегионално място (us / asia / eu / eur4 / nam4), ако класът за съхранение е избран като мултирегионален.

Задаване на версия на кофа:

Версията на кофата трябва да бъде активирана, за да се осигури възстановяване на данни, ако някой обект бъде отстранен случайно. GCS е осигурил прост начин за управление на версията на обекта с помощта на gsutil команда. Ето няколко примера:

# вижте дали версията е активирана или не
Версията на gsutil получи gs: // 
#enable версия
gsutil версия за настройка на gs: // 
#check обект с размери
gsutil ls -a gs: //  / 
#recover обект от архивиран обект
gsutil cp gs: //  /  #  gs: // ‌  / 

Поставете стойността си <> когато стартирате командата. Допълнителни разходи ще бъдат добавени, ако е активирана версия на кофата.

Избягвайте последователни имена на файлове:

GCS поддържа лексикографски подреден индекс на обектните ключове за всяка група. Индексът се актуализира, когато обект се запише или изтрие от кофата. Ако в кофата се качват файлове с последователни имена, като имена на файлове на базата на времеви марки, вероятно същия сървър за сървър ще обработва заявките за качване на файлове и това ще се отрази на пропускателната способност.

Постепенно увеличавайте трафика:

Първоначално кофите имат IO капацитет около 1000 заявки за писане в секунда и 5000 заявки за четене в секунда. GCS има възможност да преразпределя натоварването на повече сървъри, когато открие, че натоварването се приближава до границата на IO. Но са необходими ред минути, за да се открие и преразпредели натоварването. Така че, ако скоростта на заявка в кофата се увеличи по-бързо, отколкото GCS може да извърши своето преразпределение, вашето приложение, което генерира честотата на заявката, ще се сблъска с по-голяма латентност и по-голяма степен на грешка за момента.

Освен това, ако искате автоматично да премахнете неподходящи данни след всеки фиксиран интервал от време, трябва да зададете политика за задържане в кофата. Политиката за достъп до кофата трябва да се поддържа внимателно, за да не се загубят данни случайно. В тази кратка статия За повече подробности прегледайте най-добрите практики за използване на GCS.