Google Colab yavaş mı?


#1

Merhaba,

Google Colab üzerinde eğittiğim model, 11 dakika sürerken, kendi laptopumun GPU’su(GTX 1050) üzerinde eğitme sürem 2.5 dakika. Model mimarilerim aynı ve iterasyon sayım aynı.

Task ise sentiment analysis(binary classification). İnternette araştırdığımda sorunun sebebinin Google Colab’ın veriyi drive’dan okuması dediler. Kullandığım veri toplam 1 GB bile değil. Aranızda önceden böyle bir yavaşlık ile karşılaşan var mı ve bu yavaşlığın çözümü nasıl olabilir?


#2

Google Colab sana özel bir ekran kartı vermiyor. Colab’da zilyon insanla aynı computational resource’u paylaşıyorsun. Haliyle şahsi bilgisayarın, Google Colab’da yoğunluğun çok olduğu zamanlara göre (bu da tahminim 7/24’tür) daha hızlı çalışabilir.

Colab üzerindne çözebileceğin bir şey olduğunu sanmam. Üstüne 1GB bile olmayan bir datayla çalışıyorsan, kendi bilgisayarında takıl zaten. Daha fazla hıza ihtiyacın da yok. Ha datanın boyutunu+algoritmanın kompleksliğini arttırmayı planlıyorsan ve bu yüzden huza ihtiyacın varsa da yabancıların “there is no free lunch”, bizim de “ne kadar ekmek o kadar köfte” olarak çevirdiğimiz söz devreye giriyor. Parasını verip, gpu/tpu’lu server alıcaksın (ki ilk etapta google’da microsoft’ta bir aylık deneme imkanı veriyor).


#3

Merhaba ,
Colab uzerinde GPU yu altive ettiniz degil mi ? ucretsiz Tesla K80 veriyor google

https://colab.research.google.com/notebooks/gpu.ipynb#scrollTo=3IEVK-KFxi5Z


#4

Merhabalar
Kendi tecrübelerimden yola çıkarsam . Daha önce 1gb boyutunda bir datayı "sdd mdoel " eğitmek için colab kullandığımda aynı sorunu bende yaşamıştım. Bundan dolayı colab’ın kendi diskini kullanmanızı öneririm . Kendi drive’nızın hızı colab hızını çok yavaşlatıyor. Hatta performansı o belirliyor.

Çözüm için öneri : eğer datanız bir yerden indirilebiliyorsa colab diskine indirebilirsiniz. İndirme hızı çok iyi , ben şahsen 2-3 gb boyutundaki datayı hemen indiriyorum.Tabi her seferinde colab resetlenince yeniden indirmeniz gerekecek.