Google Colab Free GPU qo'llanmasi

Endi siz Google Colab Laboratoriyasi yordamida Keras, Tensorflow va PyTorch-dan foydalanib, bepul Tesla K80 GPU-da chuqur o'rganish dasturlarini ishlab chiqishingiz mumkin.

Salom! Men sizga Google Colab-dan qanday foydalanishni ko'rsataman, Google AI ishlab chiquvchilari uchun bepul bulut xizmati. Colab yordamida siz GPU-da bepul o'rganish dasturlarini ishlab chiqishingiz mumkin.

KDnuggets uchun rahmat!

Ushbu blog posti 2018 yil fevral uchun KDnuggets Silver Blog sifatida tanlanganligini e'lon qilishdan mamnunman! Buni KDnuggets-da o'qing.

Google Colab nima?

Google Colab - bepul bulutli xizmat va endi u bepul GPU-ni qo'llab-quvvatlaydi!

Siz .. qila olasiz; siz ... mumkin;

  • Python dasturlash tilini kodlash ko'nikmalarini yaxshilang.
  • Keras, TensorFlow, PyTorch va OpenCV kabi mashhur kutubxonalar yordamida chuqur o'rganish dasturlarini ishlab chiqish.

Colab-ni boshqa bepul bulut xizmatlaridan ajratib turadigan eng muhim xususiyat; Colab GPU-ni ta'minlaydi va mutlaqo bepul.

Xizmat haqida batafsil ma'lumotni faq sahifasida topish mumkin.

Google Colab-dan foydalanishga tayyor bo'lish

Google Drive-da jild yaratish

Colab o'zingizning Google Drive-da ishlayotganligi sababli, avval biz ishlaydigan papkani ko'rsatishingiz kerak. Men Google Drive-da "ilova" nomli papka yaratdim. Albatta, siz ilovalar papkasining o'rniga boshqa nomdan foydalanishingiz yoki odatiy Colab noutbuklari papkasini tanlashingiz mumkin.

Bo'sh

Yangi Colab daftarchasini yaratish

O'ng chertish orqali> Qo'shimcha> Laboratoriya orqali yangi daftar yarating

O'ng tugmachani bosing> Qo'shimcha> Laboratoriya

Fayl nomini bosish orqali daftar nomini o'zgartiring.

Bepul GPU o'rnatilmoqda

Standart uskunani (CPUni GPU yoki aksincha) o'zgartirish juda oddiy; shunchaki tahrirlash> Noutbuk daftari sozlamalari yoki Runtime> Ish vaqti turini o'zgartiring va GPU-ni Apparat tezlashtiruvchisi sifatida tanlang.

Google Colab yordamida asosiy Python kodlarini ishga tushirish

Endi biz Google Colab-dan foydalanishni boshlashimiz mumkin.

Python Numpy Tutorial-dan ba'zi asosiy ma'lumotlar turlari kodlarini ishlataman.

Bu kutilganidek ishlaydi :) Agar siz AI uchun eng mashhur dasturiy til bo'lgan Pythonni bilmasangiz, men ushbu oddiy va toza darslikni tavsiya qilaman.

Google Colab yordamida .py fayllarini ishlatish yoki import qilish

Avval zarur kodlarni o'rnatish va avtorizatsiya qilish uchun ushbu kodlarni ishga tushiring.

Yuqoridagi kodni ishlatsangiz, natijani quyidagicha ko'rishingiz kerak:

Havolani bosing, tasdiqlash kodini nusxa oling va matn maydoniga qo'ying.

Avtorizatsiya jarayoni tugallangandan so'ng, quyidagilarni ko'rishingiz kerak:

Endi siz Google Drive-ga:

Kerasni o'rnatish:

! pip o'rnatish -q keras

mnist_cnn.py faylini Google Drive-da joylashgan ilova papkasiga yuklang.

mnist_cnn.py fayli

MNIST ma'lumotlar bazasida oddiy konvnetni o'rgatish uchun quyidagi kodni ishlating.

! python3 "/ content / drive / My Drive / app / mnist_cnn.py"

Natijalardan ko'rinib turibdiki, har bir davr atigi 11 soniya davom etadi.

Titanik ma'lumotlar bazasini (.csv fayl) yuklab oling va birinchi 5 qatorni ko'rsating

Agar siz url-dan "app" papkasiga .csv faylini yuklab olishni xohlasangiz, oddiygina bajaring:

! wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P "/ content / drive / My Drive / app"

Siz .csv fayllaringizni to'g'ridan-to'g'ri "ilova" jildiga yuklashingiz mumkin.

"App" papkasida .csv faylini o'qing va birinchi 5 qatorni ko'rsating:

pandalarni pd sifatida import qilish
titanik = pd.read_csv ("/ content / drive / My Drive / app / Titanic.csv")
titanik.head (5)

Google Colab-ga Github Repo-ni klonlash

Gitub bilan Repitoni Git bilan klonlash oson.

1-qadam: Github Repo-ni toping va "Git" havolasini oling

Github repo-ni ishlatish uchun toping.

Masalan: https://github.com/wxs/keras-mnist-tutorial

Clone yoki download> Havolani nusxalash!

2. Git Clone

Sodda ishlating:

! git kloni https://github.com/wxs/keras-mnist-tutorial.git

3. Google Drive-da papkani oching

Albatta Github repo bilan papka bir xil bo'ladi :)

4. Daftarchani oching

O'ng tugmasini bosing> Ochish> Laboratoriya

5. Yugurish

Endi siz Google Colab-da Github repo-ni ishlatishingiz mumkin.

Ba'zi foydali maslahatlar

1. Kutubxonani qanday o'rnatish kerak?

Keras

! pip o'rnatish -q keras
import keralari

PyTorch

os import yo'lidan
wheel.pep425tag dan import get_abbr_impl, get_impl_ver, get_abi_tag
platforma = '{} {} - {}' formati (get_abbr_impl (), get_impl_ver (), get_abi_tag ())
path.existic mavjud bo'lsa ('/ opt / bin / nvidia-smi') else 'cpu' bo'lsa, akselerator = 'cu80'.
! pip o'rnatmoq
import mash'alasi

yoki buni sinab ko'ring:

! pip3 mash'alasini o'rnatadi

MxNet

! apt o'rnatish libnvrtc8.0
! pip o'rnatish mxnet-cu80
mxnet-ni mx sifatida import qiling

OpenCV

! apt-get -qq o'rnatish -y libsm6 libxext6 va & pip o'rnatish -q -U opencv-python
import cv2

XGBoost

! pip o'rnatish -q xgboost == 0.4a30
import xgboost

GrafViz

! apt-get -qq o'rnatish -y grafviz && pip o'rnatish -q pydot
import pydot

7zip Reader

! apt-get -qq o'rnatish -y libarchive-dev && pip o'rnatish -q -U libarxiv
import liberal

Boshqa kutubxonalar

! pip install yoki! apt-get o'rnatish, boshqa kutubxonalarni o'rnatish uchun.

2. GPU ishlaydimi?

Agar siz hozirda Colab-da GPU-dan foydalanayotgan bo'lsangiz, tekshirish uchun siz quyidagi kodni ishlatishingiz mumkin:

import tensorflow tf sifatida
tf.test.gpu_device_name ()

3. Men qaysi GPU-dan foydalanaman?

tensorflow.python.client import device_lib-dan
device_lib.list_local_devices ()

Hozirda Colab faqat Tesla K80ni taqdim etadi.

4. Operativ xotira haqida nima deyish mumkin?

! mushuk / proc / meminfo

5. CPU haqida nima deyish mumkin?

! mushuk / proc / cpuinfo

6. Ishchi ma'lumotnomani o'zgartirish

Odatda ushbu kodni ishlatsangiz:

! lar

Ehtimol siz datalab va haydovchi papkalarini ko'rasiz.

Shuning uchun har bir fayl nomini aniqlashdan oldin siz drayv / ilovalarni qo'shishingiz kerak.

Ushbu muammodan xalos bo'lish uchun siz oddiygina ishlaydigan katalogni o'zgartirishingiz mumkin. (Ushbu qo'llanmada men ilovalar papkasiga o'zgartirdim) ushbu oddiy kod bilan:

import os
os.chdir ("disk / ilova")

Yuqoridagi kodni ishga tushirgandan so'ng, agar siz yana ishlatsangiz

! lar

Siz ilova jildlarining tarkibini ko'rasiz va bundan buyon haydovchi / ilovalarni har doim qo'shib qo'yishingiz shart emas.

7. "GPU bilan hech qanday dastur mavjud emas" Xato echimi

Agar siz ushbu xatoga duch kelsangiz:

Sentend tayinlanmadi
GPU-ni ishlatib bo'lmaydigan Ishlash vaqtini tezlatgichsiz ishlatmoqchimisiz?

Birozdan keyin qayta urinib ko'ring. Hozirda ko'p odamlar GPU-larning shinalarini tepishmoqda va bu xabar barcha GPU-lar ishlatilayotganda paydo bo'ladi.

Malumot

8. Barcha hujayralarning chiqishlarini qanday tozalash kerak

Asboblarni kuzatib boring >> Buyruqlar palitrasi >> Barcha natijalarni tozalang

9. "apt-key chiqishi sintaktik tahlil qilinmasligi kerak (stdout terminal emas)" Ogohlantirish

Agar siz ushbu ogohlantirishga duch kelsangiz:

Diqqat: apt-key chiqishi sintaktik tahlil qilinmasligi kerak (stdout terminal emas)

Bu autentifikatsiya allaqachon bajarilganligini anglatadi. Faqat Google Drive-ni ulashingiz kerak:

! mkdir -p haydovchi
! google-drive-ocamlfuse drayveri

10. Google Colab yordamida Tensorboard-dan qanday foydalanish kerak?

Ushbu reponi tavsiya qilaman:

https://github.com/mixuala/colab_utils

11. Google Colab-ni qanday qayta ishga tushirish kerak?

Virtual mashinangizni qayta yoqish (yoki qayta o'rnatish) uchun oddiygina ishlating:

! o'ldir -9 -1

12. Google Colab-ga qanday shakl qo'shish kerak?

Kodingizda har safar giperparametrlarni o'zgartirmaslik uchun siz shunchaki shaklni Google Colab-ga qo'shishingiz mumkin.

Masalan, men o'rganish_rate o'zgaruvchisi va optimizer qatorini o'z ichiga olgan shaklni qo'shdim.

13. Funktsiya argumentlarini qanday ko'rish mumkin?

TensorFlow, Keras va hokazolarda funktsiya argumentlarini ko'rish uchun funktsiya nomidan keyin savol belgisini (?) Qo'shing:

Endi siz asl hujjatlarni TensorFlow veb-saytini bosmasdan turib ko'rishingiz mumkin.

14. Katta fayllarni Colab-dan Google Drive-ga qanday yuborish mumkin?

15. Google Colab-da Tensorboard-ni qanday ishlatish kerak?

Agar siz Google Colab-da Tensorboard-ni ishlatmoqchi bo'lsangiz, quyidagi kodni ishlating.

Siz yaratgan ngrok.io URL-sahifasi yordamida Tensorboard jurnalingizni kuzatishingiz mumkin. Chiqish oxirida URL-ni topasiz.

E'tibor bering, sizning Tensorboard jurnalingiz tb_logs dir-ga saqlanadi. Albatta, siz katalog nomini o'zgartirishingiz mumkin.

Shundan so'ng biz Tensorboard-ni amalda ko'rishimiz mumkin! Quyidagi kodni ishlatgandan so'ng, siz ngrok URL orqali Tensorboard jurnallarini kuzatishingiz mumkin.

Tensorboard :)

Xulosa

O'ylaymanki, Colab butun dunyo bo'ylab chuqur o'rganish va AI tadqiqotlariga yangi nafas olib keladi.

Agar siz ushbu maqolani foydali deb bilsangiz, uni qarsak chalib, boshqalarga uni topishda yordam berishingiz bilan baham ko'rsangiz, bu ko'p ma'noni anglatadi! Va quyida izoh qoldirish uchun bepul.

Siz meni Twitter-dan topishingiz mumkin.

So'nggi eslatma

Ushbu blog posti doimiy ravishda yangilanib turadi.

Changelog

26-01–2018

  • "Yo'lga ilova papkasini qo'shish" olib tashlandi
  • ".Csv faylini yuklab olish, o'qish va namoyish qilish" qo'shildi
  • "Ba'zi foydali maslahatlar" qo'shilgan

27-01–2018

  • "Ishchi ma'lumotnomani o'zgartirish" qo'shildi

28-01–2018

  • "Github Repo-ni Google Colab-ga klonlash" qo'shildi
  • "Pip install mxnet" qo'shildi

29-01–2018

GPU-ni ishlatib bo'lmaydigan Xato echimi qo'shildi

2-02–2018

  • "MxNet O'rnatish" o'zgartirildi (CPU GPU-ga)

5-02–2018

  • "Barcha hujayralardagi natijalarni qanday tozalash kerak" qo'shilgan
  • apt-key chiqishi sintaktik tahlil qilinmasligi kerak (stdout terminal emas) ogohlantirish qo'shildi

11-02–2018

  • "Google Colab bilan Tensorboard-dan qanday foydalanish kerak" qo'shilgan

20-02–2018

  • KDnuggets ushbu qo'llanmani qayta joylashtirdi.

28-02–2018

  • "Google Colab-ni qanday qilib qayta ishga tushirish kerak?"

9-03–2018

  • Qanday qilib Google Colab-ga shaklni qo'shish kerak? qo'shildi

21-03–2018

  • Funktsiya argumentlarini qanday ko'rish mumkin? qo'shildi

20–05–2018

  • PyTorch o'rnatilishi yangilandi

18-08–2018

  • Katta fayllarni Colab-dan Google Drive-ga qanday yuborish kerak qo'shildi

19-08–2018

  • Google Colab-da Tensorboard-ni qanday ishlatish kerakligi qo'shildi

28-09–2018

  • Haqiqiylik va Google Drive-ni o'rnatish jarayoni o'zgartirildi