Tento web používá soubory cookie. Dalším používáním webu s tímto souhlasíte.
jméno
heslo
přihlásit
zaregistrujte se
zapomněli jste heslo?
Machine Learning | Strojové učení | In Machines We Trust | Víra v mechanickou bestii
RUDOLF
Pokec kolem machine learning.

Machine learning komunita v čechách žije kolem MLMU.
http://www.mlmu.cz
http://www.meetup.com/Prague-Machine-Learning/

Kurzy
https://www.coursera.org/courses?query=machine%20learning
Máte k tomu co říct? Vložte se do diskuze.
THEODORT --- 10:19:44 1.7.2020
MATHEZ: jsem myslel ze tam delas prave taky.. :D
MATHEZ --- 10:19:12 1.7.2020
THEODORT: no ja to prodavam, udelali to kluci z DataVision :]
THEODORT --- 1:08:28 1.7.2020
MATHEZ: v angularu ez af.. ;D
tedy server, na nem par api napojenych na db - lokal/private/cloud/whatever, k tomu lehci overload frontendu potrebnejma js knihovnama typu d3, three kterej zajisti jak upravy datasetu , anotaci, tak upload, pripadne cokoliv k cemu si kdyztak dodelas dalsi api..
Halcon netusim, to vite vy..

vzdyt to mas celkem vymysleny jak to tak ctu :)
MATHEZ --- 0:34:03 1.7.2020
THEODORT: tak jasne databaze, myslim to tak mit mongo v kontejneru s GUIckem pro
- definici a nastaveni jakou strukturu ma mit tvuj dataset (n obrazku na objekt + JSON)
- lokalne/privatne nebo v GCP nebo AWS pro prohlizeni datasetu a jeho anotaci uzivateli ve vrstvach nad obrazky, nejaky user management
- prostredi pro easy upload aktualizaci&testovani jak lokalne tak v cloudu
- gateway do Halconu

tohle cely jako service
THEODORT --- 17:20:22 30.6.2020
MATHEZ: jak to presne myslis? urcite databaze, kazdopadne s par detailama, ktery jsou klicovy pro cokoliv dalsiho. tzn napr hlavni db kde mas cesty k fs, nejaky zakladni info o tom kam to vede.. a na to navazany ty tvy datasety.. nasledne mas pomerene rozsahle moznosti jak jedno ci druhe dostat k userum. Ale mozna se ptas taky na neco trochu jineho? kdyztak posta nebo kafe ;D

btw pro nas chudy delny lid je zpravidla dobry si takovyhle veci nejdriv testovat napriklad v google cloud platform, free tier.. https://cloud.google.com/free tak jestli to nema nejaky pruseciky trebas
MATHEZ --- 16:48:53 30.6.2020
cus, muzu se zeptat jak si resite praci s datasety co obsahuji obrazova data?
ukladani, anotaci, testovani na edgi a v cloudu, vyhledavani, atp
Pripravujeme launch puvodne interniho nastroje a pomaloucku polehoucku zaciname hledat uzivatele.
JINX --- 17:57:47 21.4.2020
Existuje nejaky tool/scheduler pro spousteni kodu napsaneho v TF nebo PyTorch? Predstavuju si to nejak tak, ze mam sadu experimentu, ty poslu na stroj. Ten je bude postupne vykonavat a postupne mi vracet vystupy pro jednotlive experimenty. Jde mi o co nejjednodussi automatizaci.
MATHEZ --- 11:50:25 3.4.2020
SOPTIK: brutalni chyby, datasety s rentgenama jsou dobry pro stavbu generatoru nesmyslu :]
KYRKYJ --- 13:51:46 4.3.2020
ICARUS: Před nějakou dobou jsme dělal finetuning BERTa, používal jsme na to transformers knihovnu: https://github.com/huggingface/transformers, ta obsahuje i GPT-2.
Předtím jsem zkoušel implementaci BERTa v tensorflow, a ta při tréninku potřebovala výrazně víc paměti než ty transformers v pytorchi. To je nejspíš tím, že velkou část paměti spotřebuje první embedding vrstva (token do vektoru). Tensorflow si nejprve připraví celý výpočetní graf, tj. alokuje paměť pro gradient u každého token embeddingu. Pytorch naopak výpočetní graf vytváří "define-by-run" přístupem, tj. alokuje pameť jen když jí bude používat. Při každém batchi použiješ jen pár tokenů -> pytorch potřeboval výrazně méně paměti (asi 6GB vs 16GB).
Asi by to šlo udělat i v tensorflow (2.0) použitím eager execution.
Jinak těch 300$ jsi spočítal z toho že víš jak dlouho chceš trénovat? Na AWS je gpu instance s Teslou asi od 1$ / hod. myslím, na google cloudu to bude podobně. Existují i tzv. spot instance (https://aws.amazon.com/ec2/spot/pricing/), které jsou několikrát levnější, ale nemáš zaručené že ti jí během běhu neshodí (ale když pořešíš nějaké průběžné ukládání pro tento případ, tak asi můžeš dost ušetřit.)
ICARUS --- 12:59:34 4.3.2020
Mate nekdo zkusenost s finetuningem GPT-2? Mam tu cca 20M text, pres ktery bych chtel GPT-2 preucit a nasledne pouzivat na generovani textu. Zatim pouzivam skvely python wrapper gpt-2-simple, ale momentalne bojuji s HW. Mam tu 2070, na ktere (pres Docker) provozuju Tensorflow, ale jsem schopen pouzit jen zakladni 124M model. Uz 355M model je znacne nestabilni, protoze se mi nevejde do VRAM.

Premyslel jsem, ze bych zkusil finetuning nekde v Cloudu, nejspis na Google Compute Engine, ale ty ceny jsou dost krvave (Za Teslu T4 chteji asi $300). Mate s tim nekdo prakticke zkusenosti?