Lo stato del deep learning: da una prospettiva di sviluppatore e VC
Pubblicato: 2017-09-05Nikhil Kapur discute lo stato del deep learning, prima come sviluppatore studente e ora come VC
Ho trascorso un sabato in un seminario di deep learning e TensorFlow presso il gigantesco ufficio di livello 3 di Unilever Foundry e Padang.co. È stata una giornata divertente immergersi di nuovo nel mondo degli sviluppatori e mi sono piaciute tutte le conversazioni con i miei compagni di tavolo, uno di loro gestisce un'azienda di famiglia e ha imparato il ML/apprendimento approfondito come hobby (è un appassionato di programmazione) e l'altro da Il dipartimento marketing di Zalora cerca di applicare un po' di intelligenza artificiale nel suo lavoro.
Abbiamo iniziato con la configurazione di TensorFlow e Keras (un'astrazione su TensorFlow) sulle nostre macchine, quindi abbiamo iniziato ad armeggiare con alcuni dei problemi comuni di deep learning ed esempi come l'utilizzo del set di dati MNIST. Partendo da un semplice piccolo modello NLP per il riconoscimento del testo, ci siamo tuffati in Convolutional Neural Networks , che si è rivelato davvero divertente con cui giocare.
Stavamo utilizzando modelli pre-addestrati standard, come Inception V3, ma stavamo giocando con i nostri set di dati e riqualificando il modello per risolvere diversi problemi come "È un gatto o un cane?" L'obiettivo della classe era comprendere le basi del deep learning e sperimentare parametri e funzionalità. Se ormai ti senti geloso, allora ti suggerisco di andare a giocare con playground.tensorflow.org, è stata la parte più facile del workshop da ottenere!
Un grande ringraziamento a Sam Witteveen e Martin Andrews per aver organizzato tutto questo. Racconto qui alcune delle prospettive con cui sono venuto fuori e in cui vedo il deep learning e l'IA in generale, specialmente da una prospettiva VC.
Deep Learning dal punto di vista di uno sviluppatore
Per dare un po' di background, ho avuto la mia discreta esposizione all'"AI". Nel secondo anno di college, ho fatto uno stage presso la divisione Technology Consulting di Deloitte. Insieme al mio amico Ujjwal Dasgupta, che in seguito ha frequentato un Master in ML e ora lavora in Google, ho passato un paio di mesi a sfornare un processo ETL (Extract-Transform-Load) migliorato su IBM Datastage, un software di Data Warehousing. A quel tempo, Ujjwal, che era sempre molto più lungimirante di me, mi ha introdotto al data mining e ho iniziato a seguire le lezioni e i corsi online di Andrew Ng.
La prossima estate, incuriosito dal tempo che avevo già dedicato all'argomento, ho voluto approfondire il ML. Ho avuto la fortuna di essere assegnato a un progetto in Mozilla per migliorare le prestazioni di Firefox utilizzando un compilatore basato sull'apprendimento automatico: Milespot GCC. Usando questo compilatore ML, sono stato in grado di compilare il codice di Mozilla Firefox per ottenere un miglioramento di circa il 10% nel tempo di caricamento del programma.
E poi per la mia tesi finale, non c'era modo di lasciar andare ML. Ho collaborato con DFKI, l'Istituto Tedesco per l'Intelligenza Artificiale, per lavorare su un progetto estremamente impegnativo, utilizzando una semplice webcam per il tracciamento oculare. Il team di DFKI lo utilizzava per una particolare applicazione, Text 2.0. Stavano usando una speciale telecamera HD per tracciare i tuoi occhi e di conseguenza aumentare il testo con funzioni fantastiche come lo scorrimento automatico, la traduzione automatica, il dizionario popup, ecc.
Abbiamo deciso di fare lo stesso con una semplice webcam perché nessuno in India aveva i soldi per comprare quella speciale videocamera HD. Per essere precisi, non ci siamo riusciti, raggiungendo solo circa il 70% di precisione nel nostro monitoraggio. Ma era uno dei progetti più eccitanti su cui avevo lavorato.
Raccomandato per te:
Come Metaverse trasformerà l'industria automobilistica indiana
Cosa significa la disposizione anti-profitto per le startup indiane?
In che modo le startup Edtech stanno aiutando la forza lavoro indiana a migliorare le competenze e a diventare pronte per il futuro...
Azioni tecnologiche new-age questa settimana: i problemi di Zomato continuano, EaseMyTrip pubblica stro...
Le startup indiane prendono scorciatoie alla ricerca di finanziamenti
Piattaforma di marketing digitale Logicserve Borse INR 80 Cr Finanziamenti, rinomina come LS Dig...
Allora perché ti sto annoiando con i dettagli di questo? Principalmente per darti un po' di storia su dove si trovava l'IA quando stavo macinando la mia ingegneria. Anche decenni fa esistevano già il deep learning e il ML, ma è solo negli ultimi 10 anni che il campo ha visto il suo raggiungimento della maggiore età. Cosa è cambiato esattamente negli ultimi anni?
Bene, per esempio, la legge di Moore ci ha portato a un punto in cui il costo di archiviazione ed elaborazione è diventato minimo per qualcuno che implementasse il ML a casa propria. Ora puoi eseguire praticamente tutti i modelli di base sulla tua macchina e, se acquisti una buona GPU (che non è più così costosa), puoi ottimizzare il tuo tempo di calcolo di quasi 10 volte per essere in grado di eseguire modelli complessi.
La rivista Wired ha un ottimo pezzo su questo cambiamento.
Numero di transistor in chip durante l'anno (notare che l'asse Y è scala logaritmica!). Fonte: Sistemi assicurati
Un'altra cosa che è cambiata è che le aziende hanno capito la necessità di automatizzare. Di conseguenza, mentre l'attività di fusione e acquisizione nel campo è aumentata enormemente, i VC hanno versato denaro nel campo negli ultimi 5 anni.
Prospettive degli investitori sull'apprendimento profondo
Quindi, a che punto siamo ora e come dovrebbe un investitore o una startup vedere questo ronzio estremo dell'IA? A mio avviso, ci sono quattro aspetti chiave in una startup AI, che devono tutti unirsi per formare un'azienda forte.
- Talento: Tutto inizia qui. Mentre in una startup il team è ovviamente l'aspetto più importante, in una startup AI è il vero motore dell'azienda. L'accesso a un forte talento nella scienza dei dati e nell'ingegneria informatica per mettere a punto questi modelli predefiniti sarà fondamentale per le startup di intelligenza artificiale, ed è per questo che è probabile che le startup statunitensi e cinesi abbiano un vantaggio in altre aree geografiche. Singapore ha una piccola fetta di talento nella scienza dei dati ed è probabile che sia un buon posto per avviare la tua azienda di intelligenza artificiale. Detto questo, il miglior talento finirà probabilmente per andare dai giganti della tecnologia sia organicamente che inorganicamente. L'acquisizione di DeepMind da parte di Google è stata esattamente questa, un gioco per acquisire alcune delle migliori menti del Deep Learning.
- Dati: se il team è il motore, i dati sono la benzina in un avvio di intelligenza artificiale. Senza grandi quantità di dati puliti e strutturati, è improbabile che tu possa ottenere una precisione dal tuo sistema addestrato che ostacola le applicazioni aziendali. A causa della dipendenza fondamentale delle capacità di previsione di un modello dai dati immessi, è probabile che le aziende su larga scala abbiano un vantaggio significativo rispetto alle start-up su piccola scala nella creazione di sistemi migliori e più accurati. Questo è un pensiero preoccupante e l'unico modo per rompere gli schemi sarà generare e sfruttare i tuoi dati proprietari. Un sistema di record come Salesforce sarà estremamente critico sotto questo aspetto.
- Modello: tutti i grandi giganti della tecnologia stanno attualmente lanciando i propri sistemi di intelligenza artificiale (piattaforma di sviluppo, librerie, modelli addestrati) per creare LA piattaforma per lo sviluppo dell'IA di domani. È ancora da stabilire chi vincerà la guerra, ma la necessità di creare modelli da zero prima o poi sarà superata. Solo per i sistemi veramente complessi sarebbe necessario iniziare a costruire i tuoi modelli dalle basi, ma nella maggior parte dei casi, il tuo data scientist sarà in grado di riutilizzare i modelli standard e riqualificarli utilizzando i propri dati. Come fai a sapere che hai raggiunto il miglior modello possibile? Numerai, sostenuta da Union Square Ventures, sta affrontando questo problema in modo molto intelligente, facendo crowdsourcing agli esperti di ML e incentivandoli finanziariamente a costruire modelli migliori.
- Problema di business: è qui che le cose si fanno interessanti. In primo luogo, a un utente non importa se i tuoi sistemi sono automatizzati o meno. I sistemi di intelligenza artificiale hanno lo scopo di ottimizzare la tua organizzazione e fare in modo che una macchina svolga il compito di un essere umano, non di stupire un utente. Quindi, risolvere un particolare problema aziendale è la chiave per offrire una buona esperienza utente e quindi aumentare la viscosità.
In secondo luogo, la maggior parte dei giganti della tecnologia si limiterà a costruire una piattaforma ampia e generica. Mentre le aziende tecnologiche come Salesforce, Hubspot, ecc. stanno saltando sull'IA, la loro sarà probabilmente una rotta di acquisizione. Salesforce ha già annunciato Einstein (anche se deve ancora seguire correttamente i suoi proclami) e Hubspot scrive ogni settimana sull'IA sul suo blog. Mostra solo quanto siano interessati al campo, ma anche quanto sia difficile per loro affrontare problemi specifici. È qui che esistono le lacune che una startup può sfruttare e la nostra società di portafoglio Saleswhale sta seguendo esattamente questa strada.
Ai miei occhi, se una startup risolve attraverso l'automazione un problema molto mirato che colpisce un numero sufficiente di persone che utilizzano dati proprietari che i suoi sistemi raccolgono lungo il percorso, è probabile che sia un'attività molto redditizia con forti barriere all'ingresso. Tuttavia, per quanto posso vedere, è improbabile che questa sia un'opportunità della dimensione di un unicorno nella regione, non mentre i giganti della tecnologia sono ancora vivi.
[Questo post di Nikhil Kapur è apparso per la prima volta su Medium ed è stato riprodotto con il permesso.]