SqueezeNet

SqueezeNet
Originalförfattare Forrest Iandola , Song Han, Matthew W. Moskewicz, Khalid Ashraf, Bill Dally , Kurt Keutzer
Initial release 22 februari 2016 ; för 7 år sedan ( 2016-02-22 )
Stabil frisättning
v1.1 [ när? ]
Förvar github .com /DeepScale /SqueezeNet
Typ Djupa neurala nätverk
Licens BSD-licens

SqueezeNet är namnet på ett djupt neuralt nätverk för datorseende som släpptes 2016. SqueezeNet utvecklades av forskare vid DeepScale , University of California, Berkeley och Stanford University . Vid utformningen av SqueezeNet var författarnas mål att skapa ett mindre neuralt nätverk med färre parametrar som lättare kan passa in i datorns minne och lättare kan överföras över ett datornätverk.

Framework-stöd för SqueezeNet

SqueezeNet släpptes ursprungligen den 22 februari 2016. Denna originalversion av SqueezeNet implementerades ovanpå Caffes ramverk för djupinlärning. Kort därefter överförde forskargemenskapen med öppen källkod SqueezeNet till ett antal andra ramverk för djupinlärning. Den 26 februari 2016 släppte Eddie Bell en port av SqueezeNet för Chainer deep learning-ramverket. Den 2 mars 2016 släppte Guo Haria en port av SqueezeNet för Apache MXNet- ramverket. Den 3 juni 2016 släppte Tammy Yang en port av SqueezeNet för Keras ramverk. Under 2017 visade företag inklusive Baidu , Xilinx , Imagination Technologies och Synopsys SqueezeNet som körs på processorplattformar med låg effekt som smartphones , FPGA och anpassade processorer.

Från och med 2018 levereras SqueezeNet "native" som en del av källkoden för ett antal ramverk för djupinlärning som PyTorch , Apache MXNet och Apple CoreML. Dessutom har tredjepartsutvecklare skapat implementeringar av SqueezeNet som är kompatibla med ramverk som TensorFlow . Nedan finns en sammanfattning av ramverk som stöder SqueezeNet.

Ramverk Support för SqueezeNet Referenser
Apache MXNet Inföding
Apple CoreML Inföding
Kaffe 2 Inföding
Keras 3:e part
MATLAB Deep Learning Toolbox Inföding
ONNX Inföding
PyTorch Inföding
TensorFlow 3:e part
Wolfram Mathematica Inföding

Förhållande till AlexNet

SqueezeNet beskrevs ursprungligen i en artikel med titeln "SqueezeNet: noggrannhet på AlexNet-nivå med 50 gånger färre parametrar och <0,5 MB modellstorlek." AlexNet är ett djupt neuralt nätverk som har 240 MB parametrar och SqueezeNet har bara 5 MB parametrar. Det är dock viktigt att notera att SqueezeNet inte är en "pressad version av AlexNet." SqueezeNet är snarare en helt annan DNN-arkitektur än AlexNet. Gemensamt för SqueezeNet och AlexNet är att båda uppnår ungefär samma nivå av noggrannhet när de utvärderas på ImageNet- bildklassificeringsvalideringsdataset.

Förhållande till djup kompression

Modellkompression (t.ex. kvantisering och beskärning av modellparametrar) kan appliceras på ett djupt neuralt nätverk efter att det har tränats. I SqueezeNet-artikeln visade författarna att en modellkomprimeringsteknik som kallas Deep Compression kan tillämpas på SqueezeNet för att ytterligare minska storleken på parameterfilen från 5MB till 500KB. Deep Compression har även tillämpats på andra DNN:er som AlexNet och VGG.

Utlöpare av SqueezeNet

Några av medlemmarna i det ursprungliga SqueezeNet-teamet har fortsatt att utveckla resurseffektiva djupa neurala nätverk för en mängd olika applikationer. Några av dessa arbeten noteras i följande tabell. Precis som med den ursprungliga SqueezeNet-modellen har forskarsamhället med öppen källkod porterat och anpassat dessa nyare "squeeze"-familjemodeller för kompatibilitet med flera ramverk för djupinlärning.

DNN-modell Ansökan Original

Genomförande

 Övrig

Genomföranden
SqueezeDet Objektdetektion

på bilder

 TensorFlow Kaffe, Keras
SqueezeSeg Semantisk

Segmentering

av LIDAR

TensorFlow
SqueezeNext Bild

Klassificering

 Kaffe TensorFlow, Keras,

PyTorch
SqueezeNAS Neural arkitektursökning

för semantisk segmentering

 PyTorch

Dessutom har forskargemenskapen med öppen källkod utökat SqueezeNet till andra applikationer, inklusive semantisk segmentering av bilder och stilöverföring .

  1. ^ Ganesh, Abhinav. "Deep Learning Reading Group: SqueezeNet" . KDnuggets . Hämtad 2018-04-07 .
  2. ^ "SqueezeNet" . GitHub . 2016-02-22 . Hämtad 2018-05-12 .
  3. ^ Bell, Eddie (2016-02-26). "En implementering av SqueezeNet in Chainer" . GitHub . Hämtad 2018-05-12 .
  4. ^ Haria, Guo (2016-03-02). "SqueezeNet för MXNet" . GitHub . Hämtad 2018-05-12 .
  5. ^ a b Yang, Tammy (2016-06-03). "SqueezeNet Keras Implementering" . GitHub . Hämtad 2018-05-12 .
  6. ^ Chirgwin, Richard (2017-09-26). "Baidu lägger in djupinlärning med öppen källkod i smartphones" . Registret . Hämtad 2018-04-07 .
  7. ^ Bush, Steve (2018-01-25). "SDK för neuralt nätverk för PowerVR GPUs" . Electronics Weekly . Hämtad 2018-04-07 .
  8. ^ Yoshida, Junko (2017-03-13). "Xilinx AI-motor styr ny kurs" . EE Times . Hämtad 2018-05-13 .
  9. ^ Boughton, Paul (2017-08-28). "Deep learning datorseende algoritmer portade till processor IP" . Ingenjör Live . Hämtad 2018-04-07 .
  10. ^ a b "squeezenet.py" . GitHub: PyTorch . Hämtad 2018-05-12 .
  11. ^ a b "squeezenet.py" . GitHub: Apache MXNet . Hämtad 2018-04-07 .
  12. ^ a b "CoreML" . Apple . Hämtad 2018-04-10 .
  13. ^ a b Affisch, Domenick. "Tensorflow implementering av SqueezeNet" . GitHub . Hämtad 2018-05-12 .
  14. ^ Inkawhich, Nathan. "SqueezeNet Model Quickload Tutorial" . GitHub: Caffe2 . Hämtad 2018-04-07 .
  15. ^ "SqueezeNet för MATLAB Deep Learning Toolbox" . Mathworks . Hämtad 2018-10-03 .
  16. ^ Fang, Lu. "SqueezeNet för ONNX" . Öppna Neural Network eXchange .
  17. ^ "SqueezeNet V1.1 tränad på ImageNet Competition Data" . Wolfram Neural Net Repository . Hämtad 2018-05-12 .
  18. ^ a b Iandola, Forrest N; Han, Sång; Moskewicz, Matthew W; Ashraf, Khalid; Dally, William J; Keutzer, Kurt (2016). "SqueezeNet: noggrannhet på AlexNet-nivå med 50 gånger färre parametrar och <0,5 MB modellstorlek". arXiv : 1602.07360 [ cs.CV ].
  19. ^ "SqueezeNet" . Kort vetenskap . Hämtad 2018-05-13 .
  20. ^ Gude, Alex (2016-08-09). "Lab41 Läsgrupp: Djup komprimering" . Hämtad 2018-05-08 .
  21. ^ Han, Song (2016-11-06). "Komprimera och reglera djupa neurala nätverk" . O'Reilly . Hämtad 2018-05-08 .
  22. ^ Wu, Bichen; Wan, Alvin; Iandola, Forrest; Jin, Peter H.; Keutzer, Kurt (2016). "SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real-Time Object Detection for Autonomous Driving". arXiv : 1612.01051 [ cs.CV ].
  23. ^ Nunes Fernandes, Edgar (2017-03-02). "Vi introducerar SqueezeDet: lågeffekts helt konvolutionerande neurala nätverksramverk för autonom körning" . Informationens intelligens . Hämtad 2019-03-31 .
  24. ^ Wu, Bichen (2016-12-08). "SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real-Time Object Detection för Autonom Driving" . GitHub . Hämtad 2018-12-26 .
  25. ^ Kuan, Xu (2017-12-20). "Caffe SqueezeDet" . GitHub . Hämtad 2018-12-26 .
  26. ^ Padmanabha, Nischal (2017-03-20). "SqueezeDet på Keras" . GitHub . Hämtad 2018-12-26 .
  27. ^ Ehmann, Christopher (2018-05-29). "Snabb objektdetektering med SqueezeDet på Keras" . Medium . Hämtad 2019-03-31 .
  28. ^ Ehmann, Christopher (2018-05-02). "En djupare titt på SqueezeDet på Keras" . Medium . Hämtad 2019-03-31 .
  29. ^ Wu, Bichen; Wan, Alvin; Yue, Xiangyu; Keutzer, Kurt (2017). "SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud". arXiv : 1710.07368 [ cs.CV ].
  30. ^ Wu, Bichen (2017-12-06). "SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud" . GitHub . Hämtad 2018-12-26 .
  31. ^ Gholami, Amir; Kwon, Kiseok; Wu, Bichen; Tai, Zizheng; Yue, Xiangyu; Jin, Peter; Zhao, Sicheng; Keutzer, Kurt (2018). "SqueezeNext: Hardware-Aware Neural Network Design". arXiv : 1803.10615 [ cs.CV ].
  32. ^ Gholami, Amir (2018-04-18). "SqueezeNext" . GitHub . Hämtad 2018-12-29 .
  33. ^ Verhulsdonck, Tijmen (2018-07-09). "SqueezeNext Tensorflow: En tensorflow-implementering av SqueezeNext" . GitHub . Hämtad 2018-12-29 .
  34. ^ Sémery, Oleg (2018-09-24). "SqueezeNext, implementerad i Keras" . GitHub . Hämtad 2018-12-29 .
  35. ^ Lu, Yi (2018-06-21). "SqueezeNext.PyTorch" . GitHub . Hämtad 2018-12-29 .
  36. ^ Shaw, Albert; Hunter, Daniel; Iandola, Forrest; Sidhu, Sammy (2019). "SqueezeNAS: Snabb neural arkitektursökning för snabbare semantisk segmentering". arXiv : 1908.01748 [ cs.LG ].
  37. ^ Yoshida, Junko (2019-08-25). "Har ditt AI-chip ett eget DNN?" . EE Times . Hämtad 2019-09-12 .
  38. ^ Shaw, Albert (2019-08-27). "SqueezeNAS" . GitHub . Hämtad 2019-09-12 . {{ citera webben }} : CS1 underhåll: url-status ( länk )
  39. ^ Treml, Michael; et al. (2016). "Snabba upp semantisk segmentering för autonom körning" . NIPS MLITS Workshop . Hämtad 2019-07-21 .
  40. ^ Zeng, Li (2017-03-22). "SqueezeNet Neural Style på PyTorch" . GitHub . Hämtad 2019-07-21 .
  41. ^ Wu, Bichen; Keutzer, Kurt (2017). "The Impact of SqueezeNet" (PDF) . UC Berkeley . Hämtad 2019-07-21 .
Hämtad från " https://en.wikipedia.org/w/index.php?title=SqueezeNet&oldid=1109253828 "