【英偉達發布數據增強庫和圖像解碼庫,可支持多種數據格式的可移植訓練工作流】
又有新的開源庫來了,英偉達出品,數量×2。
正在舉行的CVPR2018大會上,英偉達開源了數據增強庫NVIDIADALI和圖像解碼庫NVIDIAnvJPEG。
兩個新庫都是什么畫風?簡而言之,NVIDIADALI是一個GPU加速的數據增強和圖像加載庫,為優化深度學習框架數據pipeline而設計,而NVIDIAnvJPEG是用于JPEG解碼的高性能GPU加速庫。
具體效果如何?我們繼續往下看。
詳細介紹
一般來說,計算機視覺應用里有多階段預處理數據pipeline,包括從磁盤加載和提取數據、解碼、裁剪和調整大小、顏色和空間轉換和格式轉換等數據密集型步驟。
通過DALI,研究人員可利用MXNet、TensorFlow和PyTorch在AWSP38GPU實例或VoltaGPU的DGX-1系統上擴展訓練性能。
綜合來看,DALI的方便之處在于:
能與MxNet、TensorFlow和PyTorch等簡單的框架集成
具有支持多種數據格式的可移植訓練工作流,如JPEG、原始格式、LMDB、RecordIO和TFRecord等
具有可配置圖形和自定義operator的自定義數據pipeline
當DALI進行高性能GPU加速解碼時,就需要nvJPEG登場了。這個GPU加速庫支持單個和批處理圖像的解碼、顏色空間轉換、多相位解碼,以及CPU和GPU混合解碼。
與只使用CPU解碼的應用程序相比,用nvJPEG進行解碼的吞吐量更高,延遲低了。