Horovod成就分布式深度学习金标准Uber专家在AI计算大会分享

����������˶�Uber���˹������������֪���ܶ��������Զ���ʻ����ʵ����Uber���˹����ܵײ㼼����Ҳ��׿Խ�Ĺ��ף��俪Դ�ķֲ�ʽ���ѧϰ���Horovod����������������˹�����ѵ�����ٿ��֮һ��������Ƶ��˹����ܿ����ߺ���֯�������档8��28�գ��ڱ������е�2019�˹����ܼ����ᣨAICC2019���ϣ�Uber���ѧϰƽ̨���������ڴ������̳�Ϸ�����θ��õ�ʹ��Horovod����AIģ��ѵ����

Horovod�ɾͷֲ�ʽ���ѧϰ���׼Uberר����AI���������

Horovod���еı�����AI��������ļ�������

����Horovodʵ������Uber��������Դ��һ���Ƚ��ķֲ�ʽϵͳ��������������ij����ܣ����Dz���Ŀǰҵ��㷺�ϿɵĻ��ڻ���All-reduceͨ�ŵ�ͬ��SGD�㷨��ͨ��������ͨ���첽���ݶȺϲ����ݶ�ѹ�����豸��ͨ���Ż��ֶΣ����allreduce��allgather�ȼ������ͨ�Ź�������һ����ʹ��Horovod���Էdz���������������ѧϰ���TensorFlow��PyTorch�� MXNet�Ƚ���ƥ�䣬�ڴ��ģGPU��Ⱥ�ϵ�ѵ������Զ����ԭ����ܵ�ѵ�����ܣ��ṩ�dz���Ч�ķֲ�ʽѵ�����ܼ��١�Horovod����һ���ŵ��������ṩ�Ľӿڼ�Ϊ�򵥣��û�ֻ���޸ļ��д��룬�Ϳ�ʵ��������ѵ������������

����Horovod֮�����ܵ�Խ��Խ��AI���������о��������������䱳���ԭ������Խ��Խ��Ļ���ѧϰģ�Ͷ����ݺͼ����������󼱾����ӡ��ڴ󲿷�����£�AIģ�Ϳ����ڵ������GPUƽ̨�ķ����������У����������ݼ��������ѵ��ʱ�����������ʱѵ����Ҫһ����������ʱ�䡣��ˣ�AI�������Dz��ò�Ѱ��ֲ�ʽѵ������������ģ��ѵ����ʱ�䡣

����Uber����Horovod�ġ��������š�

����UberĿǰ�Ѿ������ѧϰӦ�õ��˺ܶ๫˾ҵ���У����Զ���ʻ����·�ߵ�������թ�ȡ�Uber���ѧϰƽ̨����������Ϊ��ѵ���ִ����ӵ����ѧϰģ����Ҫ�����ļ��㡣��������չ�����GPU����������ս���ͳɱ�����Ч��GPU��ͨ�ſ⣬�Լ��û�������ܻ���ֽϴ�ĸ��ġ���Horovod�ɹ��ؽ�������������⡣

������AICC2019�ϣ����񽫴���������Horovod���зֲ�ʽ���ѧϰ���������ݽ����������ֳ��������ͨ��Horovod��TensorFlow��Keras��PyTorch��MXNet��ʵ�ָ��졢�����ɵķֲ�ʽѵ��������Horovod�IJ���������ͬʱҲ����¶Uber��������������ʵ���ҽ��е�һ����о�������Horovod�����������ij����������ʵ�ְ����ڼ����㡣

��������������Uber�����ݺͻ�����ʩ������ŶӸ���һЩ��Դ��Ŀ���ڻ���ѧϰ�����ѧϰ�������ݺʹ��ģ���㡢���硢�洢���ⷽ���зḻ�ľ��顣�ڼ���Uber֮ǰ����������Facebook��Akamai��Microsoft�Լ����ҳ�����˾������

����AICC2019���ʷ׳�

��������AICC 2019��ν���ʷ׳ʣ����İ��Ϊ����̳���Զ���ʻ����ҵAI���¡�AI�������׼���ԡ�AI+�Ӿ����㡢AI+��Ͷ���������̳����������̳�α��Ƽ��������й�����Ժ��Ӣ���ʼҹ���Ժ���ٶȡ��й���һ���˹����ܷ�չս���о�Ժ���˳���Facebook�Ȼ�����AI��ѧ�ж���ר��ѧ�ߣ�����һ�ý��AI��ҵ���ƣ�����ǰ��AI���㼼�������ͬ�ھ��е�AIǧ��ѵ��Ӫ������ٶȡ�ƽ���Ƽ����˳�������AI����ʦ��������AI���㼼����Ӧ�ã�����ѧԱ��������AI��

Horovod�ɾͷֲ�ʽ���ѧϰ���׼Uberר����AI���������

AICC 2019����̳�α�����

�������ͬʱ��AICC2019����ڼ仹���ذ�������2019-2020�й�AI��������չ���桷�������й�AI���������а��������ֲ�����Ҫ�о��ɹ���ΪAIͶ�ʡ���ҵ���ҵ�ṩ��ѧָ����

����AICC������й�����Ժ��Ϣ����ӹ���ѧ�����죬�˳����ųа죬ּ��Χ���˹����ܵIJ�ҵ��������AI���㣬�ٽ�AI�������¡�������չ���˲�������Ŀǰ��AICC����ѳ�ΪAI����������߷�����ǰ�ؼ�������ƽ̨��ÿ�궼��������ǧ��AI��ҵ�뼼�����䡢����AIר�Һ�AI�����ߵȲ��롣