Գրադիենտ ծագումը հայտնագործվել է Cauchy-ում 1847թ.-ին: Méthode générale pour la résolution des systèmes d'équations simultanées: էջ 536–538 Դրա մասին լրացուցիչ տեղեկությունների համար տե՛ս այստեղ։
Ե՞րբ է հայտնագործվել SGD:
Սինգապուրյան դոլարն առաջին անգամ թողարկվել է 1965թ.-ին՝ Մալայզիայի և Բրունեյի միջև արժութային միության փլուզումից հետո, սակայն երկու երկրներում էլ մնացել է փոխարինելի Բրունեյան դոլարի հետ:
Ո՞վ է հորինել գրադիենտ խթանումը:
Ո՞վ է հորինել գրադիենտ խթանող մեքենաները: Ջերոմ Ֆրիդմանը 1999 թվականի իր հիմնական աշխատության մեջ (թարմացվել է 2001 թվականին), որը կոչվում է Greedy Function Approximation.
Ադամն օգտագործում է ստոխաստիկ գրադիենտ ծագում:
Ադամը փոխարինման օպտիմալացման ալգորիթմ է՝ խորը ուսուցման մոդելների ուսուցման համար ստոխաստիկ գրադիենտ իջնելու համար: Ադամը համատեղում է AdaGrad և RMSProp ալգորիթմների լավագույն հատկությունները` ապահովելու օպտիմալացման ալգորիթմ, որը կարող է կարգավորել նոսր գրադիենտները աղմկոտ խնդիրների դեպքում:
Ինչու է այն կոչվում ստոխաստիկ գրադիենտ ծագում:
«ստոխաստիկ» բառը նշանակում է համակարգ կամ գործընթաց, որը կապված է պատահական հավանականության հետ: Հետևաբար, Stochastic Gradient Descent-ում մի քանի նմուշներ ընտրվում են պատահականորեն՝ յուրաքանչյուր կրկնության համար ամբողջ տվյալների հավաքածուի փոխարեն: