ಪೂರ್ವ ತರಬೇತಿ

ವ್ಯಾಖ್ಯಾನ

ಪೂರ್ವ ತರಬೇತಿ ಎಂದರೆ ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳಲ್ಲಿ ಸೂಕ್ಷ್ಮವಾಗಿ ಶ್ರುತಿಗೊಳಿಸುವ ಮೊದಲು ದೊಡ್ಡ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಡೇಟಾಸೆಟ್‌ಗಳ ಮೇಲೆ ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಯ ಆರಂಭಿಕ ತರಬೇತಿ.

ಉದ್ದೇಶ

ಬಹು ಕಾರ್ಯಗಳಿಗೆ ವರ್ಗಾಯಿಸುವ, ದತ್ತಾಂಶವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮತ್ತು ಕೆಳಮುಖ ಅಳವಡಿಕೆಗೆ ಕಂಪ್ಯೂಟ್ ಅವಶ್ಯಕತೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವ ವಿಶಾಲ ಪ್ರಾತಿನಿಧ್ಯಗಳೊಂದಿಗೆ ಮಾದರಿಗಳನ್ನು ಒದಗಿಸುವುದು ಇದರ ಉದ್ದೇಶವಾಗಿದೆ.

ಪ್ರಾಮುಖ್ಯತೆ

• ಆಧುನಿಕ ಎಲ್‌ಎಲ್‌ಎಂಗಳು ಮತ್ತು ದೃಷ್ಟಿ ಮಾದರಿಗಳಿಗೆ ಅಡಿಪಾಯ.
• ವೈವಿಧ್ಯಮಯ ಕಾರ್ಯಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ.
• ಡೇಟಾ ಮತ್ತು ಲೆಕ್ಕಾಚಾರದ ವಿಷಯದಲ್ಲಿ ದುಬಾರಿ.
• ಪಕ್ಷಪಾತವನ್ನು ತಪ್ಪಿಸಲು ಎಚ್ಚರಿಕೆಯಿಂದ ಡೇಟಾಸೆಟ್ ಕ್ಯುರೇಶನ್ ಅಗತ್ಯವಿದೆ.

ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ

1. ಬೃಹತ್ ಸಾಮಾನ್ಯ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು (ಪಠ್ಯ, ಚಿತ್ರಗಳು) ಸಂಗ್ರಹಿಸಿ.
2. ಮೇಲ್ವಿಚಾರಣೆಯಿಲ್ಲದ ಅಥವಾ ಸ್ವಯಂ ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆಯ ಕಾರ್ಯಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ.
3. ಸಾಮಾನ್ಯ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಕಲಿಯಲು ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಿ.
4. ಪೂರ್ವ ತರಬೇತಿ ಪಡೆದ ತೂಕವನ್ನು ಮರುಬಳಕೆಗಾಗಿ ಉಳಿಸಿ.
5. ಸಣ್ಣ ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಟ್ಯೂನ್ ಮಾಡಿ.

ಉದಾಹರಣೆಗಳು (ವಾಸ್ತವ ಪ್ರಪಂಚ)

• BERT ವಿಕಿಪೀಡಿಯಾ ಮತ್ತು ಪುಸ್ತಕಗಳು ಕಾರ್ಪಸ್‌ನಲ್ಲಿ ಪೂರ್ವ ತರಬೇತಿ ಪಡೆದಿದೆ.
• ಚಿತ್ರ-ಪಠ್ಯ ಜೋಡಿಗಳ ಕುರಿತು CLIP ತರಬೇತಿ ನೀಡಲಾಗಿದೆ.
• ದೊಡ್ಡ ಪ್ರಮಾಣದ ಇಂಟರ್ನೆಟ್ ಪಠ್ಯದಲ್ಲಿ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ GPT ಮಾದರಿಗಳು.

ಉಲ್ಲೇಖಗಳು / ಹೆಚ್ಚಿನ ಓದಿಗೆ

• ಡೆವ್ಲಿನ್ ಮತ್ತು ಇತರರು. “BERT: ಡೀಪ್ ಬೈಡೈರೆಕ್ಷನಲ್ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್‌ಗಳ ಪೂರ್ವ ತರಬೇತಿ.” NAACL 2019.
• ರಾಡ್‌ಫೋರ್ಡ್ ಮತ್ತು ಇತರರು. "ಭಾಷಾ ಮಾದರಿಗಳು ಕಡಿಮೆ-ಶಾಟ್ ಕಲಿಯುವವರು." ನ್ಯೂರಿಐಪಿಎಸ್ 2020.
• OpenAI GPT-4 ತಾಂತ್ರಿಕ ವರದಿ.