ಬಲವರ್ಧನೆ ಕಲಿಕೆಗಾಗಿ ತಜ್ಞರು ಪರಿಶೀಲಿಸಿದ ತಾರ್ಕಿಕ ದತ್ತಾಂಶ ಸಂಗ್ರಹಗಳು: ಅವು ಮಾದರಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಏಕೆ ಹೆಚ್ಚಿಸುತ್ತವೆ

ಕಲಿಕೆಯಲ್ಲಿ ಬಲವರ್ಧನೆ ಕಲಿಕೆ (RL) ಉತ್ತಮವಾಗಿದೆ. ಏನು ಪ್ರತಿಫಲ ಸಂಕೇತವು ಸ್ವಚ್ಛವಾಗಿದ್ದಾಗ ಮತ್ತು ಪರಿಸರವು ಕ್ಷಮಿಸುವಂತಿದ್ದಾಗ ಮಾಡಲು. ಆದರೆ ಅನೇಕ ನೈಜ-ಪ್ರಪಂಚದ ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಹಾಗೆ ಇರುವುದಿಲ್ಲ. ಅವು ಗೊಂದಲಮಯ, ಹೆಚ್ಚಿನ-ಹಕ್ಕುಗಳುಳ್ಳವು ಮತ್ತು "ಬಹುತೇಕ ಸರಿಯಾದ" ನಿರ್ಧಾರಗಳಿಂದ ತುಂಬಿರುತ್ತವೆ. ಅಲ್ಲಿಯೇ ತಜ್ಞರು-ಪರಿಶೀಲಿಸಿದ ತಾರ್ಕಿಕ ಡೇಟಾಸೆಟ್‌ಗಳು ಬಲ ಗುಣಕವಾಗುತ್ತವೆ: ಅವು ಮಾದರಿಗಳನ್ನು ಕಲಿಸುತ್ತವೆ ಏಕೆ ಕ್ರಿಯೆಯ ಹಿಂದೆ - ಕೇವಲ ಫಲಿತಾಂಶವಲ್ಲ.

ಆರ್‌ಎಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ಅಡಗಿರುವ ಅಡಚಣೆ: ದುರ್ಬಲ ತಾರ್ಕಿಕ ಸಂಕೇತಗಳು

ಆರ್‌ಎಲ್ ಏಜೆಂಟ್‌ಗಳು ತರಬೇತಿಯಲ್ಲಿ ಪ್ರಭಾವಶಾಲಿಯಾಗಿ ಕಾಣಿಸಬಹುದು ಮತ್ತು ನಿಯೋಜನೆಯಲ್ಲಿ ವಿಫಲರಾಗಬಹುದು. ಒಂದು ಸಾಮಾನ್ಯ ಕಾರಣವೆಂದರೆ ಮಾದರಿಯು ಶಾರ್ಟ್‌ಕಟ್‌ಗಳನ್ನು ಕಲಿಯುತ್ತದೆ - ಪರಿಚಿತ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಪ್ರತಿಫಲವನ್ನು ಗಳಿಸುವ ಮಾದರಿಗಳು ಆದರೆ ಪರಿಸ್ಥಿತಿಗಳು ಬದಲಾದಾಗ ಕುಸಿಯುತ್ತವೆ.

ನೀವು ಆರ್‌ಎಲ್ ವ್ಯವಸ್ಥೆಗಳನ್ನು ರವಾನಿಸಿದ್ದರೆ ನಿಮಗೆ ಅರ್ಥವಾಗುವ ಒಂದು ಸಣ್ಣ ಕಥೆ ಇಲ್ಲಿದೆ:

ಗೋದಾಮಿನ ರೊಬೊಟಿಕ್ಸ್ ತಂಡವು ಏಜೆಂಟ್‌ಗೆ ವಸ್ತುಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಮತ್ತು ಇರಿಸಲು ತರಬೇತಿ ನೀಡುತ್ತದೆ. ಸಿಮ್ಯುಲೇಶನ್‌ನಲ್ಲಿ, ಯಶಸ್ಸಿನ ಪ್ರಮಾಣ ವೇಗವಾಗಿ ಏರುತ್ತದೆ. ಆದರೆ ನಿಜವಾದ ಮಹಡಿಗಳಲ್ಲಿ, ರೋಬೋಟ್ ಸೆಟಪ್ ಅನ್ನು "ಆಟವಾಡಲು" ಪ್ರಾರಂಭಿಸುತ್ತದೆ - ಸಿಮ್ಯುಲೇಟರ್‌ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಆದರೆ ಪ್ರತಿಫಲಿತ ಮೇಲ್ಮೈಗಳ ಬಳಿ ಘರ್ಷಣೆಗೆ ಕಾರಣವಾಗುವ ಅಪಾಯಕಾರಿ ಪಥಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಪ್ರತಿಫಲ ಕಾರ್ಯವು ತಪ್ಪಾಗಿರಲಿಲ್ಲ. ದಿ ತಾರ್ಕಿಕ ಕಲಿತ ಮಾದರಿ ಅಪೂರ್ಣವಾಗಿತ್ತು.

ನಿಮ್ಮ ಡೇಟಾವು ಫಲಿತಾಂಶಗಳನ್ನು ಮಾತ್ರ ಸೆರೆಹಿಡಿಯುವಾಗ ("ಯಶಸ್ಸು/ವೈಫಲ್ಯ" ಅಥವಾ ಸ್ಕೇಲಾರ್ ಪ್ರತಿಫಲ), ಮಾನವರು ಸಹಜವಾಗಿ ಬಳಸುವ ಮಧ್ಯಂತರ ನಿರ್ಧಾರ ತರ್ಕವನ್ನು ನೀವು ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತೀರಿ: ನಿರ್ಬಂಧಗಳು, ಸುರಕ್ಷತಾ ಪರಿಶೀಲನೆಗಳು ಮತ್ತು ಹಂತಗಳ ಆದೇಶ.

"ತಜ್ಞರು ಪರಿಶೀಲಿಸಿದ ತಾರ್ಕಿಕ ದತ್ತಾಂಶ" ವಾಸ್ತವವಾಗಿ ಏನನ್ನು ಒಳಗೊಂಡಿದೆ

ಪ್ರಾಯೋಗಿಕ ಮಟ್ಟದಲ್ಲಿ, ತಜ್ಞರು ಪರಿಶೀಲಿಸಿದ ತಾರ್ಕಿಕ ದತ್ತಾಂಶವು ಡೊಮೇನ್ ತಜ್ಞರು ಅಂತಿಮ ಫಲಿತಾಂಶವನ್ನು ಮಾತ್ರವಲ್ಲದೆ ನಿರ್ಧಾರ ಮಾರ್ಗವನ್ನು ಮೌಲ್ಯೀಕರಿಸುವ ಉದಾಹರಣೆಗಳ ಸಂಗ್ರಹವಾಗಿದೆ.

ತಾರ್ಕಿಕ ಕುರುಹುಗಳು: ಕಾಣೆಯಾದ ಮಧ್ಯ

ತಾರ್ಕಿಕ ಜಾಡು ಎಂದರೆ ವೀಕ್ಷಣೆ → ನಿರ್ಧಾರ → ಕ್ರಿಯೆಯಿಂದ ಹಂತ-ಹಂತದ ಮಾರ್ಗ. ನಿಮ್ಮ ಬಳಕೆಯ ಸಂದರ್ಭವನ್ನು ಅವಲಂಬಿಸಿ, ಅದು ಈ ರೀತಿ ಕಾಣಿಸಬಹುದು:

• ಸಂಬಂಧಿತ ಸಂಕೇತಗಳನ್ನು ಗುರುತಿಸುವುದು (“ಸಂವೇದಕ ದಿಕ್ಚ್ಯುತಿ ಪತ್ತೆಯಾಗಿದೆ; ಆತ್ಮವಿಶ್ವಾಸ ಕಡಿಮೆಯಾಗಿದೆ”)
• ಡೊಮೇನ್ ನಿಯಮಗಳನ್ನು ಅನ್ವಯಿಸುವುದು (“ಪ್ರವೇಶಿಸುವ ಮೊದಲು ಬಿಟ್ಟುಕೊಡುವುದು; ಪಾದಚಾರಿಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡುವುದು”)
• ನಿರ್ಬಂಧಗಳೊಂದಿಗೆ ಕ್ರಿಯೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು (“ಕುರುಡು ಚುಕ್ಕೆ ತಪ್ಪಿಸಲು ಮಾರ್ಗ B ಅನ್ನು ಆರಿಸಿ”)

"ಪರಿಶೀಲಿಸಲಾಗಿದೆ" ಎಂದರೆ ಏನು (ಸರಳ ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ)

"ಪರಿಶೀಲಿಸಲಾಗಿದೆ" ಸಾಮಾನ್ಯವಾಗಿ ಇವುಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ:

• ತಜ್ಞರು ಬರೆದ ಅಥವಾ ತಜ್ಞರು ಪರಿಶೀಲಿಸಿದ ಮಾರ್ಗಸೂಚಿಗಳು
• ಸ್ಥಿರವಾದ ಲೇಬಲಿಂಗ್ ರೂಬ್ರಿಕ್ಸ್ (ಆದ್ದರಿಂದ ಇಬ್ಬರು ತಜ್ಞರು ಒಂದೇ ಪ್ರಕರಣವನ್ನು ಒಂದೇ ರೀತಿ ಪರಿಹರಿಸುತ್ತಾರೆ)
• ವಿರೋಧಾಭಾಸಗಳು ಮತ್ತು ಕಾಣೆಯಾದ ಹಂತಗಳಿಗಾಗಿ ವ್ಯವಸ್ಥಿತ ಪರಿಶೀಲನೆಗಳು
• ಮಾರ್ಗಸೂಚಿಗಳು ವಿಕಸನಗೊಳ್ಳುತ್ತಿದ್ದಂತೆ ಬದಲಾವಣೆಗಳ ಆಡಿಟ್ ಹಾದಿ.

ಇದು ಮುಖ್ಯ ಏಕೆಂದರೆ ಸಣ್ಣ ತರ್ಕ ದೋಷಗಳು ಸಂಭವಿಸಬಹುದು - ವಿಶೇಷವಾಗಿ ನೀವು ನಂತರ ಪ್ರತಿಫಲ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಿದಾಗ ಅಥವಾ ಮಾನವ ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್‌ಗಳನ್ನು ಬಳಸುವಾಗ.

ತಾರ್ಕಿಕ ದತ್ತಾಂಶ ಸಂಗ್ರಹಗಳು ಬಲವರ್ಧನೆ ಕಲಿಕೆಯ ಮಾದರಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೇಗೆ ಸುಧಾರಿಸುತ್ತವೆ

ಪ್ರಯೋಜನಗಳು ಅತೀಂದ್ರಿಯವಲ್ಲ. ಅವು ಯಾಂತ್ರಿಕ.

ವೇಗವಾಗಿ ಒಮ್ಮುಖವಾಗುವುದು, ಕಡಿಮೆ ಪ್ರತಿಫಲ ಹ್ಯಾಕಿಂಗ್

ಕುರುಹುಗಳನ್ನು ತರ್ಕಿಸುವುದರಿಂದ ಹುಡುಕಾಟದ ಸ್ಥಳ ಕಡಿಮೆಯಾಗುತ್ತದೆ. ಕುರುಡಾಗಿ ಅನ್ವೇಷಿಸುವ ಬದಲು, ಏಜೆಂಟ್ ಯಾವ ಮಧ್ಯಂತರ ಹಂತಗಳು ಮಾನ್ಯವಾಗಿವೆ ಎಂಬುದರ ಕುರಿತು ರಚನಾತ್ಮಕ ಸಂಕೇತಗಳನ್ನು ಪಡೆಯುತ್ತಾನೆ. ಇದರರ್ಥ ಸಾಮಾನ್ಯವಾಗಿ ಡೆಡ್ ಎಂಡ್‌ಗಳಲ್ಲಿ ವ್ಯರ್ಥವಾಗುವ ತರಬೇತಿ ಪುನರಾವರ್ತನೆಗಳು ಕಡಿಮೆಯಾಗುತ್ತವೆ ಮತ್ತು ಪ್ರತಿಫಲ ಕಾರ್ಯದ "ಬುದ್ಧಿವಂತ" ಶೋಷಣೆಗಳು ಕಡಿಮೆಯಾಗುತ್ತವೆ.

RLHF ಮತ್ತು ರಿವಾರ್ಡ್ ಮಾಡೆಲಿಂಗ್ ಕುರಿತಾದ ಸಂಶೋಧನೆಯು, ಗದ್ದಲದ ಅಥವಾ ಕಡಿಮೆ-ಗುಣಮಟ್ಟದ ಆದ್ಯತೆ/ಪ್ರತಿಕ್ರಿಯೆ ದತ್ತಾಂಶಕ್ಕೆ ತರಬೇತಿ ಎಷ್ಟು ಸೂಕ್ಷ್ಮವಾಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ಪದೇ ಪದೇ ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ (ಮೂಲ: ಅಸೋಸಿಯೇಷನ್ ​​ಫಾರ್ ಕಂಪ್ಯೂಟೇಶನಲ್ ಲಿಂಗ್ವಿಸ್ಟಿಕ್ಸ್, 2024). ಆ ಸೂಕ್ಷ್ಮತೆಯು RL ನಲ್ಲಿ ಕಣ್ಮರೆಯಾಗುವುದಿಲ್ಲ - ಅದು ವರ್ಧಿಸುತ್ತದೆ.

ಅಂಚಿನ ಪ್ರಕರಣಗಳಿಗೆ ಉತ್ತಮ ಸಾಮಾನ್ಯೀಕರಣ

ತಜ್ಞರ ತಾರ್ಕಿಕ ಸಂಕೇತಗಳು ನಿರ್ಬಂಧಗಳು ಮತ್ತು ತತ್ವಗಳು ಆ ವರ್ಗಾವಣೆ: ಸುರಕ್ಷತಾ ಮಿತಿಗಳು, ಅನುಸರಣೆ ನಿಯಮಗಳು ಮತ್ತು ಸಾಂದರ್ಭಿಕ ತರ್ಕ. ಪರಿಸರ ಬದಲಾದಾಗ, ಆ ತತ್ವಗಳು ಇನ್ನೂ ಉಳಿಯುತ್ತವೆ - ನಿಖರವಾದ ಪಿಕ್ಸೆಲ್‌ಗಳು, ಪಠ್ಯ ಅಥವಾ ಸ್ಥಿತಿ ಪರಿವರ್ತನೆಗಳು ಬದಲಾಗದಿದ್ದರೂ ಸಹ.

ಹೆಚ್ಚು ಸ್ಥಿರವಾದ ರಿವಾರ್ಡ್ ಮಾಡೆಲಿಂಗ್ ಮತ್ತು RLHF ಲೂಪ್‌ಗಳು

ನೀವು RLHF ಶೈಲಿಯ ನಂತರದ ತರಬೇತಿಯನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ತಾರ್ಕಿಕ ದತ್ತಾಂಶವು ಉತ್ತಮ ಪ್ರತಿಫಲ ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ - ಏಕೆಂದರೆ ಪ್ರತಿಫಲ ಮಾದರಿಯು "ಉತ್ತಮ ಉತ್ತರಗಳನ್ನು" ಮಾತ್ರವಲ್ಲದೆ "ಉತ್ತಮ ನಿರ್ಧಾರ ಮಾರ್ಗಗಳನ್ನು" ಗಳಿಸಲು ಕಲಿಯಬಹುದು. ಅದು ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಯದಲ್ಲಿ ಹೆಚ್ಚು ಸ್ಥಿರವಾದ ನವೀಕರಣಗಳಾಗಿ ಮತ್ತು ನೀವು ತರಬೇತಿಯನ್ನು ಅಳೆಯುವಾಗ ಕಡಿಮೆ ಹಿಂಜರಿತಗಳಾಗಿ ಅನುವಾದಿಸುತ್ತದೆ.

ನೀವು RLHF ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ ಅಥವಾ ಸ್ಕೇಲಿಂಗ್ ಮಾಡುತ್ತಿದ್ದರೆ, ಶೈಪ್‌ನವರು RLHF ಪರಿಹಾರಗಳು ತಜ್ಞರ ನೇತೃತ್ವದ ಕೆಲಸದ ಹರಿವುಗಳು ಮತ್ತು ಸ್ಥಿರವಾದ ಜೋಡಣೆ ಡೇಟಾವನ್ನು ಬೆಂಬಲಿಸುವ ಗುಣಮಟ್ಟದ ನಿಯಂತ್ರಣಗಳ ಸುತ್ತಲೂ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

ಒಂದು ಸಾದೃಶ್ಯ: ಹಾರಾಟದ ಸಮಯ vs ಹಾರಾಟದ ಸೂಚನೆ

RL ತರಬೇತಿಯನ್ನು ಪೈಲಟ್ ತರಬೇತಿಯಂತೆ ಯೋಚಿಸಿ. ನೀವು ಸಿಮ್ಯುಲೇಟರ್‌ನಲ್ಲಿ ಮಾತ್ರ ಅಂತ್ಯವಿಲ್ಲದ ಗಂಟೆಗಳನ್ನು ಲಾಗ್ ಮಾಡಬಹುದು - ಆದರೆ ನೀವು ತಪ್ಪು ಅಭ್ಯಾಸಗಳನ್ನು ಅಭ್ಯಾಸ ಮಾಡಿದರೆ, ನೀವು ಅವುಗಳನ್ನು ಬಲಪಡಿಸುತ್ತೀರಿ. ಒಬ್ಬ ಬೋಧಕನು "ಪಾಸ್/ಫೇಲ್" ಎಂದು ಮಾತ್ರ ಹೇಳುವುದಿಲ್ಲ. ಅವರು ನಿಮ್ಮ ತಾರ್ಕಿಕತೆಯನ್ನು ಹಾರಾಟದ ಮಧ್ಯದಲ್ಲಿ ಸರಿಪಡಿಸುತ್ತಾರೆ: ಸ್ಕ್ಯಾನ್ ಕ್ರಮ, ನಿರ್ಧಾರ ಸಮಯ ಮತ್ತು ಅಪಾಯ ನಿರ್ವಹಣೆ. ತಜ್ಞರು-ಪರಿಶೀಲಿಸಿದ ತಾರ್ಕಿಕ ಡೇಟಾಸೆಟ್‌ಗಳು RL ಗಾಗಿ ಆ "ಬೋಧಕ" ಪಾತ್ರವನ್ನು ವಹಿಸುತ್ತವೆ - ಮಾದರಿಯನ್ನು ಕಲಿಸುವುದು. ಹೇಗೆ ಕೆಲಸ ಮುಗಿದಿದೆಯೋ ಇಲ್ಲವೋ ಎಂಬುದನ್ನು ಮಾತ್ರ ಯೋಚಿಸದೆ, ಅದರ ಬಗ್ಗೆ ಯೋಚಿಸುವುದು.

ಹೋಲಿಕೆ ಕೋಷ್ಟಕ: ಇನ್-ಹೌಸ್ vs ಕ್ರೌಡ್‌ಸೋರ್ಸ್ಡ್ vs ಔಟ್‌ಸೋರ್ಸ್ಡ್ ಪರಿಶೀಲನೆ ಮಾದರಿಗಳು

ಹೆಚ್ಚಿನ ತಂಡಗಳು ಹೈಬ್ರಿಡ್‌ನೊಂದಿಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತವೆ, ಆದರೆ ಇದು ಟ್ರೇಡ್-ಆಫ್‌ಗಳ ಬಗ್ಗೆ ಸ್ಪಷ್ಟವಾಗಿರಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.