מדריך אימון לורה לפלאקס – לוקאלי או ראנפוד

אז פלאקס, מודל חדש וסופר מעניין – מאפשר לנו לעשות כמה דברים כיפים איתו ולאחרונה קיבלנו גם אפשרות לאמן לורות עליו.

התהליך די פשוט למי שכבר התעסק עם אימון לורות במודלים של סטייבל דיפיוזן.

נכון לכתיבת הפוסט כדי לאמן את מודל DEV צריך לפחות 24 ג'יגה פנויים – פנויים לגמרי. זה אומר שאם יש לכם 24 ג'יגה זיכרון לא בטוח שזה יספיק לכם – צריך שזה יהיה בלי לדאוג למערכות הפעלה, מסכים, דפדפנים וכו.

לכן יותר מתאים להשתמש בשירות ענן כלשהו למי שאין כרטיס מסך מספיק חזק.

אז מה עושים?

אני שכרתי ב runpod.io שרת עם 4090, וחמישים ג'יגה של דיסק (לכל מקרה) הטענתי את החשבון עם 10 דולר – עולה בערך 1.5 דולר לשעת עבודה והתחלתי להתעסק.

אם זאת הפעם הראשונה שלכם בראנפוד, לא לדאוג, זה הכל מאד אינטואטיבי (יחסית) וממש לא מסובך.

מתחברים דרך הJupyter Lab ומקבלים ממשק די ברור.

קודם פותחים טרמינל

ומזינים לטרמינל את כל הטקסט הזה – אפשר גם בפעם אחת.

git clone https://github.com/ostris/ai-toolkit.git

cd ai-toolkit

git submodule update –init –recursive

python3 -m venv venv

source venv/bin/activate

# .\venv\Scripts\activate on windows

# install torch first

pip3 install torch

pip3 install -r requirements.txt

בזמן שזה רץ, צריך להכנס ל hugging face ולקבל אישור שימוש במודל של flux
ואחרי שמקבלים את האישור צריך ליצור טוקן קריאה

לא משנה איזה שם תתנו, מה שחשוב זה מה שקורה אחר כך

אתם לוקחים את הטקסט הזה ומעתיקים אותו לתוך קובץ טקסט חדש שתקראו לו env , בלי סיומת. פשוט ככה.
אבל לפני הטקסט צריך לכתוב
אז השורה היחידה בתוך קובץ הטקסט הזה תראה ככה
HF_TOKEN=whateveryourtokenis

טקסט הזה ומעתיקים אותו לתוך קובץ טקסט חדש שתקראו לו env , בלי סיומת. פשוט ככה.
אבל לפני הטקסט צ

את הקובץ הזה צריך לגרור אל הספרייה של הפרוייקט שנוצרה לנו בתוך הRUNPOD

בינתיים, סביר להניח שהסקריפט שהרצנו מקודם הסתיים ואנחנו חזרה בתוך הטרמינל.

אנחנו צריכים להפוך את הקובץ שיצרנו לקובץ בלתי נראה.

זה נעשה על ידי הפקודה הזאת –

mv env .env

זהו, עוד רגע אנחנו שם

עכשיו מה שנשאר לנו זה ליצור ספריה חדשה ולהעלות לתוכה את התמונות של הלורה שאנחנו רוצים לאמן.

צריך להכין את הדאטהסט בצורה הזאת – קובץ תמונה וקובץ של תיאור התמונה

אם אתם מאמנים על בן אדם, אל תתארו איך הוא נראה, אלא רק מה הוא עושה.
אם יש לו את אותם בגדים כל הזמן – אל תתארו את הבגדים
אם יש לו משקפיים כל הזמן, אל תתארו את המשקפיים

אם אתם מאמנים על סגנון, תתארו את כל מה שיש בתמונה, אבל בלי להגיד את שם הסגנון

עכשיו צריך להגיד לסקריפט להתסכל על התמונות האלה

מעתיקים את קובץ train_lora_flux_24gb אל הספרייה שמעליו ואז עורכים את הקובץ החדש שיצרנו.

לפעם הראשונה מה שחשוב זה להתרכז שני דברים שצריך לערוך

Name ו folder_path

כל השאר יבוא אחר כך

python3 run.py config/gilibs.yaml

מריצים את הפקודה ונותנים את השם של קובץ הYAML וזהו בגדול

עכשיו האימון מתחיל לרוץ ובזמן שהוא רץ, בספריית אאוטפוט\סמפלס יתחילו להופיע תמונות כל 250 צעדי אימון.

שווה להסתכל עליהם ולראות מתי התוצאות דומות למה שאתם רוצים לקבל מהלורה.

כשזה טוב – ולפעמים זה טוב כבר ב 1500 צעדים ולפעמים ב2000, אז לא צריך לסיים את כל התהליך, אלא רק להוריד את הלורות מספריית האאוטפוט וזהו.

מזל טוב, יש לכם לורה.

תשלחו לי לראות מה עשיתם.