בעמוד זה

מערכת הגשת התרגילים מאפשרת הגשת תרגילים באמצעות האינטרנט. כל תרגיל שניתן לשמור אותו בצורת קובץ, אפשר להגישו באמצעות המערכת.

הוספת קורס חדש למערכת ההגשה

מרצה או מתרגל הקורס ימסור למנהלי המערכת את שם הקורס וקבוצות הקורס (לדוגמא: קורס 89-999, קבוצות 01 02 03). מנהלי המערכת ייצרו משתמש ששמו כשם הקורס (אם לא קיים) וימסרו למרצה את סיסמת המשתמש.

מבנה תיקיית הקורס

  • תיקית הבית של הקורס תכיל תת תיקיה עבור כל אחת מקבוצות הקורס שבה ישמרו התרגילים.
  • תיקית הבית תכיל גם תיקיה WWW עבור תוכן אתר הקורס.
  • תיקיה נוספת data תכיל קבצי הגדרות וציונים, וכן קובץ בשם submit.txt שבו יתועדו ההגשות. אם התרגיל נבדק אוטומטית, גם קובץ grades.txt יתעד את ההגשות והציון שניתן.

גישה לתיקייה ולאתר הקורס

  • כדי לגשת לתיקית הקורס וכדי להפעיל את הפקודות המתוארות להלן, יש להתחבר באמצעות ssh לשרת planet ולהיכנס כמשתמש הקורס (89-999).
  • כדי לגשת לאתר הקורס יש לגלוש לכתובת u.cs.biu.ac.il/~course_name.

הוספת תרגיל לקורס

קבצי ההגשה של כל תרגיל בקורס, נשמרים בתיקיה ששמה כשם התרגיל. תיקיה עם שם זה צריכה להיות בתוך כל אחת מתיקיות קבוצות הקורס.

הפקודה:

make_targil targil_name

יוצרת את תיקיות התרגיל. תיקיות התרגיל נסרקות מידי שעה ואם נוסף תרגיל, ממשק ההגשה האינטרנטי מתעדכן בהתאם.

השביל לתרגיל:

course_name/group_name/targil_name/user_name-reduction~

כדי להגיע לקורסים של שנים קודמות:

cd ../courses_73/course_name or cd /u/courses/courses_73/course_name

courses_73 – תיקיה בה נשמרים הקורסים ובהם התרגילים שהוגשו בשנת תשע”ג.

קביעת תאריכי ההגשה לתרגיל

התאריך האחרון להגשת תרגיל נקבע בקובץ course_name/lastdates~ (יש צורך בהרשאת –rw-r–r- לקובץ זה).

כאשר רוצים לקבוע תאריך לכל הסטודנטים הפורמט הוא:

targil_name DDMMYY reduction

reduction - כמה אחוזים להוריד עבור ההגשה המאוחרת. חייב להיות מספר שלם בן סיפרה אחת או שתיים, לא יותר.

כאשר רוצים לקבוע תאריך לקבוצה או סטודנט הפורמט הוא:

targil_name DDMMYY reduction [ user_name | group_name ]‎

אפשר להפריד בין השדות באמצעות רווחים או טאבים, ואפשר להפריד בין השורות באמצעות שורות ריקות או שורות שמתחילות בתו #.

דוגמא לקובץ lastdates:

targil1 010113 0
targil1 020113 0 03
targil1 200213 0 student
targil1 100313 15

הסבר:

  • התאריך האחרון להגשת targil1, עבור כולם, ללא הפחתה, הוא 1/1/13:
  • התאריך האחרון להגשת targil1, עבור קבוצה 03, ללא הפחתה, הוא 2/1/13:
  • התאריך האחרון להגשת targil1, עבור user_name, ללא הפחתה, הוא 20/2/13:
  • התאריך האחרון להגשת targil1, עבור כולם, עם הפחתת 15 נקודות, הוא 10/3/13:

התאריך הנבחר

מתוך כל תאריכי ההגשה השייכים, יבחר התאריך עם ההפחתה הקטנה ביותר. לאחר שעברו כל התאריכים ההגשה תדחה.

אופן פריסת קבצי ZIP ו-RAR

סטודנטים יכולים להגיש מספר קבצים סגורים בקובץ ארכיב מסוג ZIP או מסוג RAR. ברירת המחדל היא לפרוס את כל הקבצים בארכיב בתיקיה אחת (flat).

במידה וחשוב לשמור על המבנה ההיררכי של הקבצים בארכיב (כמו למשל בהגשות של ant או בהגשות המחייבות הוכחת שימוש ב-git) יש ליצור קובץ (ריק) בשם course_name/.nonflat~.

ההשפעה היא לכל ההגשות לקורס הזה בלי הבדל בין התרגילים.

בדיקה אוטומטית

בנוסף להגשת תרגילים באמצעות האינטרנט, המערכת מאפשרת בדיקה אוטומטית של תוכניות מחשב:

  1. המערכת מקמפלת את התוכנית שהוגשה.
  2. היא מריצה את התוכנית עם קלטים שהוכנו על ידי המתרגל.
  3. היא משווה את הפלטים שהתקבלו לפלטים הצפויים שהכין המתרגל.
  4. הציון נקבע לפי הניקוד שהמתרגל נתן לכל מקרה בדיקה.

המערכת יכולה לבדוק תוכניות שנכתבו בשפות: C, C++, Java, Python, Assembly, SCIM, SML, Prologue, Perl, Matlab.

כדי שתרגיל ייבדק אוטומטית, המתרגל צריך להכין שני קבצים:

  • auto.cfg — מפרט את התכונות של כל התרגילים בקורס.
  • targil_name.io — מכיל את הקלטים ואת הפלטים הנכונים של הבדיקה. יש להכין קובץ זה עבור כל תרגיל בקורס.

שני הקבצים צריכים להימצא בתיקייה data. קיומו של הקובץ auto.cfg מסמן למערכת שהתרגילים בקורס זה נבדקים אוטומטית.

הקובץ auto.cfg

לקובץ זה מבנה של קובץ של קובץ ini., לכל תרגיל יש פיסקה שמתחילה בשורה [targil_name] ואחריה שורות של parameter=value שמפרטות את תכונות התרגיל. שם התרגיל צריך להיות זהה לשם שניתן בזמן הוספת התרגיל בפקודה make_targil. את השורות שמפרטות את התכונות אפשר לכתוב בכל סדר.

דוגמא:

[targil1]
required parameter#
 compiler = java
 all other parameters are optional#
 input = myinput
 output = myoutput
 timeout = 60
 timing = 1
 memleak = 1
 feedback = 1
 data_files = targil1_data
 weight = 25
 message = A bonus will be given for efficient programs
 [targil2]
 compiler = cpp
 input = stdin
 output = stdout
 [targil3]
 compiler = make
 alias=<<END_ALIAS
 targil3.1
 targil3.2
 targil3.3
 END_ALIAS

פירוט הפרמטרים והערכים:

compiler = # required parameter

c — The file "targil_name.c" is compiled with the command
gcc targil_name.c -lm -ansi -pedantic; "a.out" is run

cpp — The file "targil_name.cpp" is compiled with the command
 g++ targil_name.cpp -lm -ansi -pedantic; "a.out" is run

s — The file "targil_name.s" is compiled with the command
 gcc -m32 targil_name.s; "a.out" is run

java — The files are compiled with the command
javac *.java"; "java targil_name" is run

py — No compilation; "python targil_name.py" is run

scm — No compilation; "guile -s targil_name.scm" is run

sml — No compilation; "sml @SMLload=heapimage.x86-linux" is run

pl — No compilation
 swipl -q -g "consult('$exercise.pl'), $input_string" -t "halt" is run

plx — No compilation; "perl targil_name.plx" is run

 make — The files are compiled according to a "makefile" supplied by student
a.out" is run"

dm — dummy; submitted files may be checked latter

m — No compilation; 'matlab -nodisplay -r "check(),quit"' is run
 (check.m is supplied by metargel to check the .m files sent by students)

sh - bash

ant – "ant compile" for compilation and "ant" to run. It sets appropriate ANT_HOME environment variable.

ant_compile – just compile with "ant compile" but do not run it.

net — Submitted files will be copied to and executed on virtual machines to test
 network connectivity
input = # default = stdin

.stdin — the program should read its input from standard input
.standard input will contain the test input

 Any "file_name" except "stdin" — the program should read its input from
.a file named "file_name". The file "file_name" will contain the test input
output = # default = stdout

 .stdout — the program should write its output to standard output
.standard output will be compared to the correct output

 Any "file_name" except "stdout" — the program should write its output to a file
.named "file_name". The file "file_name" will be compared to the correct output
timeout = # default = 12

.A timeout in seconds that limits the execution of checked programs
timing = # default = 0

‎1 — timing is enabled, execution time in seconds is recorded in "grades.txt" next
to the mark of each test case, in the format "mark/time".‎
.Execution time is reported to student if feedback = 1
 .The command "make_csv_long" will display this information
memleak = # default = 0

‎1 — memleak is enabled, memory leak in bytes is recorded in "grades.txt" next
to the mark of each test case, in the format "mark/time/lost/not-freed".‎
.Memory leak is reported to student if feedback = 1
.The command "make_csv_long" will display this information
feedback = # default = 0

‎1 — email sent as a response to submission of checked programs
.will include feedback
exact = # default = 1

‎1 — In both program output and correct output, whitespace is trimmed
before and after each line and consecutive spaces and/or tabs within
line are replaced by one space. Also, empty lines are trimmed too.
To avoid these behaviors set exact to 1.‎
data_files = # default = none‎

dir_name — a copy of the files within the directory
course_name/data/dir_name" will be available to the program~"
.at execution time for reading and writing
.The files will be copied again for each test case
weight = # default = 0
 This field will be used by make_csv to calculate the average grade
.for the course assignments
alias = # default = none
 alias_name — input/output for checking will be taken from
.the file alias_name.io
 Files within the directory "~course_name/data/alias_name" will be
.compiled together with the submitted files
.The grade will be given for targil alias_name

More than one alias can be denoted using the shell "here document syntax":‎

 alias=<<END_ALIAS
 alias1
 alias2
 END_ALIAS

To set a weight to aliases, each alias needs a section with a "weight" parameter
 .(see example above)

.Example using aliases, submit t1.c and t2.c to test

:auto.cfg
[test]
compiler = c
alias=t1
alias=t2

:t1.io
END_INPUT
one
END_OUTPUT 50

:t2.io
END_INPUT
two
END_OUTPUT 50

.or: submit one.c and two.c to test

:auto.cfg
[test]
compiler = make
alias=t1
alias=t2

:t1/makefile
a.out: one.c
 gcc one.c

:t2/makefile
a.out: two.c
 gcc two.c
message = # default = none

This field can be used to send a message to students,‎
the message will be attached to the email sent after submission.‎

gitcheck = # default = 0

Make sure the student made use of git (for that contents of .git directory must be sent).

P.s. make sure to disable flat extraction of archive (zip, rar) submitted files (to make sure .git directory will be in place).

giturl = # default = none

This is a link to a repository given to the students. If student’s git url (in .git/config) equals this one its implies that the student made a local copy (clone) of the repository instead of making a separate copy of it on git server (forking).

Giturl implies gitcheck.

הקובץ targil_name.io

קובץ זה מכיל את הקלטים והפלטים הנכונים עבור מקרי הבדיקה.

סוף כל קלט מסומן על ידי שורה המתחילה END_INPUT וסוף כל פלט על ידי שורה המתחילה END_OUTPUT. בהמשך שורת END_OUTPUT יופיע ציון עבור אותו מקרה. אם הפלט של התוכנית הנבדקת תואם לפלט הנכון, ציון זה נוסף לציון התרגיל.

בדוגמא הבאה, התוכנית הנבדקת מקבלת כקלט שני מספרים וצריכה להדפיס את הממוצע שלהם.

הוכנו שני מקרי בדיקה, במקרה הראשון הקלט הוא 3.0 ו- 4.0 והפלט הנכון הוא: “The average is 3.5”, ובמקרה השני הקלט הוא 1.0 ו- 0.5 והפלט הנכון הוא: “The average is 0.75”. עבור המקרה הראשון יתווסף לציון 60 נקודות ועבור המקרה השני 40.

3.0
4.0
END_INPUT
 The average is 3.50
 END_OUTPUT 60
 1.0
 0.5
END_INPUT
 The average is 0.75
 END_OUTPUT 40

הקובץ targil_name.io – ארגומנטים

אם רוצים לתת לתוכנית הנבדקת ארגומנטים בשורת הפקודה, יש להוסיף אותם עבור כל מקרה בדיקה בהמשך לשורת END_INPUT.

בדוגמא הבאה ישנם שני מקרי בדיקה שבהם נוספו ארגומנטים לשורת הפקודה. במקרה הראשון נוספו שני הארגומנטים “arg 20” ובמקרה השני נוסף הארגומנט “myfile” (הארגומנט יכול לשמש כשם של קובץ שעל התוכנית לפתוח). במקרה השני הקלט ריק ולכן END_INPUT מופיע מיד אחרי END_OUTPUT.

 input1
 input2
 END_INPUT arg 20
 output1
 output2
 END_OUTPUT 50
 END_INPUT myfile
 output3
 output4
 END_OUTPUT 50

הקובץ targil_name.io – השוואת שורות

בדרך כלל תכנית הבדיקה תשווה את פלט התכנית הנבדקת לפלט הנכון של המתרגל, אם נמצאו שווים אזי הנקודות שנקבעו עבור מקרה הבדיקה יתווספו לציון התרגיל. לפני בדיקת השוויון, תכנית הבדיקה מחליפה בשני הפלטים רצף של רווחים וטאבים ברווח אחד.

ישנה אפשרות לתת ניקוד לא לפי השוואה בינרית, אלא לפי מספר השורות השונות בין שני הפלטים. אם אחרי END_OUTPUT יופיעו כמה מספרים מופרדים ברווחים, תכנית הבדיקה תתיחס למספרים כאל מערך שמצין את הניקוד שיש לתת עבור n שורות לא שוות. לדוגמא:

END_OUTPUT 20 15 10

המספר 20 מציין את הניקוד שיש לתת עבור 0 שורות שונות, כלומר עבור פלט ללא שגיאות. המספר 15 הוא הניקוד עבור שורה אחת שונה והמספר 10 עבור שתי שורות שונות. אם מספר השורות השונות גדול מכך, לא ינתן ניקוד.

השוואת השורות מתבצעת לפי אלגוריתם diff, כל שורה שנוספה נגרעה או שונתה נחשבת לשגיאה. אם m שורות שונו ל- n שורות, מספר השורות השגויות הוא max(m,n)‎. שורה שזזה ממקומה נחשבת לשגיאה אחת

הוספת קבצי מתרגל בזמן קומפילציה

אם רוצים להוסיף לקבצים שנשלחו לבדיקה קבצים נוספים (לדוגמא main.cpp) כך שתכנית הבדיקה תקמפל אותם יחד, יש ליצור תיקיה ששמה כשם התרגיל בתוך התיקיה data:

‎~course_name/data/targil_name

ולשים את הקבצים הנוספים בתוך תיקיה זו. אם הקבצים שנשלחו לבדיקה מכילים קובץ מתוך הקבצים שבתיקיה זו, ההגשה תדחה. אם הוגדר לתרגיל alias, ניתן ליצור תיקיה ששמה כשם ה-alias עבור כל alias.

הוספת קבצי מתרגל בזמן ריצה

אם רוצים להוסיף לקבצים הנשלחים קבצי נתונים שיהיו זמינים לתכנית בזמן ריצה, יש לתת שם כלשהו של תיקיה כערך לפרמטר data_files בקובץ auto.cfg:

data_files=data_dir

בנוסף, יש ליצור תיקיה בשם זה בתוך התיקיה data:

‎~course_name/data/data_dir

ולשים את קבצי הנתונים בתוך תיקיה זו. אם הקבצים שנשלחו לבדיקה מכילים קובץ מתוך הקבצים שבתיקיה זו, ההגשה תדחה. התכנית הנבדקת יכולה לקרוא ולכתוב לקבצי הנתונים, הקבצים יועתקו מחדש עבור כל מקרה בדיקה.

קבצים זמניים

התוכנית הנבדקת יכולה ליצור קבצים זמניים בתיקיה הנוכחית.

קבצים אלטרנטיביים בבדיקה ידנית

בבדיקה ידנית אפשר ליצור קובץ io ו/או תיקיית קבצי מתרגל אלטרנטיביים שונים מהקבצים שישרתו את הבדיקה האוטומטית.

  • קובץ קלט ופלט: ~course_name/data/targil_name.io.manual.
  • תיקיית קבצי מתרגל: ~course_name/data/targil_name.manual.

בדיקה מפורטת של תרגיל

הפקודה הבאה תבדוק שוב תרגיל שנשלח, תציג את הקלט ותשווה את הפלטים:

check_ex full_path_to_targil_dir
 or
check_ex targil_name/user_name

For example:
check_ex /u/courses/89-999/01/targil1/student-0
 or
check_ex targil1/student

הפקודה יכולה לשמש את המתרגל בזמן הכנת הקלטים וכן לברור ציון. הפקודה לא כותבת ציון בקובץ הציונים ולא שולחת הודעה בדואר.

בדיקה חוזרת של ההגשות לתרגיל

הפקודה הבאה תבדוק שוב את כל ההגשות לתרגיל. אם ערכו את הקובץ targil_name.io, הבדיקה תתבצע עם הקלט החדש.

check_again [group/]targil_name [ nomail | mail | feedback | debug ]

אפשרויות ההפעלה:

  • ללא פרמטר נוסף: הפקודה תדפיס ציונים על המסך, לא תכתוב ציון בקובץ הציונים ולא תשלח הודעה למגיש.
  • nomail: הפקודה תדפיס ציונים על המסך ותכתוב ציון בקובץ הציונים, אך לא תשלח הודעה למגיש.
  • mail: הפקודה תדפיס ציונים על המסך, תכתוב ציון בקובץ הציונים ותשלח הודעה למגיש.
  • feedback: כמו mail, בתוספת הקלטים ששימשו לבדיקה והשוואת הפלטים בהודעה למגיש.
  • debug: הפקודה תדפיס ציונים, את הקלטים ששימשו לבדיקה ואת השוואת הפלטים. היא לא תכתוב ציון בקובץ הציונים ולא תשלח הודעה למגיש.

קובץ הציונים

מערכת הבדיקה כותבת את הציון לתרגיל שנבדק בסוף הקובץ:

‎~course_name/data/grades.txt

אין לערוך קובץ זה בזמן שהמערכת פועלת. לקובץ יש גיבוי ראי במקום נוסף.

יצירת טבלת ציונים

הפקודה הבאה קוראת את הקובץ grades.txt ויוצרת טבלת ציונים לפי ההגשה האחרונה של כל תרגיל:

   make_csv [ targil1 ... ]

ללא פרמטרים, הטבלה תכיל את כל התרגילים. עם פרמטר, הטבלה תכיל את התרגילים המפורטים. הטבלה נוצרת בתיקיה course_name/data, שם הטבלה course_name.csv. כל שורה מכילה את שם הסטודנט, מספר ת”ז, login, ציוני התרגילים וממוצע הציונים לפי המשקל שניתן לתרגילים, השדות מופרדים בפסיקים בהתאם לפורמט csv.

ישנם כמה גרסאות לפקודה זו

  • make_csv_leak - דו"ח עם מידע על דליפת זיכרון בתרגיל.
  • make_csv_long - מפרט את הציון של כל בדיקה בנפרד.
  • make_csv_submissions - כל ציוני ההגשות.
  • make_csv_timing - כולל זמני ריצה.

בדיקת העתקות

הפקודה הבאה שולחת את הקבצים שהוגשו, לשרת (moss.stanford.edu) שבודק ההעתקות של תוכניות מחשב:

moss targil_name [ s | t | l | y | m | c ]‎

השרת מחזיר URL שמכיל את תוצאות הבדיקה. בכדי לבצע את ההשוואה, השרת צריך לדעת באיזו שפה התוכניות כתובות. הפקודה moss מוצאת את השפה לפי המוגדר בקובץ auto.cfg, לפיכך אין צורך בפרמטר נוסף עבור תרגיל שנבדק אוטומטית והוגדר c, c++, java, python. תרגיל שהוגדר make נשלח כתרגיל ++c.

כאשר אי אפשר לדעת את השפה לפי הקובץ auto.cfg יש צורך להוסיף פרמטר לפקודה:

  • s – קובץ עם סיומת s. (אסמבלר 8086)
  • t – קובץ עם סיומת txt. (יבדק כטכסט)
  • l – קובץ עם סיומת lex. (יבדק כטכסט)
  • y – קובץ עם סיומת y. (יבדק כטכסט)
  • m – קובץ עם סיומת matlab) .m)
  • c – תרגיל שהוגדר make ומכיל קבצי c

אפשר לבקש שהמערכת לא תתייחס לקבצים מסויימים ע"י:

moss targil_name -b filename1 -b filename2 lang