[feat] load LISA model in 4 bit to avoid Memory limit exceeded errors

main.py

@@ -52,7 +52,7 @@ def health() -> str:
 @session_logger.set_uuid_logging
 def parse_args(args_to_parse):
     parser = argparse.ArgumentParser(description="LISA chat")
-    parser.add_argument("--version", default="xinlai/LISA-13B-llama2-v1")
+    parser.add_argument("--version", default="xinlai/LISA-13B-llama2-v1-explanatory")
     parser.add_argument("--vis_save_path", default="./vis_output", type=str)
     parser.add_argument(
         "--precision",
@@ -69,7 +69,7 @@ def parse_args(args_to_parse):
     )
     parser.add_argument("--local-rank", default=0, type=int, help="node rank")
     parser.add_argument("--load_in_8bit", action="store_true", default=False)
-    parser.add_argument("--load_in_4bit", action="store_true", default=False)
+    parser.add_argument("--load_in_4bit", action="store_true", default=True)
     parser.add_argument("--use_mm_start_end", action="store_true", default=True)
     parser.add_argument(
         "--conv_type",