src/DataProvider/ReadFiles.php line 344

  1. <?php
  2. // api/src/DataProvider/BlogPostCollectionDataProvider.php
  4. namespace App\DataProvider;
  5. use App\Common\Functions\DbFunction;
  6. use App\Common\Functions\Filters\Helper;
  7. use App\Common\Functions\PPTFunction;
  8. use App\Common\Functions\Upload;
  9. use Symfony\Component\HttpFoundation\JsonResponse;
  10. use Symfony\Component\HttpFoundation\Response;
  11. use Symfony\Bundle\FrameworkBundle\Controller\AbstractController;
  12. use Symfony\Component\HttpFoundation\Request;
  13. use App\Common\Functions\Helpers;
  14. use PhpOffice\PhpSpreadsheet\IOFactory;
  15. use App\Document\Apps\Sheets;
  16. use App\Functions\Common\Variables;
  17. use Doctrine\ODM\MongoDB\DocumentManager;
  18. use Symfony\Component\HttpFoundation\BinaryFileResponse;
  19. use Symfony\Component\HttpKernel\Exception\NotFoundHttpException;
  20. use Symfony\Component\Serializer\Normalizer\AbstractNormalizer;
  21. use Symfony\Component\Serializer\Normalizer\ObjectNormalizer;
  22. use Symfony\Component\Serializer\SerializerInterface;
  23. use Symfony\Component\Finder\Finder;
  25. // use NcJoes\OfficeConverter\OfficeConverter;
  27. // use App\Common\Functions\CircularHandler;
  28. class ReadFiles extends AbstractController
  29. {
  30.   /** string $rootPath */
  31.   public $rootPath;
  32.   protected $headers = Variables::JSON_RESPONSE_HEADER;
  33.   private $ppts = ["pptx"=>"PowerPoint2007", "ppt"=>"PowerPoint97", "odb"=>"ODPresentation"];
  34.   private $dm;
  35.   private $serializer;
  36.   private $options = Variables::SERIALIZER_OPTIONS;
  37.   private $options_de = Variables::DESERIALZER_OPTIONS;
  39.   public function __construct(string $rootPath, DocumentManager $dm, SerializerInterface $serializer)
  40.   {
  41.     $this->dm = $dm;
  42.     $this->rootPath = $rootPath;
  43.     $this->serializer = $serializer;
  44.   }
  45.   public function readExcel(Request $request)
  46.   {
  47.     # code...
  48.     $dm = $this->dm;
  49.     $file = $request->files->get('file');
  50.     $params = $request->get('params');
  51.     $val = (object) [];
  52.     $headers = $request->headers->all();
  53.     $app = $headers['app'] ?? [];
  54.     $tz = $headers['tz'] ?? [];
  55.     $app = $app[0] ?? 'default';
  56.     $h_params = (object) ['app' => $app, 'tz' => $tz];
  57.     $path = Upload::UploadFile($file, $val, $this->rootPath);
  58.     $spreadsheet = IOFactory::load($path);
  59.     $sheetCount = $spreadsheet->getSheetCount();
  60.     $out = [];
  61.     $ids = [];
  62.     $id = $request->get('id');
  63.     $sheets = $dm->getRepository(Sheets::class)->findBy(["file"=>$id]);
  64.     foreach ($sheets as $key => $sh) {
  65.       # code...
  66.       $sheet = $spreadsheet->getSheetByName($sh->name);
  67.       $values = $sheet->toArray(null, true, true, true);
  68.       $l_data = [];
  69.       $headings = array_map(fn($x)=>rtrim(strtolower($x)), array_shift($values));
  70.       // dd($headings);
  71.       $rep = [];
  72.       foreach (($sh->mapping ?? []) as $key => $map) {
  73.         $val = array_search($map, $headings);
  74.         if($val !== false){
  75.           // dd($map, $key, $val);
  76.           $rep[$val] = $key;
  77.         }
  78.       }
  79.       $headings = array_replace($headings, $rep);
  80.       // dd($headings);
  81.       foreach(($sh->links ?? []) as $key => $l){
  82.         $link = (object) $l;
  83.         // dd($link);
  84.         $md = Helpers::get_module($link->model);
  85.         $q = $dm->getRepository($md)->findAll();
  86.         $query = [];
  87.         // dd($q, array_keys($link->query), $link->model, $l_data);
  88.         $l_data[$link->model] = Helper::applyFilters([
  89.           "key"=>"keys",
  90.           "levels"=>array_keys($link->query),
  91.         ], $q);
  92.       }
  93.         array_walk(
  94.             $values,
  95.             function (&$row) use ($headings, $sh, $dm, $l_data, $params) {
  96.               $row = array_combine($headings, $row);
  97.               $row = array_merge($row, $params ?? []);
  98.               // dd($row);
  99.               foreach(($sh->links ?? []) as $key => $l){
  100.                 $link = (object) $l;
  101.                 // dd($link);
  102.                 $query = [];
  103.                 $temp = $l_data[$link->model];
  104.                 $skip = false;
  105.                 foreach ($link->query as $k => $q) {
  106.                   # code...
  107.                   $val = $row[$q] ?? '';
  108.                   $val = str_replace("\u{00a0}", ' ', $val);
  109.                   $val = trim($val);
  110.                   if(!$val){
  111.                     $skip = true;
  112.                   }
  113.                   $temp = $temp[$val] ?? [];
  114.                 }
  115.                 $val = $temp->id ?? null;
  116.                 // dd($row, $val, $l_data[$link->model]);
  117.                 if($val && !$skip){
  118.                   $row[$key] = $val;
  119.                 }else{
  120.                   if($row[$key] ?? false){
  121.                     unset($row[$key]);
  122.                   }
  123.                 }
  124.                 $maps = $sh->vals ?? [];
  125.                 foreach ($maps as $key => $map) {
  126.                   # code...
  127.                   // dd($row);
  128.                   if($map["key"]){
  129.                     $row[$key] = Helper::applyFilters($map, $row);
  130.                   }
  131.                 }
  132.                 // dd($row);
  133.               }
  134.             }
  135.         );
  136.         // $out[$sh->model] = $temp;
  137.         $model = Helpers::get_module($sh->model);
  138.         $map_data = Helpers::getFun($model, 'MapData');
  139.         $pre_save = Helpers::getFun($model, 'PreSave');
  140.         if(count($values) < 500){
  141.           $mainIds = array_filter(array_map(fn($x)=>$x[$sh->ident] ?? null, $values), fn($d)=>!is_null($d));
  142.           $q = $dm->getRepository($model)->findBy([$sh->ident=>['$in'=>$mainIds]]);
  143.         }else{
  144.           $q = $dm->getRepository($model)->findAll();
  145.           // dd($q);
  146.         }
  147.         $db_datas = Helper::applyFilters([
  148.           "key"=>"keys",
  149.           "levels"=>[$sh->ident]
  150.         ], $q);
  151.         $e_ids = [];
  152.         $i=0;
  153.         // dd($db_datas);
  154.         foreach ($values as $v => $ev) {
  155.             # code...
  156.             // $ev = array_merge($ev, $params ?? []);
  157.             $id = $ev[$sh->ident] ?? null;
  158.             // dd((bool)($db_datas[$id] ?? false), $db_datas);
  159.             if (($db_datas[$id] ?? false)) {
  160.               // try{
  161.                 $saves = $this->serializer->deserialize(json_encode($ev), $model, 'json', ['object_to_populate' => clone $db_datas[$id], ObjectNormalizer::DEEP_OBJECT_TO_POPULATE=> true, ObjectNormalizer::DISABLE_TYPE_ENFORCEMENT=>true, 'multi'=>true]);
  162.                 // dd($ev, $saves);
  164.               // }catch(\Exception){
  165.               //   dd($ev, $db_datas[$id]);
  166.               // }
  167.                 // dd($saves);
  168.                 $dm->persist($saves);
  169.                 // $dm->flush();
  170.                 if($pre_save){
  171.                   $pre_save->invoke((object)[], $dm, $saves, $this->serializer, $db_datas[$id], $this, $h_params);
  172.                 }
  173.                 array_push($e_ids, $saves->getId());
  174.                 continue;
  175.             }
  176.             $value = $this->serializer->deserialize(json_encode($ev), $model, 'json', $this->options_de);
  177.             $dm->persist($value);
  178.             // $dm->flush();
  179.             if($pre_save){
  180.               $pre_save->invoke((object)[], $dm, $value, $this->serializer, (object) [], $this, $h_params);
  181.             }
  182.             array_push($e_ids, $value->getId());
  183.         }
  184.         // dd($db_datas);
  185.         $ids[$sh->model] = $e_ids;
  186.       }
  187.       $dm->flush();
  188.     // dd($ids);
  190.     // dd('here');
  191.     foreach ($ids as $key => $value) {
  192.       $model = Helpers::get_module($key);
  193.       $post_save = Helpers::getFun($model, 'PostSave');
  194.       $dm->clear();
  195.       $out[$key] = $dm->getRepository($model)->findBy(["id"=>['$in'=>$ids[$key] ?? []]]);
  196.       if($post_save){
  197.         call_user_func($post_save."::{$key}", $dm, $out[$key], $this->serializer);
  198.       }
  199.     }
  200.     $res = $this->serializer->serialize($out, 'json', $this->options);
  201.     return new Response($res, Response::HTTP_CREATED, $this->headers);
  202.   }
  204.   public function readMultiSheets(Request $request)
  205.   {
  206.     # code...
  207.     $dm = $this->dm;
  208.     $file = $request->files->get('file');
  209.     $val = (object) [];
  210.     $path = Upload::UploadFile($file, $val, $this->rootPath);
  211.     $spreadsheet = IOFactory::load($path);
  212.     $names = $spreadsheet->getSheetNames();
  213.     $headers = $request->headers->all();
  214.     $app = $headers['app'] ?? [];
  215.     $tz = $headers['tz'] ?? [];
  216.     $app = $app[0] ?? 'default';
  217.     $h_params = (object) ['app' => $app, 'tz' => $tz];
  218.     $out = [];
  219.     $id = $request->get('id');
  220.     $sh = $dm->getRepository(Sheets::class)->findOneBy(["file"=>$id]);
  221.     foreach ($names as $key => $shName) {
  222.       # code...
  223.       $sheet = $spreadsheet->getSheetByName($shName);
  224.       $values = $sheet->toArray(null, true, true, true);
  225.       $l_data = [];
  226.       foreach($sh->links as $key => $l){
  227.         $link = (object) $l;
  228.         // dd($link);
  229.         $md = Helpers::get_module($link->model);
  230.         $q = $dm->getRepository($md)->findAll();
  231.         $query = [];
  232.         $l_data[$link->model] = Helper::applyFilters([
  233.           "key"=>"keys",
  234.           "levels"=>array_keys($link->query),
  235.         ], $q);
  236.       }
  237.       $headings = array_shift($values);
  238.         array_walk(
  239.             $values,
  240.             function (&$row) use ($headings, $sh, $dm, $l_data) {
  241.               $row = array_combine($headings, $row);
  242.               foreach($sh->links as $key => $l){
  243.                 $link = (object) $l;
  244.                 // dd($link);
  245.                 $query = [];
  246.                 $temp = $l_data[$link->model];
  247.                 $skip = false;
  248.                 foreach ($link->query as $k => $q) {
  249.                   # code...
  250.                   // dd($q, $temp);
  251.                   $val = $row[$q] ?? null;
  252.                   if(!$val){
  253.                     $skip = true;
  254.                   }
  255.                   $temp = $temp[$val] ?? [];
  256.                 }
  257.                 $val = $temp->id ?? null;
  258.                 // dd($row, $val, $l_data[$link->model]);
  259.                 if($val && !$skip){
  260.                   $row[$key] = $val;
  261.                 }else{
  262.                   if($row[$key] ?? false){
  263.                     unset($row[$key]);
  264.                   }
  265.                 }
  266.               }
  267.             }
  268.         );
  269.         // $out[$sh->model] = $temp;
  270.         // dd($sh);
  271.         $model = Helpers::get_module($sh->model);
  272.         // $map_data = Helpers::getFun($model, 'MapData');
  273.         $pre_save = Helpers::getFun($model, 'PreSave');
  274.         if(count($values) < 500){
  275.           $mainIds = array_filter(array_map(fn($x)=>$x[$sh->ident] ?? null, $values), fn($d)=>!is_null($d));
  276.           $q = $dm->getRepository($model)->findBy([$sh->ident=>['$in'=>$mainIds]]);
  277.         }else{
  278.           $q = $dm->getRepository($model)->findAll();
  279.           // dd($q);
  280.         }
  281.         $db_datas = Helper::applyFilters([
  282.           "key"=>"keys",
  283.           "levels"=>[$sh->ident]
  284.         ], $q);
  285.         $e_ids = [];
  286.         $i=0;
  287.         // dd($db_datas);
  288.         foreach ($values as $v => $ev) {
  289.             # code...
  290.             $id = $ev[$sh->ident] ?? null;
  291.             // dd((bool)($db_datas[$id] ?? false), $db_datas);
  292.             if (($db_datas[$id] ?? false)) {
  293.               // try{
  294.                 $saves = $this->serializer->deserialize(json_encode($ev), $model, 'json', ['object_to_populate' => $db_datas[$id], ObjectNormalizer::DEEP_OBJECT_TO_POPULATE=> true, ObjectNormalizer::DISABLE_TYPE_ENFORCEMENT=>true, 'multi'=>true]);
  296.               // }catch(\Exception){
  297.               //   dd($ev, $db_datas[$id]);
  298.               // }
  299.                 // dd($saves);
  300.                 $dm->persist($saves);
  301.                 // $dm->flush();
  302.                 if($pre_save){
  303.                   $pre_save->invoke((object)[], $dm, $saves, $this->serializer, $this, $h_params);
  304.                 }
  305.                 array_push($e_ids, $saves->getId());
  306.                 continue;
  307.             }
  308.             $value = $this->serializer->deserialize(json_encode($ev), $model, 'json', $this->options_de);
  309.             $dm->persist($value);
  310.             // $dm->flush();
  311.             if($pre_save){
  312.               $pre_save->invoke((object)[], $dm, $value, $this->serializer, $this, $h_params);
  313.             }
  314.             array_push($e_ids, $value->getId());
  315.         }
  316.         // dd($db_datas);
  317.         $ids[$sh->model] = $e_ids;
  318.       }
  319.       $dm->flush();
  320.     // dd($ids);
  322.     // dd('here');
  323.     foreach ($ids as $key => $value) {
  324.       $model = Helpers::get_module($key);
  325.       $post_save = Helpers::getFun($model, 'PostSave');
  326.       $out[$key] = $dm->getRepository($model)->findBy(["id"=>['$in'=>$ids[$key] ?? []]]);
  327.       if($post_save){
  328.         call_user_func($post_save."::{$key}", $dm, $out[$key], $this->serializer);
  329.       }
  330.     }
  331.     $res = $this->serializer->serialize($out, 'json', $this->options);
  332.     return new Response($res, Response::HTTP_CREATED, $this->headers);
  333.   }
  334.   public function readFile(string $id, Request $request){
  335.     $model = Helpers::get_module('files__file');
  336.     $dm = $this->dm;
  337.     $fs = $dm->getRepository($model)->findOneBy(["id"=>$id]);
  338.     if(!$fs){
  339.       throw new NotFoundHttpException("file not found");
  340.     }
  341.     $file = $this->rootPath.$fs->path;
  342.     return new BinaryFileResponse($file, 200);
  343.   }
  344.   public function readFileObject(string $id, Request $request){
  346.     $fs = DbFunction::findModelBy($this->dm, 'files__file', ["id"=>$id]);
  347.     if(!$fs){
  348.       throw new NotFoundHttpException("file not found");
  349.     }
  350.     $out = Upload::ReadFileS3([], $fs);
  351.     $headers = [
  352.       'Content-Type' => Helpers::ReadMime([], $fs),
  353.     ];
  355.     return new Response($out, 200, $headers);
  356.   }
  357.   public function readFilePath(string $id, string $path, Request $request){
  358.     $file = join(DIRECTORY_SEPARATOR, [$this->rootPath, 'storage', 'files__file', $id, $path.'.jpg']);
  359.     // dd('file is here');
  360.     return new BinaryFileResponse($file, 200);
  361.   }
  362.   public function readPPTImages(string $id, Request $request){
  363.     $model = Helpers::get_module('files__file');
  364.     $dm = $this->dm;
  365.     $fs = $dm->getRepository($model)->findOneBy(["id"=>$id]);
  366.     if(!$fs){
  367.       throw new NotFoundHttpException("file not found");
  368.     }
  369.     $out = PPTFunction::ReadPPTIMages($fs, $this->rootPath);
  370.     $res = [];
  371.     $i=0;
  372.     $finder = new Finder();
  373.     // find all files in the current directory
  374.     $finder->files()->in($out);
  375.     foreach($finder as $file){
  376.       // dd(join('/', [$fs->id, $file->getFilenameWithoutExtension()]));
  377.       // dd($file->getFilenameWithoutExtension());
  378.       $res[$i] = join('/', [$fs->id, $file->getFilenameWithoutExtension()]);
  379.       $i++;
  380.     }
  381.     // dd('success');
  382.     // $ppt_ext = $this->ppts[$ext] ?? false;
  383.     // if(!$ppt_ext){
  384.     //   throw new NotFoundHttpException("file not ppt");
  385.     // }
  386.     // $pptReader = PPTIOFactory::createReader($ppt_ext);
  387.     // $presentation =  $pptReader->load($filename);
  388.     sort($res);
  389.     return new JsonResponse($res);
  390.   }
  391. }