atarionline.pl AOL Wayback Machine - Forum Atarum

    Jeśli chcesz wziąć udział w dyskusjach na forum - zaloguj się. Jeżeli nie masz loginu - poproś o członkostwo.

    • :
    • :

    Vanilla 1.1.4 jest produktem Lussumo. Więcej informacji: Dokumentacja, Forum.

      • 1:
         
        CommentAuthorKaz
      • CommentTime18 Jan 2020 11:01
       
      Pięknie! :)
      Dzięki Zbyti.
      • 2: CommentAuthorzbyti
      • CommentTime18 Jan 2020 11:01 zmieniony
       
      • 3: CommentAuthorzbyti
      • CommentTime18 Jan 2020 21:01
       
      No to jeszcze input na stronie wyników wyszukiwania który działa tak samo jak na głównej.

      Wpisujesz szukaną frazę i zatwierdzasz enterem, otrzymane wyniki filtrujesz drugim polem.
      • 4: CommentAuthorzbyti
      • CommentTime18 Jan 2020 22:01
       
      @Kaz jeżeli chcesz poinformować użytkowników o zamianach i jak ich używać etc. to ja już nic nie będę zmieniał. Do lutego na pewno nic nie ruszę w sprawie AOL.

      Jedyny wyjątek to jakby był VPS to mogę zautomatyzować aktualizację bazy danych wayback w cyklu dziennym.

      Nie wiem kto płaci za AOL ale jest on na OVH a tam można dokupić wystarczający VPS za 11,00 PLN netto miesięcznie ->link<- Na taki serwer można by zmigrować całe AOL, jest wystarczający nawet ten najtańszy i zrezygnować z hostingu współdzielonego (jeżeli na takim stoimi).

      Będzie dostęp po ssh, wszystko można puścić w kontenerach i takie tam.

      Tak tylko piszę jakby DevOps nie znalazł czasu.
      • 5: CommentAuthorjakubd
      • CommentTime18 Jan 2020 22:01
       
      Z tego co wiem to hosting został wykupiony dawno temu i mamy go na lata - po zbiórce, którą nawet pamiętam tu na AOL. Ja bym tego nie ruszał i traktował jak główny hosting, natomiast wszelkie bajery szmery rowery możemy trenować i eksperymentować na VPSie, które postawię na swoim serwerze VMek. Dzięki tobie wiem już ile potrzeba miejsca (niewiele), teraz tylko muszę dobrać się do hostingu, przelecieć go i ustalić jak najlepiej zrobić kopię/backup cokolwiek i środowisko testowe.
      Takie typowe SysOpowe zabawy.
      • 6:
         
        CommentAuthorKaz
      • CommentTime18 Jan 2020 22:01 zmieniony
       
      Hosting mamy wykupiony za każdym razem na rok. To jest w OVH Sp. z o.o. w postaci abonamentu na serwer wirtualny Pro na 12 miesięcy, liczony od 7 maja każdego roku, oraz usługi w Masternet.pl w postaci utrzymania domeny AtariOnline.pl, liczone od 14 lipca każdego roku. Czyli w tym cyklu mamy spokój do 6 maja 2020.

      Zbiórka na serwer i domenę odbyła się w 2016 roku i wystarczy nam do 2026 roku. Było o tym tutaj, łącznie z listą darczyńców:

      ->link<-
      • 7: CommentAuthorzbyti
      • CommentTime18 Jan 2020 22:01 zmieniony
       
      @jakubd no to działaj :]

      Skryptem jakim zrobiłem backup grafiki możesz generalnie zrzucić cały kod jaki tam jest dostępny po ftp.

      Bazę aol.db polecam tworzyć w pamięci bo inaczej wykona się kilkadziesiąt tysięcy zapisów dziennie jeżeli tak będzie cykl wydawniczy :>

      Jak byś mi dał dostęp po ssh do jakiegoś swojego VPS to ja to zrobię od razu jeszcze dziś bo jako autor rozwiązania niecierpliwię się, że to musi czekać skoro przecież mogło by działać ;)

      Na ten moment kodować nie zamierzam do lutego przynajmniej ale poświęcę (do póki nie zrobisz automatu, albo nie dasz mi dostępu) te 10 min na podbicie bazy danych archiwów co nowy artykuł.

      @Kaz "serwer wirtualny Pro" no to poproszę dostęp po ssh :]
      • 8: CommentAuthorzbyti
      • CommentTime18 Jan 2020 23:01 zmieniony
       
      Podobają mi się wpłaty darczyńców 65,02 PLN :D
      • 9:
         
        CommentAuthorKaz
      • CommentTime18 Jan 2020 23:01
       
      Ktoś kiedyś wpłacił 65,03 zł i powstała zagadka, czy chodziło o jakieś nielegale? :)
      • 10: CommentAuthorMADRAFi
      • CommentTime18 Jan 2020 23:01
       
      65,10 to pewnie komodorowiec jakis :)
      • 11: CommentAuthorzbyti
      • CommentTime19 Jan 2020 00:01 zmieniony
       
      Wrzucona nowa baza.

      Stan na: 2020-01-19 00:52

      Operacja zajęła mi minutę: download / update / upload :]

      Więc na ten moment, minutę raz dziennie to mogę na to poświęcić :D
      • 12:
         
        CommentAuthorKaz
      • CommentTime19 Jan 2020 02:01
       
      No proszę, minutę. Minuta w szachach błyskawicznych... to wieczność! :D

      A nie da się tego download/update/upload zrobić automatem?
      • 13: CommentAuthorzbyti
      • CommentTime19 Jan 2020 02:01 zmieniony
       

      Kaz:

      A nie da się tego download/update/upload zrobić automatem?

      No przecież już kilka razy pisałem: daj mi dostęp po ssh to zrobię automat jeszcze dziś!

      Zwłaszcza, że napisałeś co jest kupione i wygląda to na VPS a nie na hosting współdzielony.

      Jak można mieć dostęp po ssh i kazać biednemu developerowi męczyć się po ftp?! Przecież to sadyzm i średniowiecze! :D
      • 14:
         
        CommentAuthorKaz
      • CommentTime19 Jan 2020 02:01
       
      Panie kochany, ja tu o dostęp sam muszę prosić Zygę. Jutro będę człowieka spróbuję nękać, w nocy mu odpuszczę, bo praca, rodzina... :D
      • 15: CommentAuthorzbyti
      • CommentTime19 Jan 2020 02:01
       
      Pier... biurokracja, wszędzie to samo ;)
      • 16: CommentAuthorjakubd
      • CommentTime19 Jan 2020 03:01
       
      @zbyti - właśnie jestem teraz, żeby to wszystko uporządkować i pięknie w ramki oprawić Kazowi, co by wszystko było pod ręką. Także es es ejcz jak się da, czy inne takie.
      • 17: CommentAuthorzbyti
      • CommentTime19 Jan 2020 03:01 zmieniony
       
      @jakubd gut :]
      • 18: CommentAuthorzbyti
      • CommentTime20 Jan 2020 14:01 zmieniony
       
      No proszę, jakiś nicpoń (Ilmenit) wrzucił JS

      <script>alert("Test");</script>

      w treści artykuły ->link<-
      • 19:
         
        CommentAuthorKaz
      • CommentTime20 Jan 2020 15:01
       
      Z maila, którego dzisiaj dostałem:

      Czy ten WayBack zostanie? Jest zajebisty, lece po kolei artykuly.
      • 20: CommentAuthorVLX
      • CommentTime20 Jan 2020 15:01
       
      Proszę o przyciski "poprzedni artykuł" i "następny artykuł", żeby nie trzeba było po każdym wracać (albo zamykać zakładki) i klikać następnego z listy. :)
      • 21: CommentAuthorzbyti
      • CommentTime20 Jan 2020 16:01 zmieniony
       
      @VLX miałem już nie dotykać kodu bo wyjeżdżam, ale taką minutową zmianę mogłem jeszcze dodać ;)

      >> oddaje następny artykuł, do cofania użyj przycisku przeglądarki.

      Pasuje?
      • 22: CommentAuthorVLX
      • CommentTime20 Jan 2020 16:01
       
      Dzię! Ku! Je! My! :D
      • 23: CommentAuthorzbyti
      • CommentTime20 Jan 2020 22:01 zmieniony
       
      NOTKA DEV

      Rozważyć podczas konwersji artykułów (po użyciu TIDY, a może lepiej przed?)
      $text = str_replace('\r\n', ' ', $text);

      i w css word-wrap: break-word ->link<- by zapewnić RWD.
      • 24: CommentAuthorzbyti
      • CommentTime22 Jan 2020 13:01
       
      Baza wayback podbita na 22.01.2020 13:45. Niestety wciąż z ręki i minutę życia straciłem ;P
      • 25:
         
        CommentAuthorjhusak
      • CommentTime22 Jan 2020 14:01
       
      A ile to trwa? Może po każdym dodaniu nowinki odpalać skrypt?
      • 26: CommentAuthorzbyti
      • CommentTime22 Jan 2020 14:01 zmieniony
       
      @jhusak z racji tego, że redaktorzy mogą operować na całej obecnej "bazie" AOL i ją modyfikować to wytworzenie bay wayback polega na każdorazowym zaciągnięciu obecnego news.txt i comments.txt do bazy poskładanej z backupów na koniec 2012.

      Obecnie muszę pobrać po ftp ok 20MB danych i odopalić skrypt, który robi na archiwalnej bazie INSERT or REPLACE.

      Gdy robię to w RAM dysku to operacja kilkudziesięciu tysięcy zapisów trwa parę sekund, na fizycznym dysku było by dłużej.

      Po wytworzeniu nowego aol.db puszczam SQL który usuwa odnalezione duplikaty z bazy (w treści bo id mają inne) i uspójnia nazwy redaktorów zgodnie z wytycznymi @Kaza.

      Nie mogę tego zrobić na serwerze produkcyjnym bo Zyga pomimo monitów ani nie przekazuje dostępu do panelu OVH Jakubowi by ten to ogarną (bo jest chętny i gotowy) ani nie dał dostępu po ssh developerom.

      Co prawda wypadłem z gry na jakiś czas ale jak jeszcze się bawiłem trochę serwerami to taki dostęp można było komuś dać w czasie nie dłuższym niż wypicie kawy. Nie wiem dlaczego to tyle trwa.
      • 27: CommentAuthorzbyti
      • CommentTime22 Jan 2020 17:01 zmieniony
       
      Proszę ustawić albo odpowiedni tytuł albo status dla ->link<- to przy następnym wytworzeniu się aol.db będzie już OK.

      Chyba w ogóle jest do usunięcia bo finalnie ukazało się to ->link<-

      Dobra, sam dopisuje 1462985024 do usunięcia w SQL, także nikt nic nie musi robić.
      • 28: CommentAuthorzbyti
      • CommentTime24 Jan 2020 02:01 zmieniony
       
      Jako, że nie mam dostępu do crona ani możliwości instalacji niezbędnych modułów php automatyzacja posuneła się tylko o tyle, ze teraz mogę podbić wayback puszczając poniższy skrypt.

      Jakbyś Jakub chciał to zautomatyzować to ja robię to na ten moment tak:

      update-wayback.sh
      #!/bin/bash
      SECONDS=0
      echo -e "creating structure"
      mkdir -p /home/zbyti/Ramdisk/aol/current
      cd /home/zbyti/Ramdisk/aol
      echo -e "copy news.txt"
      sshpass -p "secret" scp login@domain:cn/data/news.txt current/news.txt
      echo -e "copy comments.txt"
      sshpass -p "secret" scp login@domain:cn/data/comments.txt current/comments.txt
      echo -e "copy converter"
      cp /home/zbyti/Projects/AOL_Converter/convert-and-populate.sh .
      cp /home/zbyti/Projects/AOL_Converter/comments-converter-inserter.php .
      cp /home/zbyti/Projects/AOL_Converter/news-converter-inserter.php .
      cp /home/zbyti/Projects/AOL_Converter/updates.sql .
      cp /home/zbyti/Projects/AOL_Converter/aol-archive-complete.db /home/zbyti/Ramdisk/aol/aol.db
      echo -e "aol.db updating..."
      ./convert-and-populate.sh 2
      cat updates.sql | sqlite3 aol.db
      echo -e "aol.db was updated"
      sshpass -p "secret" scp aol.db login@domain:wayback/
      echo -e "aol.db was uploaded"
      cd ..
      rm -r aol
      echo -e "Done in $SECONDS seconds"

      ./update-wayback.sh 
      creating structure
      copy news.txt
      copy comments.txt
      copy converter
      aol.db updating...
      Populating current data...
      Populating is now complete!
      aol.db was updated
      aol.db was uploaded
      Done in 30 seconds

      Oczywiście skrypt można skrócić przygotowując odpowiednią strukturę i kopiując folder rekursywnie, ale by było wiadomo co i jak jest jak powyżej, poniżej wersja skrócona ;)

      update-wayback-short.sh
      #!/bin/bash
      SECONDS=0
      echo -e "creating structure"
      cp -R /home/zbyti/Projects/AOL_update_wayback /home/zbyti/Ramdisk
      cd /home/zbyti/Ramdisk/AOL_update_wayback
      echo -e "copying data..."
      sshpass -p "secret" scp -T login@domain:"cn/data/news.txt cn/data/comments.txt" current
      echo -e "aol.db updating..."
      ./convert-and-populate.sh 2
      cat updates.sql | sqlite3 aol.db
      echo -e "aol.db was updated"
      sshpass -p "secret" scp aol.db login@domain:wayback/
      echo -e "aol.db was uploaded"
      cd ..
      rm -r AOL_update_wayback
      echo -e "Done in $SECONDS seconds"
      • 29: CommentAuthorzbyti
      • CommentTime5 Apr 2020 13:04 zmieniony
       
      @jakubd masz jakiś zakręt życiowy? Już od dłuższego czasu nie aktualizuję bazy Wayback bo czekam na ten VPS od Ciebie.

      Coś się u Ciebie zmieniło?

      Ja przeinstalowałem system i nie wrzucałem sobie PHP dlatego nie aktualizuję ze swojego kompa.

      Bez kitu, ja za chwile zapomnę jak to działa :D
      • 30:
         
        CommentAuthorDracon
      • CommentTime5 Apr 2020 20:04
       
      @Zbyti: zapisz co trzeba w swoim kajecie, teraz naprawdę szkoda byłoby stracić szansy na uporządkowanie AOL-u raz na zawsze!
      • 31: CommentAuthorzbyti
      • CommentTime5 Apr 2020 21:04
       
      @Dracon nigdy nie byłem mocny w posiadaniu zeszytów a co dopiero w notowaniu w nich ;)

      Będę musiał przeczytać odpowiednie wątki na forum jr. pewnie :]