SeeM

Jak na darmowy model do Ollamy to 256k to wcale nie jest żle. Nasze Bieliki z Cyfronetu mają 32k, więc nadają się bardziej do pogawędek, niż procesowania dużej ilości kodu.

Ładnie. Chmurowe modele nie interesują mnie ani trochę. Umowy na poufność danych i omijanie ich przy trenowaniu można sobie w buty wsadzić.

Przy okazji napiszę jak w Pythonie poradzić sobie ze znakami \n w unikodzie. napis = f'''Jakiś napis zawierający prawdopodobnie znaki nowej linii. {napis_ze_zmiennej}'''.replace('\n','\\n').encode('utf-8')

Hej. Chciałem Wam przedstawić mojego nowego kolegę. Mam pod opieką kilka serwerów, które monituję Mantisem: na hostach są agenty NRPE agenty mają w konfiguracji progi alarmowe Nagios odpytuje NRPE, te uruchamiają jakieś tam skrypty i odpowiadają mantisowi kodem wyjścia 0/1/2/3 oraz czasem dodatkowym komunikatem, na telefonie mam aplikację aNag, która pokazuje powyższy problem. Do tej pory nic interesującego. Nagios idzie teraz do API Mantisa i dodaje do niego nowy wątek: A wcześnie rano do API Mantisa idzie pythonowy skrypt, wyszukuje nieprzypisane zgłoszenia i idzie z nimi do API LiteLLM, który to łączy się do Ollamy i promptuje model o możliwe przyczyny. Jak widać nie chodzi to jeszcze idealnie. Moduł http.client w Pythonie musi przesłać do Mantisa łańcuch zakodowany w UTF-8, zawierający znaki nowej linii "\n". I przy tych znakach Mantis się gubi, zwraca kod http 400 i komentarz nie trafia do wątku. Ten akurat był umieszczony ręcznie, zawiera więc mnóstwo nadmiarowych metadanych z LiteLLM. Pozostało mi więc zlokalizować problem z "\n", dodać do skrypciku wyszukiwanie, powiązanie i zamykanie duplikatów z dodanym komentarzem i ilości znalezionych powtórzeń zanim zacznę rozgrzewać GPU. Duplikaty będą łatwe, bo komentarze z Nagiosa są zawsze takie same. Trudniej mi idzie z kodowaniem nowej linii. Mi te komentarze od modelu niewiele pomagają, bo ja wiem, czemu coś tam nie działa. Ale gdybym był świeżakiem w organizacji i miał nieduży staż pracy, to miałbym co przeklejać do prywatnego czata. (-: Zaraz by się tokeny skończyły.

Gdyby ktoś się zastanawiał i chciał zapytać - PHP jest zaktualizowane.

DNS forum.fedora.pl wskazuje na Cloudflare i nie mam wpływu na to, co jest tam ustawione. Póki co wspomniane agregaty nie są na tyle szybkie, by położyć nasze forum. Strona fedora.pl to na razie tylko zaślepka i to niespecjalnie ładna. Zrobiłem ją w jedno popołudnie. Mamy kilka możliwości: 1. Użyć portalu forumowego (ale skoro i tak pracujemy nad z niego przesiadką, to będzie tylko na najdalej rok). 2. Wykorzystać darmowy, jeszcze niesprecyzowany CMS. 3. Użyć generatora statycznych stron typu Pelican. Chcielibyście coś bardziej przypominającego Fedora Magazine, czy Wikipedię? Nie mam problemu, żeby dać wam uprawnienia do wpisywania artykułów. Od tego jest forum w końcu przecież, żeby móc się wypowiedzieć.

Możesz zainstalować klienta SSH na telefon, na przykład ConnectBot. Kompozytora jeszcze nie udało mi się tak odzyskać. Na pewno pomoże na brutalny restart.

https://docs.python.org/3.15/library/profiling.sampling.html Mam wrażenie, że dostaliśmy jakiś solidny argument do aktualizacji Pythona. Najbardziej podoba mi się generowany - trochę responsywny - html z pełnym stosem wykonanego skryptu, albo jednolinijkowca. Można bardzo fajnie ocenić sens importowania na przykład modułów os, czy sys dla jednej pierdoły. Można też poszukać funkcji wymagających optymalizacji. Nie jest to Dynatrace oczywiście, bo nie widzi co robi baza danych, czy jakiś kod poza Pythonem. Ale z kolei Dynatrace słabo sobie radzi z dynamicznie typowanymi językami. Najlepszy bajer to możliwość podłączenia tego pod już uruchomiony proces. Jak na produkcji coś zwalnia i nie ma jak w tym momencie zrestartować, można odpalić profiler i wyciągnąć dużo więcej, niż tylko z logów aplikacji.

Hej. Poszukuję klawiatury: bezprzedowowej, mechanicznej, podświetlanej kolorem ciemno-czerwonym (albo do wyboru, ale żeby był ciemnoczerwony). Zawsze miałem klawiaturę na kablu, ale postanowiłem trochę przebudować biurko i pasuje mi ją czasami schować do szuflady. Macie coś sprawdzonego?

Te dziwne znaczki na klawiaturze z Linuksa wstawiane (nie)chcący do tekstu mogą być wykorzystane do identyfikowania piszących nimi osób. Bardzo się wyróżniają w tłumie Windziarzy. Oryginalne i fajne, ale na mocno moderowanych forach warto unikać.

Ciekawostka. Przez tydzień z kawałkiem nasze forum było zainstalowane u mnie w mieszkaniu. Dzisiaj z ciekawości spojrzałem sobie na wykres wygenerowany przez Goaccess, do którego już dawno nie zaglądałem. No i cała reszta moich witryn to szum tła. (-: Stare domeny zawierające archiwalne treści sprzed generatywnej sztucznej inteligencji są w cenie. To wszystko są agregaty i boty agentów szukające wiarygodnych treści. Naturalnie forum było już agregowane setki tysięcy razy, co nie przeszkadza czytać go w kółko i w kółko.

Udało mi się zdrutować obraz Podmana do LiteLLM. from quay.io/centos/centos@sha256:e664412637fcadb7d9eef7da6cc48c29cd69fb977d27c871ec3c54d95c91ace9 USER 0 RUN dnf --assumeyes install python3 python3-pip python3-devel libatomic openssl RUN useradd -u 1001 litellmuser RUN usermod -L litellmuser USER 1001 WORKDIR /home/litellmuser RUN mkdir -p /home/litellmuser/.local/bin RUN mkdir /home/litellmuser/app ENV PATH="${PATH}:/home/litellmuser/.local/bin" ADD requirements.txt /tmp/ RUN pip install --requirement /tmp/requirements.txt RUN prisma generate --schema /home/litellmuser/.local/lib/python3.12/site-packages/litellm/proxy/schema.prisma CMD litellm --config app/litellm_config.yaml --port 4040 Jest jednak kilka myków. Taka wczesna beta. (-: Postgres musi już gdzieś być zainstalowany i mieć skonfigurowaną rolę oraz bazę danych. Baza danych musi być zapisana przez inną instancję LiteLLM, która może być już wyłączana i usunięta. Ważne, żeby chociaż raz się zalogować i przejść podstawową konfigurację. Ollama musi już gdzieś być i mieć zainstalowane modele Plik litellm_config.yaml trzeba przygotować samemu. Można tam ustawić mnóstwo rzeczy i nie mam pomysłu na uniwersalnego gotowca. Uruchamia się to tak: podman run --rm --detach --name=litellm-alfa --publish 4040:4040 --volume ./app/:/home/litellmuser/app:rw,Z litellm . No to teraz mogę robić tak: ollama siedzi sobie na zdalnym hoście i nie ma możliwości sięgnięcia do mojego katalogu domowego, aider, czy inny klient SI nie ma dostępu do ollamy, aider ma klucz dostępu do litellm, strona administracyjna litellm będzie siedziała sobie za Nginxem, certyfikatem i https, litellm potrafi wybudzić ollamę i kazać jej uruchomić modelę, litellm zapisuje w bazie danych wszystkie prompty i przycięta do zdaje się 1000 znaków odpowiedzi. Muszę jeszcze poczytać, czy Aider może akceptować certyfikat SSL bez zaufanej ścieżki. Ja zdaję sobie sprawę, że to jest na razie kompletne druciarstwo, ale uczę się na biegu.

Ja nic nie sugerowałem. (-: Ale ollama serve też mi początkowo uciekło z radaru. LiteLLM w wersji zamieszczonej na spisie requirements.txt ma podatność związaną z przejęciem kont. https://www.vulncheck.com/advisories/litellm-weak-jwt-authentication-via-email-based-user-lookup Ponoć w wersji 1.102 jest to już naprawione, ale w dzienniku zmian LiteLLM nic o tej podatności nie znalazłem. Nie możecie sobie też ot tak zaktualizować LiteLLM. Potem trzeba bowiem jeszcze poprawić schematy w bazie danych. https://docs.litellm.ai/release_notes/v1.104.0/v1-104-0 Jeżeli ktoś używa prywatnie i ma tylko jedno konto administracyjne, a LiteLLM nie ma żadnego serwera SMTP w swojej konfiguracji, to problemu nie ma.

Poborem prądu nie musisz się aż tak sugerować. Bywały krótkie serie powiedzmy specjalistycznych GPU dla stacji roboczych z AutoCAD i innych w rodzaju - to się może renderować całą noc, poza tym tego komputera i tak nigdy nie wyłączam. Na przykład nvidia A1000, czyli laptopowa grafika upchana na kartę pci. Nie bardzo się to przyjęło ze względu na wysoką cenę, ale pobór mocy ma max 50 watów na obciążeniu. A kiedy nic nie robi, to kilka watów idzie pewnie glównie na wentylator. Jeżeli host nie ma zainstalowanego pulpitu, tylko Ollamę, to stosownie odchudzona i przedestylowana Gemma4 chodzi szybko. Nie polecam kupowania używanych GPU. To bywają bardzo przepracowane egzemplarze z koparek, johntheripper-a, czy ostatnio komputerów z LLM w kącie biura. Wiele życia przed nimi już nie ma. Te wszystkie filmiki, jak to starsze nvidia 3060 są świetne jako tani wstęp do SI traktuj z ostrożnością. Zwłaszcza, jeżeli pod filmem są linki afiliacyjne.

Sztuczna inteligencja to na dzisiaj Nvidia, Nvidia, Nvidia, jakieś mocne minikomputery Apple, potem Radeon. Intel ma bardzo pog górkę, bo niektóre aplikacje musieli forkować, żeby w ogóle zadziałały. Spróbuj, nic nie zaszkodzi. https://docs.ollama.com/linux Link "manual install" prowadzi do instrukcji zawierającej dodatkowe informacje o Radeonach. Kiedy archiwa z Ollamą będą rozpakowane i ollama serve zadziała, pobierz chyba najmniejszy sensowny model językowy https://ollama.com/library/gemma3 . To trochę starsza technologia i trzeba mu promptować po angielsku, ale to i tak tylko do testów. Jeżeli będzie działać szybko, to będzie jak na jutubowych filmach o sztucznej. Jeżeli będzie działać wolno... to będziesz wiedział, bo zobaczysz jakieś 2-4 tokeny na sekundę.