Friday, November 3, 2023

postgreSQL의 pg_hba.conf 파일 설정

 pg_hba.conf 파일은 PostgreSQL에서 클라이언트 인증 설정을 저장하는 파일입니다. 이 파일의 각 줄은 특정 유형의 연결 요청에 대해 어떤 인증 방법을 사용할지 지정합니다.

당신이 제공한 pg_hba.conf의 내용을 한글로 설명하면 다음과 같습니다:

  1. Database administrative login by Unix domain socket

    • 유닉스 도메인 소켓을 통한 데이터베이스 관리자 로그인
    sql
    local all postgres peer
    • local은 유닉스 도메인 소켓 연결을 의미합니다.
    • all은 모든 데이터베이스를 의미합니다.
    • postgrespostgres 사용자를 의미합니다.
    • peer 인증은 운영체제 사용자와 PostgreSQL 사용자의 이름이 동일하다고 가정하고 인증합니다.
  2. "local" is for Unix domain socket connections only

    sql
    local all all peer
    • 모든 데이터베이스, 모든 사용자에 대한 유닉스 도메인 소켓 연결은 peer 인증 방식을 사용합니다.
  3. IPv4 local connections:

    css
    host all all 0.0.0.0/0 md5 host all all 127.0.0.1/32 trust
    • 첫 번째 줄은 모든 IPv4 주소에서의 연결에 대해 md5 인증 방식을 사용합니다.
    • 두 번째 줄은 로컬호스트(127.0.0.1)에서의 연결에 대해 인증 없이 접근을 허용합니다(trust).
  4. IPv6 local connections:

    css
    host all all ::1/128 scram-sha-256
    • IPv6 로컬호스트(::1)에서의 연결에 대해 scram-sha-256 인증 방식을 사용합니다.
  5. Allow replication connections from localhost, by a user with the replication privilege.

    sql
    local replication all peer host replication all 127.0.0.1/32 scram-sha-256 host replication all ::1/128 scram-sha-256
    • 복제 권한을 가진 사용자가 로컬호스트에서 복제 연결을 수행할 때의 인증 설정입니다.
  6. Other Connections:

    css
    host all all 172.26.0.0/16 trust
    • 172.26.0.0/16 IP 범위에서의 모든 연결에 대해 인증 없이 접근을 허용합니다(trust).

이 설정은 데이터베이스의 보안 수준과 연결 허용 범위를 결정하는 중요한 역할

Monday, October 30, 2023

ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

 

ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항




세 줄 요약

이 비디오에서는 ChatGPT의 다른 버전인 ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard에 대해 설명하며, 그들의 기능, 제한 사항 및 토큰 제한을 강조합니다. Claude 2는 문서 요약 기능과 코딩 기술을 강조하며, Google Bard는 맞춤 설정 및 다국어 지원으로 칭찬받고, Microsoft Edge에 통합된 Bing Chat은 인터넷 검색에 유용한 도구로 언급됩니다. 이는 AI 챗봇이 생산성을 향상시키고 인간의 창의력을 보완하는 데 도움이 되어야 한다는 점을 강조합니다.

  • 🤖 ChatGPT의 다른 버전인 ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard에 대해 설명합니다.
  • 🔍 Bing Chat은 Microsoft Edge에 통합되어 인터넷 검색에 유용한 도구입니다.
  • 🧠 AI 챗봇은 생산성을 향상시키고 인간의 창의력을 보완해야 합니다.

요약

이 비디오는 ChatGPT의 다른 버전인 ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard에 대해 논의합니다. 이들의 기능, 제한 사항 및 토큰 제한에 대해 설명합니다. Claude 2는 문서 요약 기능과 코딩 능력으로 강조되며, Google Bard는 맞춤 설정 및 다국어 지원으로 칭찬받습니다. Microsoft Edge에 통합된 Bing Chat도 인터넷 검색에 유용한 도구로 언급됩니다. 이 비디오는 AI 챗봇이 생산성을 향상시키고 인간의 창의력을 보완해야 한다는 점을 강조합니다. 그들을 대체하는 것이 아니라는 것을.


내용

Thumbnail about ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

Chat GPT에는 Chat GPT 3.5, Chat GPT 4, Claude 2 및 Bard와 같은 다른 버전이 있습니다. 각 버전은 고유한 기능, 제한 사항 및 토큰 제한을 가지고 있습니다. Chat GPT 3.5은 무료이지만 일부 제한 사항이 있습니다. Chat GPT 4는 매월 120달러의 요금을 지불해야 하며 더 많은 기능을 제공합니다. Claude 2는 100,000개의 토큰 제한을 가지고 있어 광범위한 상호작용과 심층적인 대화가 가능합니다. Bard는 무료 테스트도 가능하지만 토큰 제한은 공개되지 않았습니다. 사용자는 자신의 요구 사항과 예산에 맞는 버전을 선택해야 합니다.

Thumbnail about ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

Claude 2는 San Francisco에 기반을 둔 인공지능 스타트업인 Anthropic에서 개발한 AI 챗봇입니다. Claude 2는 다양한 문서를 요약하는 능력을 가지고 있어 공유된 결과를 분석하고 다른 문서 사이의 공통점을 발견하는 데 유용합니다. Claude 2는 Python 코딩 테스트에서 71.2%의 점수를 받아 Chat GPT보다 우수한 성능을 보였습니다. 이는 Claude 2가 코딩 관련 질의에 대해 강력한 이해력을 가지고 있으며 개발자와 기술 열정가에게 가치가 있다는 것을 나타냅니다. Claude 2는 Chat GPT와 비교하여 최신 정보를 제공하며, 2023년 초를 기준으로 합니다.

Thumbnail about ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

Claude 2는 입력 및 출력 모두에 대해 약 75,000단어에 해당하는 100,000개의 토큰 제한을 제공하는 장점이 있습니다. 이를 통해 대량의 텍스트를 처리하고 전체 책을 요약하는 등의 가능성이 열립니다. 그러나 Claude 2는 현재 영국과 미국에서만 사용할 수 있어 접근성이 제한됩니다. Claude 2의 가입 절차는 간편하며 유효한 이메일 주소와 몇 가지 프롬프트만 필요합니다. 개인 정보 보호 측면에서 Claude 2는 사용자가 대화 내용을 삭제하고 VPN 브라우징을 지원하여 개인 데이터에 대한 보안과 통제감을 촉진합니다. 그러나 Claude 2는 정확한 실제 데이터를 제공하는 데 어려움을 겪을 수 있으며 복잡한 작업에서 실수를 할 수도 있습니다. 한계가 있음에도 불구하고, Claude 2는 AI 챗봇 분야에 가치 있는 추가입니다.

Thumbnail about ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

Bing Chat은 Microsoft Edge의 일부로 제공되는 AI 챗봇입니다. 강력한 GPT 4 언어 모델을 사용하여 인터넷 검색에 탁월한 자원으로 작용합니다. Bing Chat은 맞춤 정보와 링크를 제공하여 사용자에게 특화된 정보와 추천을 제공할 수 있습니다. 또한 Dolly의 도움으로 콘텐츠를 생성하고 이미지를 만들 수 있습니다. Bing Chat의 주목할만한 장점 중 하나는 Chat GPT와 달리 하루에 특정한 채팅 수로 제한되지 않고 무료로 제공된다는 것입니다. Bing Chat은 Microsoft Edge 브라우저 사이드바에 통합되어 채팅 작성 및 인사이트 기능을 제공합니다.

Thumbnail about ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

Bing Chat에는 여러 챗봇 모델이 있으며 각각 고유한 장점을 제공합니다. GPT 3.5를 기반으로 한 Chat GPT는 인간과 유사한 응답과 널리 인정받는 특징을 가지고 있습니다. Anthropic에서 개발한 Claude 2는 깊이 있는 문서 분석과 인상적인 코딩 능력을 갖추고 있습니다. Google Bard는 응답에 대한 더 큰 사용자 정의화를 제공하며 여러 언어를 지원하고 이미지 업로드가 가능합니다. Microsoft Edge에 통합된 Bing Chat은 GPT 4를 기반으로 한 인터넷 검색에 유용한 자원이며 특화된 브라우징 경험을 제공합니다.

Thumbnail about ChatGPT 3.5, ChatGPT 4, Claude 2 및 Google Bard: 기능과 제한 사항

AI 챗봇은 생산성을 향상시킬 수 있지만, 인간의 창의력과 비판적 사고를 보완하는 데 사용되어야 한다는 점을 기억하는 것이 중요합니다.


전체 영상 보기

Friday, October 27, 2023

Postgresql이 갑자기 안될 때

 

Postgresql이 갑자기 안될 때

아래와 같은 에러를 뿜으며 postgresql이 죽는다. postgresql의 로그는 우분투 리눅스의 경우 /var/log/postgresql/postgresql-버전번호-main.log 에서 볼 수 있다.

2019-00-00 00:00:00 KST [1469-2] LOG: received fast shutdown request
2019-00-00 00:00:00 KST [1469-3] LOG: aborting any active transactions
2019-00-00 00:00:00 KST [1481-2] LOG: autovacuum launcher shutting down
2019-00-00 00:00:00 KST [1478-1] LOG: shutting down
2019-00-00 00:00:00 KST [1478-2] LOG: database system is shut down
2019-00-00 00:00:00 KST [27487-1] FATAL: could not map anonymous shared memory: 메모리를 할당할 수 없습니다
2019-00-00 00:00:00 KST [27487-2] HINT: This error usually means that PostgreSQL’s request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 148488192 bytes), reduce PostgreSQL’s shared memory usage, perhaps by reducing shared_buffers or max_connections.
2019-00-00 00:00:00 KST [1782-1] LOG: database system was shut down at 2019-00-00 00:00:00 KST


원인

아래 에러 메시지에 원인과 해결책이 있다.

2019-00-00 00:00:00 KST [27487-2] HINT: This error usually means that PostgreSQL’s request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 148488192 bytes), reduce PostgreSQL’s shared memory usage, perhaps by reducing shared_buffers or max_connections.

메모리가 부족해서 서비스가 죽었다는 말이다.


해결방법

  1. free -m 명령으로 현재 메모리 상태를 본다. (뒤에 -m 옵션은 메가바이트 단위로 보겠다는 뜻이다.)

  2. /etc/postgresql/버전번호/main/postgresql.conf 설정 파일에서 약 113번 째 줄부터 메모리 관련 설정이 있다. 여기에서 shared_buffters = 128MB이런 식으로 되어 있는 값을 바꿔주면 된다. 만약 free -m으로 봤는데 buff/cache메모리가 110 이런 식으로 써져있으면 이 값보다 좀 넉넉하게 작게 설정해준다. (물론 자신이 운영하는 서비스 특성에 따라 다를 수 있다.) 나의 경우 buff/cache가 103이었고, postgresql 설정에서 shared_buffers 값을 60MB로 바꿔주고 postgresql 서비스를 재시작해주었다.


AWS 라이트셰일 $3.5/m 서비스의 메모리가 512MB인데 이렇게 메모리 오류가 나는 경우는 저사양의 서버에 기본값으로 서비스를 올려서 그런 경우가 종종 있으니 참고.


Thursday, October 26, 2023

posgresql database system is shut down 문제 해결

2023-10-26 00:40:27.923 KST [728] LOG:  could not parse file name "pg_logical/snapshots/memory"

2023-10-26 00:40:27.923 KST [728] LOG:  could not parse file name "pg_logical/snapshots/prememory"

2023-10-26 00:40:27.942 KST [678] LOG:  database system is shut down


database system is shut down 문제 해결


/data/pg_logical/replorigin_checkpoint 파일을 삭제



https://database.sarang.net/?inc=read&aid=10299&criteria=pgsql&subcrit=qna&id=0&limit=20&keyword=&page=1


클라우드 centos posgresql-12 버전으로 개발 중입니다.


백업설정 등을 하지 않고 안이하게 업무를 하다.

며칠 전 delete 명령 수행한 것을 복구하려고..

클라우드 서비스에 이전 백업본(시스템) 으로 복구를 요청했습니다.


그런데. 복구 후 postgresql-12 서비스가 올라오지 않아 로그를 보니 아래와 같은 메시지가 나오고 실패하고 있습니다.

==============

2021-11-21 00:40:18.337 KST [31681] 로그:  데이터베이스 시스템이 비정상적으로 종료되었음; 마지막 운영시간: 2021-11-15 04:21:41 KST

2021-11-21 00:40:18.781 KST [31681] 손상:  복제 체크포인트의 잘못된 매직 번호: 691087444, 기대값: 307747550

2021-11-21 00:40:18.782 KST [31677] 로그:  시작 프로세스 (PID 31681) 프로세스가 6번 시그널을 받아 종료됨: 중지됨

==============


구글링 중 resetwal 을 해 보라는 의견이 있어 수행했으나 변화는 없었고.

pg_wal 디렉토리에 원래 2개 파일이 있었던것이 끝번호가 증가한 하나의 파일만 생겼습니다.

(혹시 몰라 기존 pg_wal 디렉토리는 백업해 두었습니다.)


다른서버에 유사한 환경을 만들어 data/base/ 내 디렉토리들을 옯겨봤으나 역시 되지 않았습니다.

http://piccom.egloos.com/3281875 게시글을 참조했으나 버전의 차이가 있어서인지(/global/pg_database 파일이 12버전에는 없습니다.) 되지 않습니다.


1) 위 오류를 해결하거나 회피하여 디비를 가동하는 방법이 있을지요.

2) 유사한 환경(다른 서버)에 옮겨 복구하는 방법이 있을지요.


백업설정 없이 안이하게 업무를 한 것이 잘못입니다.

경험 있으신 분들의 귀한 의견 부탁드리겠습니다.

감사합니다.

이 글에 대한 댓글이 총 1건 있습니다.

[자답]


1)  /data/pg_logical/replorigin_checkpoint 파일을 백업하고 지웁니다.(mv 로 이동시켰습니다.)


2) 서비스를 시작했습니다. systemctl start postgresql-12


구글링을 좀 더 하던 중 아래 링크에서 설명한 내용입니다.

감사합니다. 백업인으로 살겠습니다. ㅠ


https://community.bmc.com/s/article/PostgreSQL-database-from-Control-M-Server-cannot-start-with-error-replication-checkpoint-has-wrong-magic-number-xxxxxx-instead-of-yyyyyyy-in-postgresql-logs

우분투 gui 환경 지우기 / 우분투 gui 없애기

 

우분투 gui 환경 지우기 / 우분투 gui 없애기 

 

1. 우분투 데스크탑 환경 제거

sudo apt-get remove ubuntu-desktop

2. GNOME 데스크톱 매니저 제거

sudo apt-get remove gdm3

3. 그래픽 드라이버 제거

sudo apt-get remove xserver-xorg-video-*

4. 그래픽 서버 제거

sudo apt-get remove xserver-xorg-core

5. autoremove

sudo apt-get autoremove

6. 재부팅

sudo reboot