동물의 행동은 유전자와 환경의 상호 작용에 의해 결정된다. 이 두 가지 요인은 그 영향의 정도가 대단히 다양하나 가장 단순한 틀에 박힌 행동이라 하더라도 환경에 따라 변할 수 있고 언어와 같이 대단히 가소성인 행동도 유전적으로 타고난 요인의 영향을 받는다. 크게 네 가지 의문을 검토해 보기로 한다. 즉, 행동의 어떤 측면이 특히 타고난 것인가?
전통적으로 행동은 두 가지로 나눈다. 타고난 행동과 학습된 행동이다. 본능적 행동이라고 하는 것은 유전적 유산에 직접적으로 관계되는 행동요소이다. 본능적 행동에 대한 연구에는 오랜 역사가 있으며 많은 논란이 있어 왔다. 고대 그리스 철학자들에서 르네상스 철학자들에 이르기까지 논란의 대상이 되었던 것은 인간의 행동은 이성에 의한 것이고 동물의 행동은 그것이 비록 복잡한 것일지라도 전적으로 자연적 본능의 결과라는 것이었다. 본능적 행동에 대한 현대과학적 사고방식은 19세기 후반 찰스 다윈의 영향을 받았다고 하겠다. 다윈은 동물의 행동은 본능뿐 아니라 사람의 행동을 도출하는 것과 같은 이성적 과정의 원시형태에 의해 도출된다고 생각하였다. 그리고 인간이 동물로부터 진화한 것이라면 인간의 행동도 본능에 의해 도출될 것이라고 주장하였다. 이 같은 생각은 지그문트 프로이트도 지지하고 있다. 즉, 모든 사람의 정상적 또는 비정상적 행동은 유전적으로 결정되는 두 가지 욕구인 생 (성적) 사 (공격) 본능에 의해 형성된다고 주장하였다. 또 윌리암 맥도갈은 사람의 행동을 결정하는 열두 가지 본능을 제시하였다. 탈출, 반발심, 호기심, 호전성, 주제파악, 과시, 육아, 번식, 섭식, 군생, 획득, 그리고 건설본능이다.
행동과학자인 존 왓손은 두 가지 이유에서 이 본능행동설을 부정했다. 첫째, 하등동물에서는 학습된 것이 아닌, 판에 박은 행동방식을 볼 수는 있으나 행동이 전적으로 학습에 의하지 않은 미리 계획되어진 것이라고 생각하기는 힘들다는 것이다. 둘째, 본능은 행동을 유도하는 학습에 의하지 않은 내적 욕구라고 한다면 본능은 행동을 설명하기 위해 설계된, 관찰할 수 없는 기전이라 할 수 있다. 따라서 행동을 관찰할 수 없는 내적 기전, 즉 나타나는 행동을 설명하기 위한 정신적 과정으로 미루어 해석한다는 것은 옳지 않다는 것이다. 행동과학이란 관찰할 수 있는 반응만을 대상으로 하는 것이며 본능이라는 개념으로 행동을 설명하려는 것은 단지 말장난에 지나지 않는다는 것이다. 대부분의 실험심리학자들은 본능이라고 했던 것을 욕구라는 말로 바꾸어 쓰는 경향이 있다. 이 경우 타고난 요인에 기인하는가 또는 학습에 의한 것인가는 고려하지 않는다.
자연상태에서의 행동의 기전 그리고 개체발생 및 진화의 측면에서의 비교연구를 행동생물학이라고 한다. 여기서는 행동에 있어 본능의 역할을 알아보기 위해 타고난 행동을 체계적으로 관찰하고 실험한다. 그리고 본능의 생물학적 연구는 관찰할 수 있는, 판에 박은, 타고난 운동에 국한한다. 행동생물학자들도 하등동물의 일부 행동을 순전히 학습이라는 관점으로 설명하기는 힘든다는 것을 인정한다. 다른 새와 격리하여 기른 암컷 새도 자라나면 정상적으로 둥지를 틀고 알을 품고 새끼를 기른다. 이 같은 행동이 학습에 의해 습득된 것은 아니나 성숙되면서 환경의 영향을 받게 된다. 본능적 행동이 유전자적으로 짜여진 것이라면 행동은 유전될 수 있는 것인가라는 의문이 제기된다.
정통적으로 심리학자들은 행동을 마음의 산물이라고 생각했다. 한때 마음은 신체적인 것이 아니라고 생각했다. 따라서 이것이 유전된다는 것은 생각하기 힘들었다. 그러나 이제는 마음은 생물학적 기능의 하나라는 것을 의심하는 신경과학자는 없다. 즉, 마음은 어떤 것이 아니고 뇌에서 일어나는 기능이다. 다리가 하는 일의 하나가 걷기인 것처럼 마음은 뇌가 하는 일의 하나이다. 마음이 뇌의 기능이라고 한다면 신체의 다른 모든 기관과 마찬가지로 유전인자의 영향을 받을 수 있는 것이다.
그러나 행동 특히 사람의 행동이 유전될 수 있다는 것에는 많은 저항이 있어 왔다. 일부는 행동의 유전이 진정으로 의미하는 바를 잘못 해석한 것에 기인하는 저항이다. 가령 정신병은 유전되는가? 라는 의문에 대해 복합적인 행동이상이 순전히 유전된 유전자에 의해 조절되는 것이라고 생각한다면 잘못된 해답을 얻게 될 것이다. 사람들은 키가 크게 자라도록 짜여진 유전자를 타고날 수 있다. 그러나 성장기에 영양이 적절하지 못하면 키가 작아질 수밖에 없는 것이다.
학습이 유전인자의 표현에 그리 중요하지 않을 수는 있다. 그러나 여러 가지 환경인자 (영양, 빛 등)가 중요하게 될 수 있다. 타고난 행동이 특정한 학습경험과 무관한 반응이기는 하지만 학습된 행동과 타고난 행동을 엄밀하게 구분하기는 힘든다. 본능행동이란 복잡한 일련의 반응으로 이루어지는 일종의 특수한 타고난 행동이라고 할 수 있다. 그래서 흔히 본능행동은 종특이성 행동이라고 한다.
하등동물의 복잡한 타고난 행동방식은 특징적으로 특수 자극에 의해 활성화된다. 행동을 분석해 보면 여러 가지 복합된 자극이 주어졌을 떄 동물은 어느 특수 자극에만 반응하는 경향을 볼 수 있다. 이 효과를 나타내는 자극을 신호자극 또는 릴리서라고 한다. 큰가시고기 수컷은 짝짓기 때가 되면 배가 선명한 붉은 색을 나타내게 된다. 이 붉은 색의 배는 다른 수컷의 투쟁반응을 유발하고 암컷에게는 접근반응을 유발한다. 이 같은 반응은 큰가시고기를 닮은 모형을 이용한 실험으로도 재현된다. 신호자극에 의한 투쟁 또는 짝짓기 반응은 완전히 고립된 상태에서 자라난 경우에도 나타난다. 따라서 이 행동은 선천적으로 결정된 것이라 할 수 있다.
종특이적 행동은 특징적인 정위 또는 욕구행위로 시작된다. 욕구행동은 고정행위방식이라고 하는 완결행동기로 이어진다. 하등동물에서는 어떤 상황하에서 컴퓨터 디스크 모양의 프로그램이 개시된다. 예를 들면 큰가시고기의 결혼춤은 대단히 독특한 고정행위방식을 취한다. 큰가시고기에게 있어 이 행동방식은 대단히 견고하게 프로그램 되어 있어서 중단시키면 산란이나 수정이 되지 않고 의식이 중단될 때마다 몇 번이고 처음부터 다시 시작한다(그림 4). 이 고정행위방식은 특수 자극에 의해 나타나는 일종의 반사행동반응이며 선행하는 학습을 필요로 하지 않는다. 그러나 단순한 반사와는 달라 정위 (욕구) 행위가 선행하는 복잡한 행동이다. 또 고정행위방식을 위한 감각입력은 복잡한 방법으로 신경계에 의해 변환된다. 그리고 단순한 반사의 강도와 지속시간은 자극의 강도나 지속시간에 비례하지만 고정행위방식은 자극의 경수들에 정확히 비례하지는 않는다. 또 때로는 자극이 없이도 고정행위방식이라 한다. 또 동물이 곤혹스러운 상황에 처하면 적절치 못한 고정행위 방식을 나타낼 수도 있다. 예를 들면 고양이가 싸울 것인지 도망칠 것인지를 선택해야 할 상황에 처하면 엉뚱하게 얼굴 다듬기 행동을 나타낼 수 있다. 이 같은 반응을 치환활동이라 한다.
그림 4 큰가시고기의 짝짓기 행동. 큰가시고기의 짝짓기 행동은 고정행위방식으로서 먼저 수컷은 지그재그로 춤을 추고 암컷은 불그진 배를 보인다. 그리고 수컷은 암컷을 둥지로 유도한다. 수컷이 둥지의 입구를 가리키면 암컷이 둥지로 들어간다. 그러면 수컷이 콧등으로 암컷의 꼬리를 톡톡 친다. 암컷이 알을 낳고 둥지를 빠져 나오면 수컷이 사정하게 된다. 이 같은 행동은 순서가 정해진 고정행위방식으로 중도에 중단되면 몇 번이고 처음부터 다시 시작한다.
고정행위방식의 전체 행동방식은 전적으로 중추신경계에 의해 결정되는가? 감각입력과는 어떤 관계가 있는가? 이를 실험적으로 알아보기 위해서는 일련의 반사반응을 일으킬 수 있는 모든 외부의 감각원을 제거해야 한다. 몇 가지 무척추동물에서 신경계를 완전하게 분리하여 실험에 이용할 수 있다. 이렇게 해서 살아 있는 채로 감각 되먹임을 차단하고 뉴런의 활성을 전극을 이용하여 쉽게 기록할 수 있다. 특수한 무척추동물의 신경계에는 자극에 의해 일련의 복잡한 행동을 나타내게 하는 지령뉴런이 있다. 곤충, 갑각류, 연체동물은 분리된 신경계로 운동출력을 발생시킬 수 있다. 척추동물의 고정행위방식이 중추운동프로그램에 의해 조절된다는 증거도 있다. 삼키기, 물기, 얼굴 다듬기, 기침, 하품, 구토, 놀람반사는 모두 장착된 중추프로그램에 의하는 것이다. 가장 잘 연구된 것이 삼키기이다. 인두의 자극으로 촉발되는 이 반응에는 최소한 10가지 근육이 관련되는 일련의 활동이다. 개를 이용하여 인두마취 또는 한두 개 근육의 수술 또는 국소마취에 의한 불활성화로 실험한 결과에 의하면 운동순서는 인두 또는 근육으로부터의 말초적 되먹임의 변화에 영향받지 않으나 운동출력의 강도나 지속시간은 인두자극의 강도나 각성정도에 따라 달라졌다. 즉, 삼키기의 기본방식은 중추적으로 조절되지만 자세한 행동방식은 외적 감각 되먹임에 의해 수정될 수 있다는 것이다.
왕새우의 지령뉴런을 자극하여 고정행위방식을 유발시키는 실험으로 그 기전의 일단이 밝혀졌다. 하나의 지령뉴런이 10여 개의 근육이 관련되는 복잡한 방어반응을 일으켰다. 지령뉴런은 다양한 시냅스 출력으로 일단의 추종뉴런 중 어느 것은 흥분시키고 어느 것은 억제하였다. 이들 추종뉴런은 다시 운동출력의 특이적 방식을 생성하도록 상호 연결되는 것이다. 포유동물에서도 지령뉴런이 존재한다는 증거는 없다. 그러나 사전에 계획된 운동을 촉발시키는 특정한 세포집단이 있어서 이들이 무척추동물의 지령뉴런과 같은 역할을 한다고 생각된다. 신경기전에 의해 운행되는 특정 명령계통은 감각입력의 특이적 특징에 의해 조율된다. 행동생물학에서는 이 같은 기전을 선천적 방출기전이라고 한다. 감각계통 또는 선천적 방출기전을 구성하는 특정 검출뉴런들은 특이적 감각입력에 의해 자극됨으로써 지령뉴런 또는 명령계통을 자극하게 된다. 이 명령계통은 다시 중추운동프로그램을 촉발하여 판에 박은 일련의 행동을 생성한다.
일부 행동이 타고난 것이라면 유전자는 어떻게 행동을 기록하는가? 유전자가 행동을 직접적으로 기록하는 것이 아니라는 것은 분명하다. 하나의 유전자가 한 가지 행동을 부호화할 수는 없고 행동은 여러 신경세포가 참여하는 신경호르몬에 의하여 이루어진다. 그러면 유전자와 행동은 어떤 관계가 있는가? 신경회로의 구조와 기능에 필요한 특이적인 단백질이나 효소가 유전자 부호에 의해 합성되지만 여러 유전자를 필요로 한다고 해서 각각의 유전자가 행동의 표현에 중요하지 않다는 것은 아니다. 하나의 유전자변이를 쉽게 만들 수 있는 초파리를 이용한 실험에 의하면 하나의 유전자변이로 학습된 행동 또는 본능적 행동이상이 발생하는 것을 관찰할 수 있다. 초파리에서 가장 잘 연구된 행동의 변종은 쉐이커다. 쉐이커는 비기능적 자발운동을 나타낸다. 이 비정상적 운동은 신경세포와 근육세포의 활동전압이 연장된 것에 의한다. 그리고 그 비정상적 활동전압은 하나의 유전자변이로 칼륨이온 통로가 결여되어 초래된다.
초파리의 성행동은 특히 행동에 대한 유전자의 영향을 연구하는 좋은 예이다. 이 성행동은 복합행동이며 시각, 청각, 후각 등 여러 가지 자극에 의해 조절된다. 그리고 많은 수의 돌연변이가 이 성행동에 영향을 미친다는 것이 알려졌다. 예를 들면 수컷은 날갯짓으로 특수한 소리를 내어 암컷을 흥분시킨다. 그래서 암컷의 청각장애나 수컷의 날개짓 장애를 일으키는 돌연변이로 짝짓기 장애가 생길 수 있다.
유전자는 행동에 적절한 신경회로의 생성뿐 아니라 성장 후 행동의 표현조절에도 중요하다. 유전자는 신경회로 구성에 필요한 구조단백질의 합성을 유전암호로 지정할 뿐 아니라 정상적인 신경전달에 필요한 전달물질합성효소의 합성도 지정하기 때문이다. 또 유전자는 행동의 표현을 촉발하거나 억제하는 펩티드호르몬 또는 조절인자의 합성도 직접지정한다. 예를 들면 고정행위방식은 신경회로의 적절한 지령뉴런 또는 명령계통에 대한 펩티드호르몬의 작용으로 촉발될 수 있다. 군소의 산란행동은 정위행위기와 완결행위기로 구성되는 고정행위방식이다. 정위행위기에는 걷기의 중단, 먹기의 억제, 머리 흔들기로 시작되고 이어서 알을 낳는 절대적인 완결행위기로 이어진다. 이 완결행위기와 일부 정위행위기는 산란호르몬이라는 펩티호르몬에 의해 촉발된다. 포유동물에서 옥시토신의 장궁평활근에 대한 작용과 마찬가지로 산란호르몬은 군소의 난포평활근에 직접 작용한다. 군소의 산란호르몬은 36개의 아미노산으로 구성되었으며 포유동물의 프로오피오코틴과 유사한 큰 전구물질이 절단되어 생성된다. 이 전구물질에서 절단되어 산란호르몬과 함께 생성되는 여러 가지 펩티드들이 분리되었으며 이들은 산란호르몬과 협동하여 분비되고 군소 산란행동의 여러 측면에 관계되는 신경세포에서 신경전달물질로 작용한다.
비포유동물의 타고난 행동에 관한 연구는 대단히 광범하게 이루어졌으나 사람을 포함한 영장류와 포유동물에서도 여러 가지 타고난 행동이 알려졌다. 어미원숭이나 다른 원숭이와 완전히 격리되어 성장한 원숭이에게 여러 가지 사진을 보여 주면 다른 것에 비해 어린 원숭이 사진을 선호하는 행동을 나타낸다. 어릴 때는 공격자세를 취하고 있는 사진이라도 원숭이 사진을 선호하나 성숙함에 따라 공격자세의 사진은 좋아하지 않게 된다. 즉, 타고난 방출기전이 있다는 것을 말하는 것이다. 흰쥐의 등가죽을 잡고 들어올리고 발가락을 핀셋으로 집으면 즉시 발을 피하는 굴절반사, 흰쥐를 들어올리고 발바닥에 단단한 막대를 가볍게 대었을 때 움켜쥐는 반응, 바닥에 제켜 놓으면 자세를 바로 하려는 정위반사, 경사진 판에 머리를 아래쪽으로 향하게 놓으면 위쪽으로 향하려는 평형반사, 미끄러운 바닥에 놓으면 발가락을 펴는 반응, 귀에 바람을 불어넣으면 귓바퀴를 움찔하는 놀라기 반사 등은 모두가 타고난 행동의 예이다.
사람의 일부 행동에도 타고난 인자가 영향을 미친다는 증거들이 있다. ① 사람의 행동에 유전인자가 영향을 미친다는 증거, ② 인간행동 방식의 일반성, ③ 고정행위방식과 유사한 운동방식의 존재, ④ 특별한 학습경험 없이 나타나는 비교적 복잡한 운동방식의 존재 등이다. 사람의 행동에 대한 유전인자의 역할은 사회적, 윤리적 및 정치적 문제로 인해 접근이 쉽지는 않으나 모든 행동은 다소간에 유전적 조절하에 이루어진다. 예를 들어 정신분열증은 일란성 쌍생아나 입양아를 대상으로 연구된 바에 의하면 중요한 유전적 요소가 있다고 한다. 지능에도 유전인자가 있다고 생각되나 이를 일반적인 지능검사로 밝히기는 쉽지 않다. 유전인자와 연관된 여러 가지 지능 저하증이 알려져 있다. 즉, 다운증후군, 페닐케톤요증, 윌리암증후군 등이 그것이다.
모든 사람에게는 문화적 또는 환경적 배경에 관계없이 공통적인 행동이 있다. 심부건반사, 눈 깜짝이기 반응, 놀라기 반사 등이다. 공복감, 목마름, 성욕 같은 기본적 욕구나 충동도 마찬가지이다. 복잡한 공통적 행동으로는 감정표현을 들 수 있다. 이는 다윈이 처음 체계적으로 연구하였다. 공포, 노염, 실망, 기쁨에 대한 얼굴표정은 전혀 접촉이 없었던 문화권의 사람들 사이에도 차이가 없다. 어떤 감정의 표현에는 분명히 타고난 요소가 있다. 그리고 사람의 행동방식 중에는 동물의 진공 또는 치환행동에 해당하는 것도 있다. 난처한 처지에 놓이거나 스트레스를 받으면 머리를 두드리거나 긁적거린다. 여러 가지 감정표현은 판에 박은 순차적 운동으로 이루어진다. 어린아이의 미소는 특수한 신호자극으로 유발된다. 인형을 이용한 실험에 의하면 미소짓기는 얼굴 전체에 대한 반응이 아니고 특정한 모형에 대한 반응이다.
사람에게도 전혀 학습에 의하지 않은 것이라고 생각되는 행동들이 있다. 그러나 그것이 학습에 의한 것인지 아닌지를 가려 내는 일은 쉽지 않다. 동물의 경우에는 격리사육이라는 방법이 있으나 사람의 경우에는 이 같은 방법은 쓸 수 없다. 그러나 자연적인 조건을 이용할 수 있다. 예를 들면 눈이 먼 상태로 태어난 어린아이는 얼굴표정을 학습할 기회가 없었는데도 불구하고 얼굴표정이 정상인과 다르지 않다. 눈이 먼 어린아이도 어떤 소리에 대해 미소짓고 소리나는 쪽으로 눈을 돌린다.
