Солярис достаточно разумная система, и внутри VMWare устанавливается почти беспроблемно, за одним исключением - видеокарты. Мой путь решения этой проблемы я тут и попытался описать. Сам процесс установки соляриса не описан, ввиду наличия подробнейшей документации от вендора и несложности.
Основное описание, исходя из которого всё и делалось, было найдено тут, авторство принадлежит Earl Fernandez.

Итак:

1. Штатно ставим Solaris в вмварь, на этапе запуска выбора видеокарты выбираем VGA 640x480.

2. Пока ставится солярис, сливаем:

• а) (в случае с Solaris 8) патчи для Solaris 8/x86 за номерами 109401-08 и 108653-27 с SunSolve.
• б) портированный из стандартного XFree86 модуль вмварьной видеокарточки для сановских иксов (2Mb). Этот модуль в оригинале находился на http://www.mostlysoftware.com, но на момент написания этой заметки достучаться туда не удалось. Гугль отправил на адрес http://www.jan.exss.de/vmware/solaris/index.html, где обнаружился этот драйвер, и, помимо этого, развёрнутое описание установки соляриса в вмварь, правда, на немецком языке.

3. перемещаем скачанные патчи и модуль на установленный солярис, устанавливаем патчи (на Solaris 9 установка патчей не требуется):

bash-2.05# ls -al
total 15508
drwxr-xr-x   2 root     other        512 Apr 29 10:23 .
drwxr-xr-x  25 root     root        1024 Apr 29 10:23 ..
-rwxr-xr-x   1 root     other    5913267 Apr 29 10:21 108653-70.zip
-rwxr-xr-x   1 root     other    1999319 Apr 29 10:21 109401-14.zip
bash-2.05# unzip 108653-70.zip 
Archive:  108653-70.zip
   creating: 108653-70/
   inflating: 108653-70/.diPatch
[SKIP]
bash-2.05# patchadd 108653-70

Аналогично и для патча 109401-08.
После установки перегружаем машинку.

4. ставим модуль.
В описании установки особый акцент делался на то, что необходимо СНАЧАЛА поставить пакет SUNWxf86u, и только потом SUNWxf86r, иначе ничего не получится, и всё придётся делать сначала.

bash-2.05# ls -al sunwxf86-vmware.tar.gz 
-rw-r--r--   1 root     other    2133353 Apr 29 10:29 sunwxf86-vmware.tar.gz
bash-2.05# gunzip -c sunwxf86-vmware.tar.gz | tar xf -
bash-2.05# pkgadd -d .

The following packages are available:
  1  SUNWxf86r     XFree86 Driver Porting Kit (Root)
                   (i386) 4.0.3,REV=1.2001.12.29
  2  SUNWxf86u     XFree86 Driver Porting Kit (User)
                   (i386) 4.0.3,REV=1.2001.12.29

Select package(s) you wish to process (or 'all' to process
all packages). (default: all) [?,??,q]: 2

Processing package instance  from 

[SKIP]

Installation of  was successful.

The following packages are available:
  1  SUNWxf86r     XFree86 Driver Porting Kit (Root)
                   (i386) 4.0.3,REV=1.2001.12.29
  2  SUNWxf86u     XFree86 Driver Porting Kit (User)
                   (i386) 4.0.3,REV=1.2001.12.29

Select package(s) you wish to process (or 'all' to process
all packages). (default: all) [?,??,q]: 1

Processing package instance  from 

[SKIP]

Installation of  was successful.

The following packages are available:
  1  SUNWxf86r     XFree86 Driver Porting Kit (Root)
                   (i386) 4.0.3,REV=1.2001.12.29
  2  SUNWxf86u     XFree86 Driver Porting Kit (User)
                   (i386) 4.0.3,REV=1.2001.12.29

Select package(s) you wish to process (or 'all' to process
all packages). (default: all) [?,??,q]: q
bash-2.05# 

5. запускаем kdmconfig, и меняем драйвер на "XF86-VMWARE VMware virtual video adapter" (он в самом конце списка, предпоследний). Важный момент: несовпадение глубины цвета в настройке иксов и на хост-машине могут привести к отвисанию соляриса. После первого же перезапуска иксов всё должно заработать.